Splunk用于WhitePages

Posted by admin on Jun 23, 2011 in 更多文档 | 0 comments




业务

作为全球最大的在线电话号码查询服务供应商,WhitePages公司免费提供一系列的手机和互联网查询服务。利用WhitePages,你可以在美国快速有效地查找到任一个人或公司。WhitePages用户超过2亿,年访问次数超过20亿,拥有包括MSN、 Ask.com和美国邮政局在内的1500个合作网站。

挑战

过去,WhitePages一直致力于发展个人信息搜索服务,而将企业搜索服务外包给第三方负责。2009年,WhitePage做出了一个战略性决策——将企业搜索服务纳入公司内部业务范畴进行发展,并搜集分析大量操作数据和用户指标,成功完成业务过渡。WhitePage面临的挑战是如何在不建立或维护数据库的情况下管理所有数据,以及如何应对网络攻击者对其个人和公司信息数据不断进行抄袭、“抹去”数据或滥用的威胁。网站需要一个更快速、更有效的方式查找并减轻滥用现象。

WhitePage面临的第三个挑战是在新版本中间件的漏洞影响用户体验、引发生产环境问题前找到问题所在。

体验Splunk

WhitePage采用Splunk是为了利用其程序基础架构获取更好的可视性,以缓解地址滥用现象,并更快地查找到软件漏洞。Splunk可搜集大量IT数据,包括网络连接设备的系统日志,例如防火墙、交换机、路由器等设备,还有前端Web访问日志、中间件日志、查询日志和数据库异常日志。Splunk还可处理客户定制程序与配套程序的日志。

Splunk有助于优化新业务搜索服务。“我一两个小时便可将IT数据传入Splunk”IT与业务高级主管Hernan Alvare说道。

Splunk使WhitePages可深入其数据查找“抹去”行为,以识别正在滥用该系统的子网或用户。近来,WhitePages已启用实时监控功能。在不久的将来,WhitePages将把逻辑由Perl scripts直接转到Splunk中,在这个过程中,Splunk将进行逻辑监控和滥用检测工作。Alvarez.说:“我们从Splunk中搜集的信息改善了自动滥用检测功能和黑名单功能”。

另外,Splunk可实时获取WhitePages异常日志并寻找可以在新版本中间件中找出漏洞(在QA中未发现漏洞)的模式。“我们在办公室的显示设备上就可以真实地看到实时的系统异常情况。”

突破

Splunk使WhitePages避免了从前在实施和管理成熟数据库过程中耗时耗力的状况,因此,业务搜索部门的经理无需编写脚本就可收集合作伙伴的收入信息,程序工程师也可集中精力完成其他任务。

在使用Splunk前,业务发展部每月要花一天以上的时间手动汇编各类表单。Alvarez说:“有了Splunk,只要一个小时左右的时间就可获取信息并生成报告。Splunk现在已经实现全自动化,可发送每日报告也可以在月底发送月度报告。”

最近,一名工程师通过试验证明,Splunk可以让WhitePages的滥用检测功能实现自动化运行,每天可消除400,000页的网站滥用通信量。“这是个惊人的数目。减少滥用流量有助于改善用户体验。通过每天减少400,000次滥用访问,我们能更好地管理网站运营。”Alvarez说道。

采用Splunk后,WhitePages采用“敏捷式开发”模式。在无需操作人员参与的情况下,编程人员便可每日发布信息。通过实时记录信息,WhitePages可以根据最近用户趋势和活动对网站进行高度优化。Splunk图表收集的信息可以帮助Whitepages增加转换速度与广告点击率,最终带来收益。



Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>