数据时代的到来,使得数据的数量以爆炸式的速度增长。毫无疑问,大数据相关技术的发展,为生活带来了巨大价值。在电子商务领域,通过分析海量搜索数据,我们可以进行更精准的预测和推荐,从而提高搜索引擎的用户体验。搜索数据具有时效性的特点,需要我们在限定的时间内进行处理,这对软件系统的处理能力和架构模式提出了更高的要求。eBay作为一家电子商务公司,每天需要处理来自全球各地的上亿用户的搜索请求,其搜索引擎会产生大量的数据。eBay现有的搜索引擎监控系统是基于eBay的上一代搜索引擎Voyager,对于日益增加的搜索引擎数据,已经不能满足基本的监控需求。在eBay推出新一代搜索引擎Cassini的现在,这个局限性显得尤为明显。开发一个能适应Cassini新特性的实时监控系统,成为了一个迫切需要我们解决的现实问题。本搜索引擎实时监控系统正是在此背景下产生的。本系统从eBay的搜索节点集群获取数据,调度实时任务监控数据。发现数据异常后,系统以邮件形式发出告警。同时,本系统支持监控数据的展示。本系统采用Scala作为开发语言,采取分布式的架构,采用Akka作为实时流处理框架,采用Kafka作为消息队列。本系统包含四个组成部分:数据收集模块:从搜索节点集群收集数据;监控调度模块:调度实时监控任务;数据交互模块:提供访问数据库的接口;数据展示模块:以图形化的方式将监控数据显示在网页上。本系统上线后,已经成功检测出搜索引擎的数据异常,并且提供了搜索引擎数据的图形化展示。这有效地改善了搜索引擎的搜索体验,达到了监控搜索引擎数据的需求。