基于ElasticSearch的分布式视频垂直搜索引擎的设计与实现

被引量 : 0次 | 上传用户:rooku
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式搜索技术是目前一个重要的研究内容。随着因特网的快速发展,当今时代互联网上的数据越来越多,而其中很多信息都是无用的,不需要处理。如何从如此海量的数据中检索到对自己有用的信息,成为搜索引擎主要面临的问题。现在的搜索引擎主要是基于复制集群的大规模集中式系统,也就是整个系统都部署在一个服务器上,这对服务器的性能要求非常高,并且可扩展性很差,然而web技术是不断发展的,最近几年,集中式的系统越来越低效,这就推动了分布式集群技术的快速发展。对于如此海量的web数据,通用搜索引擎也有其弊端,例如查询结果不够全面、搜索结果相对粗糙等,而利用垂直搜索引擎能够很好地解决上述问题,特别是针对某一特定领域提供服务,垂直搜索引擎更加具体、更加有效、更加深入。本文在深入研究分布式技术和垂直搜索的基础上,结合分布式技术和垂直搜索的优势,在视频领域设计并实现一个小型的分布式视频垂直搜索引擎。在深入研究系统需求的基础上,采用两种不同的方案把系统分为线下非实时过程和实时搜索显示过程。非实时过程主要是海量视频数据的采集和存储、分布式索引的建立,此过程是通过Hadoop来实现,主要利用Hadoop的海量批处理能力。由于Hadoop的实时性不是很好,所以对于实时分布式搜索部分,本文提出了Elastic Search搜索方案,Elastic Search的实时性能很好,能够胜任分布式实时搜索的要求。同时,针对用户对搜索引擎的要求,本文从两个方向完成改进。第一,本文设计了二级缓存策略和三层缓存存储机制。实验表明,引入缓存系统后,能够较好地改善用户体验。第二,对于搜索引擎中不同用户的相同查询,会返回相同的结果的问题,本文提出了基于用户兴趣模型的二次排序方案,实验表明,搜索结果更能满足用户的需求。
其他文献
人本主义模式下的流浪未成年人机构救助路径包括以积极的人性观看待流浪未成年人,转变救助工作人员的角色;以流浪未成年人为中心,建立其信任感;以促进流浪未成年人自我发展为
<正>一直以稳健发展为基调的航空业,在新媒体营销的带动下也正变得富有创意并果敢尝试。而对于航空业那些新媒体营销的先行者来说,他们已经从中获益。本文正是从创新性、综合
本文主要通过对新环境下传统的财务会计报告存在的问题及局限性的分析,并结合对财务报告未来的发展趋势谈一下对当前财务报告进行改进的看法。
<正> 教育影响和自我教育的关系在教育改造罪犯的过程中,管教人员按照一定的教育目的,采取一定的教育措施和教育方法,组织一定的教育内容对罪犯的心理给予积极的影响,这是改
<正> 遮目鱼Chanos Chanos(Forskal)属热带、亚热带暖水性结群鱼类,不耐寒。但其生长迅速,鱼苗病害较少。适盐范围广,能生活于淡水中。遮目鱼属草食性鱼类,饲料来源广。它既
《红旗谱》之所以“经典”,是因为其达到了那个时代一般作品难以企及的高度,即成功的民间叙事和政治话语的自然结合,宏大叙事和传统技法的自然结合。正是这两种因素和它们的
本文认为,民主即民主政治,是人民的意志和利益得以平等而自由地实现的政治制度和政治生活。民主政治的理想目标是实现平等和自由,然而,由于各种因素的制约,民主政治这一理想
对青海省都兰县香日德南部东昆仑山区一带侵入于元古界苦海岩群的变形变质闪长岩体同时进行了锆石U-Pb和角闪石40Ar-39Ar年代学研究. 单颗粒锆石U-Pb年龄为(446.5±9.1) Ma;
通过对阿尔金山阿克塞和当金山地区出露的元古代、早古生代变质岩样品中云母、角闪石和钾长石单矿物的40Ar/39Ar同位素测年研究,获得了4组年龄数据,其中远离阿尔金中部剪切带
绿色建材的选用是生态建筑中至关重要的方面。介绍了国内外对于绿色建材的评价体系以及生态办公示范楼中绿色建材的选用原则和实例、部分绿色建材关键技术的研究与应用。在实