移动互联网信息集成和位置检索的关键技术研究与应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:a170911
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网快速发展,人人都可以通过高速网络在智能手机端获取互联网信息,而移动互联网搜索便是日常人们获取信息的主要方式之一。移动搜索有其自身的特点,由于智能手机自身的局限性如屏幕小、计算能力弱等,所以在面向海量的结果集中往往难以准确地定位到精确、个性化的结果。位置服务是在GIS平台的支持下为用户提供准确的地理位置服务。当前很多相关的行业如社交、生活等应用中,都包含有类似“附近搜索”的功能,为用户提供精确服务。特定的行业结合附近搜索功能,就是垂直型位置搜索服务。垂直型的位置检索服务主要整合行业领域的关联资源,通过搜索可以为用户提供更加个性化的信息服务。本文基于开源企业级全文检索引擎Solr实现了位置服务检索系统。首先基于网络爬虫技术设计并实现了信息集成子系统。该子系统主要研究并实现了任务调度、URL去重、析取以及存储四个方面的关键技术。任务调度模块重点研究了深度优先的URL调度策略算法;URL去重模块则研究分析并实现了Bloom Filter去重算法;析取模块主要利用了pyquery解析HTML网页,以及研究分析网络爬虫过程中伪代理、反防盗链等技术;存储模块则主要为MySQL数据库存取接口的设计与实现。其次,基于Solr设计并实现了移动互联网位置检索子系统,其中主要包括了空间索引、索引创建、搜索、缓存和分布式五个方面。空间索引主要研究分析了GeoHash和Cartesian Tiers分层算法原理,重点探讨了Geo Hash算法编码;索引模块则主要实现了smartcn、IKAnalyzer和Ansj三种比较高效的中文分词算法;搜索模块主要研究如何构建查询语句;缓存则着重研究分析了Solr中filterQueryCache、documentCache和queryResultCache三种缓存原理以及实现;分布式主要研究分析了Solr分布式索引和查询的原理并且实现了3个节点的分布式集群,提高了系统的可靠性和性能。最后,针对不同功能模块分别作了相应的功能测试,并利用SolrMeter和Ganglia对系统做了性能的测试分析,验证了系统满足需求。
其他文献
H.264是由ISO(国际标准化组织)与ITU(国际电信标准化部门)为了获得更好的压缩和传输性能而联合制定的新一代视频编码标准。H.264引入了当前视频编码的新技术,包括多种宏块大
无线传感器网络(WSN)是目前国内外热点研究领域之一,WSN可广泛应用于工业、农业、军事、智能交通和环境保护领域等场景中。WSN通常由大量配备感知、无线通信、计算处理和电量
随着计算机和网络技术在电力系统中的广泛应用,信息的安全传输问题也波及到电力系统。变电站自动化系统作为电力自动化系统的数据源和各种控制行为的执行者,其网络通信安全不
为了满足企业应用系统业务的快速变化,一种新的软件系统架构理论—面向服务的架构SOA(Service-Oriented Architecture)应运而生,并引领着软件行业新一轮的技术变革。SOA是以
随着信息技术和人工智能技术的发展,交通管理系统的信息化、智能化是大势所趋。车牌识别系统是智能交通系统的重要组成部分,在现代交通管理系统中占有举足轻重的地位。车牌识
在一组生物序列中,通常会存在一些含有特定功能的短的序列片段,比如DNA序列中的转录因子结合位点。这些序列片段之间比较相似,但并不相同,这样的序列片段被统称为模体。研究
羊毛细度和曲率是羊毛检验和分类中最为重要的测试指标,同时又是绵羊育种中最为重要的经济形状指标。以往检测人员多是用手工方法来测量羊绒毛的直径,这不仅耗时耗力,而且需
自1988年前苏联学者Grony发现地震前在(10.5~12.5μm)热红外增温异常现象后,使利用卫星遥感技术捕获震前热异常信息、预测地震成为可能。本文优选美国国家环境预测中心的多源
Web服务的逐步发展促进了系统结构向面向服务体系架构(SOA)的演化,该架构具有很好的松耦合、平台无关等特性,可以方便地用于系统的分布式开发和集成,也能很好地解决系统开发
基于测量数据的曲面重建在反向工程、计算机视觉、医学图像重建等领域有着广泛的应用。含有噪声的三角网格模型的特征提取是复杂曲面重建中的关键和难点问题之一。本文着重讨