基于垂直主题搜索的交通术语相似性比对研究

来源 :长安大学 | 被引量 : 0次 | 上传用户:wang_hua1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
各研究领域内的名词和标准术语之间的相似度计算,是开展各个专业领域内的数据挖掘、自然语言处理的前提和基础。Web-PMI是一种基于搜索引擎的命中数计算术语相似度的算法,利用搜索引擎对术语检索的返回命中数就可以对术语对的相似性进行量化地计算。但基于大型的通用搜索引擎对特定的领域限定术语检索命中数不足,这往往对术语的相似度计算造成影响,本文旨在通过建立交通主题的垂直搜索引擎系统,提高术语检索命中效果,从而提高术语相似度的计算精度目的。论文首先研究并实现了基于交通主题的垂直搜索引擎的构建。其主要工作是在交通领域内对包含交通术语的网页进行抓取,论文在开源爬虫程序Heritrix项目的架构下自主开发了交通主题的网页抓取程序,实现了交通主题限定的网页抓取。其次完成了对抓取的网页信息进行格式解析,过滤掉网页中的冗余信息,构建了检索系统的索引库。本文建立的索引库是在开源Lucene条件下编写索引程序,对解析后的交通主题网页建立有序的索引,并能实现交通术语在索引库中的全文检索,检索后返回术语在索引库中具体的命中数值。最后利用Web-PMI算法进行交通标准术语的相似度计算的实验,在算法中重新构造了基于交通术语的检索式,加入检索运算符,减少检索结果中的歧义发生,提高检索结果的领域相关度,提升算法效果。对实验结果进行分析,改进后检索式提升了术语的检索命中数,消除了一定的术语偶然共现情况对术语相似度计算的效果影响。本文提出的方法,在“交通信息一致性检测研究”项目中进行了应用,应用结果证明,基于本文建立的交通垂直主题的搜索引擎系统,对交通领域内的生僻术语进行相似度计算时能起到很好效果,较商业搜索引擎Alta Vista的计算准确率也略高。本文提出的方法也同样适用于其他专业领域内术语相似度计算,同时也可对术语标准化、识别同义词与近义词、语义检索、术语标准类比检测等方面的工作进行有效地支持。
其他文献
山药是一种多年生缠绕草质藤本植物,为薯蓣科薯蓣属植物薯蓣(Dioscoreaopposite Thunb.)的块茎,具有健脾、补肺、固肾等功效。多糖是山药中的主要活性成分,具有增强免疫功能,降
“是……的”结构在现代汉语中是一个重要而特殊的语法点,印尼学习者在习得这个语法点的过程中出现了很多偏误。在借鉴汉语本体研究成果的基础上,本文首先把“是……的”结构
水声通信技术是水声技术领域中一个极具挑战性的研究课题。由于水声信道是一个十分复杂多径传输的信道,特性参数随着时—空—频的变化而随机变化,再加上它的环境噪声高、带宽
本文意旨在对具有较强特殊性的海上保险利益问题进行较为深入、系统的研究,以期对司法界和实务界提供一定的参考。为此,笔者以我国现行的《保险法》和《海商法》为依据,参照
在当今全球金融危机不断蔓延的形势下,国际经济形势风云变幻,吉林民营经济发展也受到了前所未有的冲击。民营经济作为是经济结构中的重要组成部分,对全省的经济发展起着重要
利用水热合成法制备BiVO4,并结合浸渍法和溶胶凝胶法分别制备Cu/BiVO4和电气石/BiVO4复合光催化剂粉体,再利用溶胶凝胶法水解硅胶在金属网和尼龙等基材上负载复合催化剂。用
中小企业在我国国民经济和社会发展中发挥着重要的作用。但中小企业的发展却面临诸多制约和阻碍因素,其中融资难是最突出的矛盾。如何缓解当前我国中小企业发展过程中的融资
目的:探讨老年股骨颈骨折人工髋关节术后早期使用CPM康复锻炼与否对术后患者髋关节功能康复的影响。方法:根据筛选的标准,选择2008年6月-2009年4月来自广州中医药大学第一附
爱玩是儿童的天性。我们将数学游戏引入儿童认知研究,将学习策略引入数学游戏,旨在激发儿童的计算兴趣,寻找促进儿童数学学习的有效途径。本研究运用测量法和教学实验法,参照
人类社会的发展正面临着日益严重的能源短缺和环境破坏等问题,可持续发展、清洁发展已成为时代的共识。与传统能源相比,风能作为一种在全球范围内广泛分布的清洁、永续能源,