话题检测研究

被引量 : 22次 | 上传用户:mahuan616520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
话题检测旨在从海量的新闻报道中识别出未知的话题及已知话题的相关报道。绝大多数检测算法都是基于聚类算法进行的,用向量空间模型描述新闻报道和话题,计算其相似度,并按照某种策略对其进行聚类。编码索引指利用索引算法对关键词进行快速编码转换的方法。单值索引指关键词和索引项一一对应的简单索引,检索速率较高的单值索引有顺序数组索引、树型索引和哈希索引等。本文提出并实现了用于优化话题检测的三种编码索引算法:准动态数组索引算法、哈希桶内链索引算法和双链聚合哈希索引算法。准动态数组索引算法利用了顺序数组索引的高检索速率,及B树索引的高更新速率,利用准动态思想,周期性的将B树更新索引并入主索引表,解决了顺序数组索引更新效率低下的问题。哈希桶内链索引算法在哈希桶内部元素建链以实现链地址哈希索引,避免了频繁的内存分配,且采用了桶号加桶项号的指针表示方法,将指针压缩到3字节。双链聚合哈希索引算法在聚合哈希索引的基础上双向建链并维护空表项链,实现了冲突表项快速移动,使得在开放地址关键词存储方式下哈希表更新效率保持常数级,并且不受装载因子影响。本文应用上述三种编码索引算法,设计了基于新事件检测的话题检测系统,并利用TDT2004中文语料进行了话题检测实际测试,哈希桶内链索引具有最好的算法效率,性能比无编码索引情况下高出接近20倍。
其他文献
<正> Бодяжиной认为:人工流产时妇女机体内分泌系统、神经系统和其它系统会突然发生变化。子宫内膜感受器的损伤对中枢神经系统产生病理性的冲动,因而引起调节卵巢
<正>加快推进产业互联网的发展,是信息化带动工业化的必然趋势,也是整个产业发展的必然趋势。目前,我国经济发展已经呈现出新常态,经济由高速增长转向中高速增长,结构不断优
目的:探索优质护理服务模式指导下的护理干预措施对凶险性前置胎盘产妇的影响。方法:本次研究对象为苓院2015年5月23日至2018年4月10日收治的凶险性前置胎盘50例患者,采用计算机
<正> 恶性肿瘤病人多伴有程度不同的心理异常,给治疗带来困难,也使病人生活质量下降。因此,对这类病人的心理护理越来越受到重视。本文结合国内护理界近年来对此问题的认识和
在对中学生进行教育阶段中中学思想政治课是关键的一个课程,在中学思想政治教育过程中,思想政治课教师需要提高思想政治教学的水平,同时还要让中学生思想政治教育展现在社会
期刊
我们发现了一种不明原因的螺旋运动,它具有制造实物和生命的功能。我们已知的天体结构、元素结构、原子结构和生命结构都无一例外与这种螺旋运动精确吻合。
该文指出了当前企业绩效考核中存在的普遍问题 ,指出绩效考核是一种系统管理工具 ,并依据 PDCA循环思想 ,提出创建有效绩效考核的一系列措施。
本文先列举了创业板高市盈率发行的表现,并从2009年6月新股发行体制改革视角探讨了创业板发行市盈率不断升高的原因,提出以美国式招标确定新股网下配售价格、机构投资者在初
我国铁路货物运输中散装货物所占比重较大,约占货运量的60%,但其装卸(特别是卸货)机械化程度较低。自翻车是一种将卸货设备和车辆结构结合在一起的专用车辆,大力发展自翻车可
目的:探讨急诊经皮冠状动脉介入治疗(急诊PCI)对ST段抬高型急性心肌梗死的近期临床疗效。方法:对276例ST段抬高型急性心肌梗死患者的罪犯血管行急诊PCI,共置入了289枚支架。