基于内容的多源新闻聚合关键技术研究与实现

被引量 : 0次 | 上传用户:wuzheyun314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今信息大爆炸的时代,用户如何在浩如烟海的信息中高效地筛选并整合对自己有利的信息成了难题。而另一方面,随着网络的不断发展,网络新闻的盛行,传统媒体与网络这一“第四媒体”之间的界限将越来越模糊。所以在新闻领域,为了跨越传统媒体与网络媒体之间的界限,同时又可以帮助用户快速地将所需的新闻聚合在一起,本文对多形式多来源的新闻聚合技术进行了研究。作者研究了多形式新闻聚合所需关键技术,在现在盛行的信息聚合工具RSS技术的基础上,提出了应用于新闻领域的,基于内容的多形式新闻自动聚合解决方案。本文的关键研究内容概括如下:利用Agent的自治能力和合作能力,本文将不同新闻源不同形式的新闻的处理交由不同的功能Agent完成,同时又结合了关键词自动抽取技术以及特征向量相似度匹配技术,提出了基于内容的多形式多来源新闻聚合系统架构C-NSSA(Content BasedNews Syndication System Architecture),用于指导多源多形式新闻的自动聚合。该架构采用Multi-Agent结构,实现了新闻的采集、预处理、关键词提取、匹配集合、与用户交互等功能,具有高并行性、高可靠性和高可扩展性。在系统架构C-NSSA的指导下,本文对新闻自动聚合的核心技术,包括新闻页面解析技术、新闻文档关键词自动提取技术以及表示新闻内容的关键词集合匹配技术,进行了深入的研究。在新闻页面解析阶段,本文提出了基于新闻页面结构特征的页面解析方法。该方法在HTML DOM技术的基础之上,首先将html文本转化成DOM树,然后通过新闻页面的结构特征研究结果,根据文本节点分组总大小,以及一个分组内文本节点大小分析,来实现新闻标题以及正文的提取。使得页面解析算法更适用于本系统架构的实际应用情况。在新闻关键词提取阶段,本文利用词的共现性原理,对原有的TF*IDF方法进行了改进。该方法以传统的关键词权重计算方法TF*IDF为基础,综合考虑了新闻的内容分类,又结合新闻的特点得出词语的位置信息特征,以及词与词之间的共现性特征,使得该关键词权重计算方法更适用于针对新闻文档的关键词提取。而在最后的新闻密切度匹配上,本文借鉴了应用广泛的向量空间模型(VSM)以及余弦系数的算法用来计算特征向量的相似性。同时又考虑到本系统的特殊情况,视频新闻没有文本,只有个数有限的关键词,若独独采用相似度计算的方法可能会影响匹配效果,于是再次加入词共现性特征的计算。综合考虑了词的相似度以及关联度两个因素,得到了较好的密切度评估方法。最后,由于本系统架构已经使用在具体的项目中,于是在理论研究的基础上,本文对项目的实现进行了简单的介绍,并对本文提出的关键算法进行了实验分析。用数据证明,基于内容的多源新闻聚合系统有较好的使用效果。
其他文献
二十二碳六烯酸(DHA)为多不饱和脂肪酸,具有很好的营养与保健功能。但其结构和性质很不稳定,且不溶于水中,难以添加到食品中并以原有结构存在,从而使其在食品中的应用受到极
大功率白光LED器件作为一种高转化率的光电固态光源是目前最耀眼的新兴产业之一。LED器件是高功率、高热流密度的电子器件,从芯片,封装到灯具各个环节都面临着热分析和热管理
在中国经济转轨与社会转型过程中,各种灵活就业方式应运而生,并扮演着日益重要的角色。随着灵活就业的发展,灵活就业人员人数迅速增加,灵活就业人员的社会保障问题也日益突出
二十世纪九十年代中期以来,伊朗电影获得了巨大的国际成功,成为国际影坛关注的焦点。一批伊朗电影导演相继登上国际影坛,他们的作品在世界各大电影节上频频获奖,在国际影坛上
传统民法理论认为善意取得仅限于在动产领域适用,而以登记作为公示的不动产物权的取得则不适用此制度。随着社会主义市场经济制度的建立与发展,善意取得制度适用于不动产显得
本研究以松多榴辉岩带的发现和古特提斯洋盆的可能南移为线索,重点对松多榴辉岩构造带的造山作用、区域背景、发展演化以及高压-超高压变质岩石的折返动力学进行了研究。通过
当前由于矿井所处的环境恶劣,矿井生产安全一直是人们十分关注的问题。如果能够实现对井下工作人员的定位跟踪,使地面监控中心实时掌握井下人员的位置,随时保持联系,实现人员
共同诉讼是与单独诉讼相对的一种诉讼形态,是为了统一解决纠纷而设立的多人诉讼制度,其在立法、实践中有着自己的特点。随着经济社会的发展,共同诉讼在纠纷解决机制中发挥着
航空电子维修是一个复杂的系统工程,涉及到生产管理,质量管理和市场营销等环节。如何有效地缩短维修周期TAT,降低成本,提高质量是航空电子维修企业管理所面临的主要问题,也是
酚类化合物分布广泛,其中很多具有雌激素活性,对人类健康和动物生存已经造成不良影响,因此建立快速有效的检测方法对于保护环境,采取有效的预防措施降低该类化合物的危害具有