互联网热点事件挖掘技术的研究与应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yjq360124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,网络上存在的信息量也急速增长,导致人们获取有效信息的难度加大。特别是对于资讯信息量大的个人、企业和事业单位,想要仅仅凭借人力对互联网信息进行整合与分析,难度巨大,是一个几乎不可能完成的任务。互联网热点事件挖掘和分析技术通过缓解信息重载、整合冗余信息以及提炼核心信息,可以有效解决上述问题。互联网热点事件挖掘领域的研究包括话题发现、事件主题生成、事件特征分析、事件内容抽取等。话题发现技术研究起步较早,目前已有较多成果。但是事件与话题不同,一个话题包含了多个描述相同事件的文本,而一个事件就是一句能够高度概括话题的话,我们可以将事件理解成话题的标题。热点事件主题句生成算法用于提取话题核心内容,生成热点事件,这方面的研究近几年在国外兴起,而国内研究较少,国内大部分关于热点事件挖掘的研究都局限于话题发现,而未对发现的话题进行整合处理,生成更具代表性和特征性的话题表现形式,即事件主题句。本文针对上述问题,在热点事件挖掘领域进行热点事件主题句生成技术的研究,主要完成了以下几个工作:第一,设计了一种基于话题核心词映射和事件三元组选择的混合事件候选集构建算法。该算法利用PAT-Tree技术提取话题文本中的高频核心词,将高频词映射成到句子,生成一部分事件核心句。另一部分事件核心句通过将事件三元组做作为候选元,从话题文本中抽取出包含事件元素的句子。将两种方法的生成的事件核心句子集合混合起来,并进行过滤、排序等操作,得到候选集。候选集可以用于构建基于词图的MSC模型。第二,提出了一种改进的基于词图的MSC模型,并使用该模型进行事件主题句的提取。基于词图的MSC模型在处理英文文本和西班牙文文本上有不错的表现,本文对该模型进行改进后将其用于中文热点事件生成,取得了不错的效果。该模型将候选集中的事件核心句子转化成词图的形式,词图是一个有向加权无环图,图中的节点表示词语,边表示词语之间的连接关系,词图中每一条路径都代表了一个可能的句子。同时,本文还设计了点权重和边权重的得分公式,使得最终生成的句子在信息量和语言连贯性方面表现良好。最后在生成的词图上使用集束搜索算法计算出得分高的词图路径作为最终生成的事件主题句。通过实验我们计算得出当前数据量下的最佳集束宽度值,并且与其他两种传统多文档标题生成算法进行对比证明该算法在信息量和语言连贯性两个方面都具有良好的表现效果。第三,基于以上研究,实现了热点事件分析系统,系统对已有的话题数据进行分析,利用本文研究的事件主题句生成算法生成热点的标题,即热点事件。同时从不同维度对话题进行展示并完成了数据可视化,可视化包括了事件热度趋势变化、事件情感极性趋势变化、事件文章来源分布等等。系统还针对个性化实现了实体和事件的定制功能。
其他文献
综合素质评价是一种可以全面反映学生高中阶段发展状况的评价方式,全面开展综合素质评价期待于转变旧有的"分数定终身"的人才选拔机制。高中综合素质评价在实践探索的进程中,
应用有限元软件ANSYS ,通过对模拟千斤顶升温的模拟千斤顶法实现拉索预应力 ,提出了张弦桁架预应力的实用确定方法 .将使用状态下计算得到的千斤顶温度荷载加到施工状态的计
随着建筑行业的不断发展,各种高层建筑层出不穷,对地基的要求也越来越高。地基基础作为建筑物承载的核心,是隐蔽工程的一部分,其质量的优劣直接决定了建筑物的质量及使用安全
提出了一套主电路设计方法 .首先利用状态空间平均法建立了三相PWMVSR的数学模型 ,并在此基础之上进一步建立了三相PWMVSR的等效电路模型 ;然后根据上述模型分别对三相PWMVSR
自从改革开放以来,我国经济快速发展,特别是建筑行业的经济持续迅速发展,在国民经济中占有越来越重要的地位,发挥着越来越重要的作用。但是与此同时,作为支柱产业的建筑业,也
目的本文将对颅脑外伤患者进行临床对比分析,以探讨颅脑外伤后进展性脑出血的临床特点以及有效治疗措施。方法颅脑外伤患者在入院初期均进行脑部CT检查,于颅脑外伤患者入院后
目的探讨肿瘤住院患者常见的护理安全问题及护理管理对策。方法对非惩罚性自动上报系统呈报的100例不良事件进行了护理安全管理问题归纳分类及其分析。结果肿瘤患者安全管理
大学转学不是什么新鲜事情,国内外大学都允许符合一定条件的学生转学。但是,本是985重点院校的湖南大学,2014年违规接收了17名从外校转入的硕士研究生,被社会舆论质疑存在"暗
孟丽君才华绝世,但在男权社会中只能借助乔装以男性身份施展才华。逼迫孟丽君复妆的强大的群体意志与其个体意志产生直接冲突,在情与理的不断冲击中,孟丽君自身的行为权利与
21世纪是知识经济的时代,作为知识载体的人力资源,随着经济发展水平的不断提高,越来越成为制约企业生存和发展的关键因素,而人力资源会计的应用问题也成为会计学界研究的热点