基于词嵌入和多特征融合的自动关键词抽取算法

来源 :广东技术师范大学 | 被引量 : 5次 | 上传用户:rocklysun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术的飞速发展使得各个领域的信息呈现爆炸式增长。为了快速有效地从海量文本中获取所需的信息,人们通常需要借助能涵盖文本主旨的若干重要词汇,亦即,关键词。然而,目前绝大多数文本尚未提供关键词,这不利于文本信息的有效获取和处理。为了解决这个问题,人们提出了自动关键词抽取技术,即,由计算机根据某种方法从文本中自动抽取相应的关键词,并设计了为数众多的关键词抽取算法。然而,现有的关键词抽取算法大多需要依赖文本语料数据集,而且存在计算复杂度高、适用性弱、抽取精度低等问题。因此,针对自动关键词抽取算法的研究方兴未艾,而且在大数据时代背景下获得愈来愈多的关注。基于上述背景,本文对自动关键词抽取展开研究,主要提出了两种自动关键词抽取算法,即,基于位置加权词频统计的关键词抽取算法(PW_TF)以及基于多特征融合和图模型的关键词抽取算法(MF_Rank)。PW_TF的主要思想是利用词语的统计特征和结构特征来表征关键词,其中,统计特征刻画的是词语在文本中出现的频次信息,结构特征体现的是词语在文本中出现的位置信息,而且,不同位置的词语具有不同的重要性。PW_TF简单易行,但只考虑了词语的位置和频次信息,而没有考虑词语的语义信息。MF_Rank是在经典的图模型算法(如,TextRank)基础上进行改进而提出的,其主要思想是除了利用词语的统计特征和结构特征,还利用通过词嵌入技术提取的词语语义特征,亦即进行多特征融合,获得词语自身(图的节点)的重要性权重以及词语之间(图的边)的吸引力权重,进而通过图模型算法迭代计算每个词语的最终权重,以此确定抽取的关键词。为了验证算法的性能,在三个不同类型的数据集上进行了大量的仿真实验研究。实验结果表明,与已有的词频统计方法和图模型方法相比,本文提出的关键词抽取算法在性能方面最大分别能提升6.45%和20.36%;与PW_TF相比,MF_Rank可在性能方面获得1.76%的最大提升。本文提出的PW_TF和MF_Rank两种算法,无需依赖语料数据集,能直接用于单文本的关键词抽取,具有良好的适应性,实验结果也表明了它们是可行且有效的。
其他文献
大运河是流动的文化,习近平总书记指出,要统筹保护好、传承好、利用好大运河文化。文化产业既能满足人民群众的精神文化需求,也是提高区域竞争力、促进传统产业转型升级的重要途径。在政策引导和文化市场的主导下,大运河文化带文化产业规模不断扩大,但整体贡献率偏低。大运河文化带文化产业发展的关键是提升产业经营效率,因此了解产业效率水平,并分析文化产业效率的影响因素是关键。采用DEA-BCC模型、Malmquis
随着社会的发展进步,医院有限的医疗服务资源与低效的服务管理模式已远远无法满足广大人民群众对医疗服务品质的要求,医患关系日益紧张,医疗纠纷日益突出。同时,越来越多的医
在叙述了作者的试验工作以后,本文主要讨论了影响石油基光缆填充膏性能的各种因素,如基料、粘度指数改进剂、增稠剂等各组分以及生产工艺如温度的影响。
农地"三权分置"是新形势下推进农村改革的重要制度安排。宅基地作为农村发展的重要要素,在推进农村融资中理应发挥重要作用。"三权分置"架构中,理清所有权、资格权和使用权的
中职旅游学校长期以来一直担当着为我旅游业输送人才的角色,同时中职旅游专业的学生也已经占据了我旅游服务行业从业人员数量的半壁江山。但是,无论是在学校学习还是社会工作中,中职旅游专业学生仍存在明显不足的职业素养,旅游业在AI时代的背景下,既享受AI带来的便利,同时也受到了相应的冲击。2016年工匠精神指导理论的出台为职业教育指引了新的发展方向,培养“工匠型”人才成为了职业教育需要思考的新课题。旅游职业
邮轮产业在西方国家已有百余年的发展历史,邮轮家具行业的发展十分成熟,具有相当完善的设计、制造、装配和运输等系统化产业链。来自美国、欧洲以及北欧的建筑设计师、工业设计师、奢侈品设计师对邮轮文化有着深刻的认识。目前,我国家具行业在豪华邮轮家具配套服务尚处于萌芽阶段,国内几乎没有设计公司和家具制造商真正投入到豪华邮轮的家具设计这一特殊领域。本文旨在通过研究当代“中国风”设计的内涵,结合邮轮家具这个微观的
目的 观察比较国产新型重组人肿瘤坏死因子 (nrhTNF)加化疗和单纯化疗治疗非小细胞肺癌(NSCLC)的临床疗效和不良反应。方法 采用多中心、随机对照试验将 90例NSCLC患者随机
以马铃薯品种费乌瑞它Ⅱ为试验材料,研究了在马铃薯套种玉米种植模式下,马铃薯种植密度和氮肥施用量对马铃薯产量的影响。结果表明,在一定范围内,随着种植密度和氮肥施用量的
非霍奇金淋巴瘤(Non-Hodgkin’s lymphoma,NHL)是恶性淋巴瘤的一大类型,在最常被诊断的癌症中排名第五。抗CD20单克隆抗体是一个新的有效抑制肿瘤细胞增长的治疗方案,在治疗N
随着信息技术的高速发展,电脑的使用也越来越广泛,很多行业的运营模式开始向更加功能化、现代化和网络化的方向发展,教学工作的管理涉及到众多教师与学生,原有的管理方式耗费