基于词嵌入的流形主题模型的文本聚类研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:sl2260ygl2260
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的普及,人们在使用智能设备的过程使用的文本数据越来越多,如何更快速、更高效地从海量文本中获取我们所关注的信息,是文本挖掘技术关注的热点。文本聚类作为文本挖掘的重要技术,能够帮助用户更有效地获取文本中的有益信息。作为自然语言处理的基本技术之一,文本聚类技术的难点主要有以下三点:第一,聚类效果与人类观感的匹配;第二,聚类结果的可解释性程度;第三,如何让计算机从自然语言文本中获取高级语义信息。本文综合以上三点,提出了基于词嵌入的流形主题模型的文本聚类方法。本文的主要工作内容如下:第一,对当今常用的主题模型进行详细的研究和分析,指出现有模型的优势与不足。第二,依据第一点的理论分析结果,引入基于词嵌入的流形主题模型,在流形空间中挖掘隐含在文本中的语义结构,提高文本聚类的质量。第三,对主题模型存在主题噪声的现象进行分析,提出了一种基于语义依存分析的主题平滑处理方法。通过中英文语料的实验结果显示,流形主题模型的困惑度、主题一致性和逐点互信息三个评估指标均优于现有的两种主题模型,说明在流形空间中对文本进行聚类能够更好刻画文本的隐含语义结构。并且实验证明,主题平滑方法能够有效提高模型的评估得分,并从实验数据中得出流形主题模型受主题噪声影响最小的结论,从而验证了流形主题模型在文本聚类任务中的有效性。
其他文献
作为政党政治发源地的英国,19世纪逐步形成了较为发达和成熟的现代政党政治。从早期议会中的辉格党和托利党逐步发展如今的保守党和工党,英国成为最早确立并实行内阁制下“两党制”的国家。由于英国在议会选举中一直实行“简单多数制”,因此获得议会席位的多少与选举的成败对于政党执政来说最为重要。英国两党相互竞争的体制主要就是为了争取更多的选民支持,进而获得议席、赢得选举胜利,以期实现对资源和财富的合理配置。在获
“文化是一个国家、一个民族的灵魂,文化自信是国家和民族发展中更基本、更深沉、更持久的力量。没有高度的文化自信,没有文化的繁荣兴盛,就没有中华民族伟大复兴”。党的十
中日文化的联系与交流自古以来就有着非常悠久的历史。甲午战争战败后,清政府更加重视对外来文化的汲取。此时,正值日本明治维新改革成功之际,于是,清廷将学习日本视作救亡图
数学作为推动科学技术进步的关键力量,数学素养成为现代公民的必备素养。中学阶段是学生智力发展的重要时期,也是培养数学素养的关键阶段,通过对拉萨藏族学生数学素养的现状
古往今来,“政策”一词从未离开过人们的视野与生活,在不同时代背景下均发挥着举足轻重的作用。毋庸讳言,农村体育作为时代背景下的产物,其健康、快速发展,必然离不开政策的
随着我国科技的迅猛发展,各类新型的气象观测设备层出不穷,为气象观测业务提供了新方法、新技术、新思路。为了确保各类气象观测设备在进入气象业务系统运行时可以满足气象业
西部史研究是美国史研究的重要领域,特纳“边疆假说”的发表是被看作美国西部史研究开创的标志。二十世纪三、四十年代,美国史学家对特纳“边疆假说”中边疆的模糊概念、民主
随着移动通信的快速发展,用户对室内位置信息的实时性和准确性的要求越来越高。而基于WiFi指纹的室内定位被公认为是室内定位领域最具前景的技术之一,这种技术的优势很明显,低成本高可靠性。但潜在的隐私问题也不容忽视,离线采样阶段存在暴露数据提供者位置信息的风险,客户端的位置信息和服务器数据库的数据信息也可能在在线定位阶段泄漏。针对WiFi指纹室内定位系统中的隐私泄漏问题,本文的主要贡献如下:(1)对于在
随着信息时代的进步,图像处理技术普遍应用于军事、医疗、交通等诸多领域,与日常生活密不可分。然而在采集、传输图像等过程中,由于设备老化、外界环境的干扰等不可避免的原
随着移动计算设备、多媒体业务等通信业务的迅猛发展,近几年人们对宽带微波传输技术的需求日益增加,在宽带微波通信系统中频谱拥挤的问题越来越突出,始终面临着频谱资源短缺这一严重问题。为了解决宽带微波通信信道拥挤的问题,除开发新的频段外,频率复用也是一种行之有效的技术,科研工作者对频率复用进行了大量的研究,双极化传输技术就是一种重要的频率复用技术。采用双极化复用技术能使传输速率和信道容量加倍,支持更高数据