基于社区发现的文本分析模型研究

来源 :成都理工大学 | 被引量 : 2次 | 上传用户:cqssq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前科学技术快速发展的大背景下,随着计算机性能及网络传输速度的不断提高,人们每天接收和发送的信息量呈指数级增长,而文本是最常见的信息表现形式之一。在数据挖掘方面,我们接触的数据分析方法和形式绝大部分是基于对数字或者数值的描述,而忽略了对非结构化文本的分析。文本分析的目的在于从根本上把所有非结构化数据整合为结构化数据,从之前被普遍认为难以量化的海量文本中抽取出大量有价值的、有意义的数据或信息。本文在以上分析的基础上提出了基于社区发现的文本分析模型,将不同类别的文本构建成文本节点网络,再利用社区发现算法进行聚类分析和优化处理措施,能够提高文本分类的效果。主要工作内容如下:1、编写Python爬虫获取初始文本数据。运用基于Python开发语言的jieba分词工具,采取精确模式的分词方法对文本数据进行处理,接着将文本数据用于训练word2vec模型。2、根据基于词频统计的方法,对每篇文本提取出k个关键词,然后运用word2vec模型转换成向量,再转化成可以表征文本类别的向量。通过计算不同文本向量之间的余弦相似度,构建成以文本为节点的网络图。利用社区发现算法,将其相同类别的文本节点划分同样的社区中。3、得到表征文本类别的文本向量,对每个社区中的文本节点进行优化处理措施,最终将不同类别文本节点划分到同一个社区中,实现基于社区发现的文本分析模型。本文提出的基于社区发现的文本分析模型,创新之处在于利用了社区发现的聚类特点,能够对相同类别的文本节点进行聚类分析后,再结合word2vec方法,从而进一步提升测试样本数据集的分类效果。
其他文献
"互联网+"使数字劳动遍布各产业,不断拓宽数字劳工外延。以肇端浙江织里的重大舆情事件"妞妞案"为分析案例,基于"新自由主义式例外"理论,用民族志研究诠释微信平台何以建构"
CRTSⅢ型板式无砟轨道是我国自主研发设计的、具有完全知识产权的无砟轨道结构,采用预制轨道板,现场混凝土用量较少,施工简单,整体性较好,在我国大面积推广使用。CRTSⅢ型板式无砟轨道道床板由预制轨道板和现浇自密实混凝土层构成,若施工不当,轨道板与自密实混凝土层间会出现微裂纹等现象;在列车和温度荷载作用下进一步发展为更加严重的伤损,如轨道板与自密实混凝土层间离缝冒浆、层间脱空和自密实混凝土掉块等。一
面对公司,消费者存在信息不对称与组织程度不对等的天然不足,《消费者权益保护法》等法律从事后救济的角度为消费者权益提供保护,无助于从实质上矫正消费者相对于公司的劣势,
随着大数据时代的到来,作为海量数据处理的代表技术,Hadoop受到了越来越广泛的关注。Hadoop实现了分布式文件系统HDFS和分布式计算框架Map Reduce,其高扩展性,高容错性以及低
毛竹林生物量是竹林生态系统物质循环的基础,也是评价毛竹林生产力和衡量毛竹林经营水平的重要指标。毛竹林生物量的形成是一个受多因素共同作用的复杂过程,但现有研究普遍从立地因子或林分结构单一方面分析其对毛竹林生物量的直接影响,忽视了立地因子和结构因子的关系及其对毛竹林生物量的间接影响。本研究以浙江省少受人为干扰的毛竹林为对象,在全省东、南、西、北和中部10个县市(区)共设置52个样地,通过随机森林算法和
近年来,不确定数据(Uncertain Data)得到了越来越广泛的重视。数据的不确定性本身存在于许多真实世界的应用,例如传感器数据监测、环境监视、移动轨迹、定位服务,归因于环境
认知无线电技术是解决日益增长的无线应用需求和静态频谱分配导致的频谱稀缺问题的有效方法。然而,由于授权用户的抢先式优先级和授权网络共享信道的空时变化特性导致认知用
自从马克思主义结合中国实际形成毛泽东思想以来,马克思主义中国化的进程始终没有停止。随着中国进入新时代,习近平新时代中国特色社会主义思想的形成,标志着马克思主义中国化的又一历史性飞跃。在这马克思主义中国化的最新成果中,与习近平总书记自身树立正确的马克思主义观密切相关。而习近平马克思主义观的形成,是中国时代环境客观因素和全党集体智慧主观因素共同影响和作用的结果。习近平马克思主义观的基本态度就是结合新时
光场显微镜(LFM)可以通过单次采集光场图像及后续图像处理算法来获得被测微观结构的三维形貌信息,因而具有测量速度快、对被测样品无损伤等优点。但基于微透镜阵列的光场采集
新世纪以来,我国公路路网的建设发展迅速,极大拉动了旅游业的发展,而经济发展又让私家车越来越多,自驾游变得越来越常见,催生了风景道的开发建设,而风景道可以串联沿线村庄,促进乡村振兴。本文的研究丰富了国内的风景道规划理论,并提出了浙江义乌画里南江风景道规划方案。南江风景道规划研究总结了风景道规划基本途径,对沿线的现状道路交通、现状产业、自然资源、文化资源、旅游市场和风景道所在的义乌段生态廊道进行了分析