基于微博数据挖掘的舆情监测与分析平台研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:lw8312188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网发展迅速,海量的信息使人们无从从一个整体的,全面的角度去了解一些互联网上的信息,同时网络文化的安全问题也日益严重,网络突发事件的频繁发生给社会造成了巨大的影响和损失,得到了民众日益增高的关注。微博作为现今网络平台给广大的网民用户提供了一个方便快捷实时的交流平台,微博在人民的生活中占有的比重越来越重。但是目前,微博中也有一些不和谐的、虚假的不文明行为,甚至包括反动言论。基于上述情况,舆情监测与分析技术应运而生,为了正确引导舆论,净化网络环境,政府或相关管理部门就需要提供有效的管理手段,舆情监测与分析平台成为了一种重要的解决方案。本系统的主要目的,就是针对微博的网页信息进行爬取、存储、分析以及对分析后的舆情信息进行展示,提供给政府或相关部门进行舆论监测以及正确引导和控制。本系统主要分为三个部分:第一是信息的采集,本系统通过研究开源爬虫框架Nutch、Crawler4j和WebCollector爬虫内核,结合Nutch内核+插件的机制以及Crawler4j良好的用户接口的优点,研究实现了一套针对微博的多线程网络爬虫。通过微博爬虫获取到微博的网页信息并将其进行存储。第二是信息的分析,在分析之前会对原始数据进行十分重要的数据预处理以免影响后续分析的结果。本文的分析方法是基于K-means算法和词共现度相结合去识别热点话题进而获取舆情,具体过程为经过数据预处理后,通过划分时间窗以及每个时间窗的词频增加率和相对频率的计算抽取出微博信息中的主题词,并筛选出合适的主题词类簇用以描述热点话题从而获取热点网络舆情。第三是舆情的可视化展示,本系统通过第二部分的分析结果对热点话题以及舆情趋势进行了可视化的展示。
其他文献
变电站是输变电系统的重要环节,正朝着大容量、超高压、远距离方向发展,其结构越来越复杂。这些特点给系统的故障分析带来了一系列新课题。而许多不确定的、非精确的因素,常
<正> 众所周知,学习动机在组织教学过程中起着重大的作用。学习动机能促进积极思维,激发对某种学习形式及对完成某种练习的兴趣。在所学材料的新颖性和所做练习的多样化上能
我市是环太平洋成矿带中主要的成矿区带之一,矿业在龙岩市经济发展中占有重要地位,矿山开发在为我市经济创造繁荣的同时,所带来的灾害问题也不断显现。本文通过对全市矿山开
随着我国经济的不断发展和国际化的不断融合,旅游业也随之发展起来,成为促进国民经济发展的又一大支撑动力。近年来,中国的旅游业蓬勃发展,吸引了大批的海外游客,其中与中国
以云南省图书馆为例,阐述了如何在购书经费不足的情况下,加强图书馆采访工作,用有限的购书经费来尽可能地满足更多的读者需求。
最近,《国务院关于推进重庆市统筹城乡改革和发展的若干意见》(国发[2009]3号文件)的发布,它意味着我国“以改革发展促进统筹”、把重庆市作为试验区的国家战略正式出台。
一、请介绍《意见》出台的背景答:江苏响水天嘉宜化工有限公司“3&#183;21”特别重大爆炸事故造成重大人员伤亡和经济损失。党中央、国务院髙度重视,习近平总书记多次作出重
期刊
创新驱动是经济发展进入新常态的内在要求,而研发则是实现创新的必由之路,只有持续提高创新效率,中国才可能完成从“工业大国”到“工业强国”的转变,实现“中国制造”到“中