基于爬虫技术和文本聚类的COVID-19舆情分析

来源 :湘潭大学 | 被引量 : 0次 | 上传用户:zhao3785
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在过去的几十年里,舆情跟人们的生活几乎毫不相关,而近几年的几次重大突发性传染病事件,如2017年H7N9禽流感疫情、2019年甲型H1N1流感疫情和埃博拉疫情以及2020年COVID-19疫情期间,与其相关的一些微博舆论上了热搜,各大网络平台的新闻报道也引发了广大网民的关注和热议,微博舆情逐渐成为大家的日常。关于此次疫情产生的舆情,网民们的讨论热度非常高,最高一天产生千万条微博。随着确诊人数的不断增加,网络上相关的新闻报道和话题也呈爆炸式增长。在数据化时代,网络舆论传播机制复杂,信息量大,对舆情的分析和精准预测有助于政府精细化治理。因此,利用统计学和数据挖掘算法精准有效识别热点主题,分析网民的情感动态趋势,对政府开展防控工作有着重要意义。本文对COVID-19疫情的舆情分析主要内容有数据获取、数据处理、文本情感分析和聚类分析、时间和地理位置分析。首先基于Scrapy爬虫框架搭建了爬虫项目,分别以“2019-n Co V”、“COVID-19”、“肺炎”和“疫情”为关键词,使用Python获取了2020年1月1日至2020年3月31日期间国内34个省市自治区大量的新浪微博疫情文本数据。然后从微博的文本特征出发进行数据预处理,添加疫情相关的自定义词典和停用词典进行精确分词,为后面聚类分析提供有效支撑。接着使用TF-IDF算法提取特征词、建立向量空间模型并利用LSA方法进行降维,再用手肘法寻找最佳聚类数,使用K-Means聚类算法对文本数据聚类分析。再使用词云图分析和Snow NLP情感分析模型进行可视化,绘制情感动态变化图和新增确诊人数趋势图,并利用标准地图服务系统绘制全国各地区情感分布图和新增确诊人数分布图。最后结合官方新闻报道和实验结果对比分析。实验结果表明,网民讨论的热点主题包括疫情、防控、武汉、医院、复工复产等,疫情中网民的情感动态大致分为四个阶段:从1月1日至1月19日的慌张期到1月19日至2月15日的担惊受怕期,再到2月15日至3月10日的缓慢恢复期,最后到3月10日至3月31日的乐观稳定期。同时情感值最低只有0.3,最高超过0.8,情感值高低和疫情发展严重程度基本成负相关。最后根据三个时间段内的情感值分布图和各地区的疫情情况分布图验证了结论与实际基本相符。因此,在发生重大突发性传染疾病时,可以获取实时产生的相关微博数据,对不同地理位置的微博进行文本聚类和情感分析,挖掘其中所蕴含的信息价值,结合情感分布图,定位预测到具体感染地区的疾病发展情况。
其他文献
针对大学生心理健康问题相关数据的采集与分析需求,文中提出了一种基于大数据匹配的心理健康因素分析算法。通过数据的采集与预处理,实现社交模型、情感模型和兴趣模型的融合。文中分析计算了信息数据集合信息熵与信息增益率,利用剪枝决策树算法,可在最大程度分析处理相关数据的同时,使用后向剪枝理论去除不必要的根节点,从而避免了过拟合。对不同高校学生心理健康数据的分析结果说明,文中所提算法具有优良的适用性,且比现有
新课改背景下,新课标要求教师要实现从教材的使用者向教材的开发者、研究者转变。本文针对我校PEP人教版小学英语和牛津上海版英语两套教材齐头并进的现状,探讨教材整合的意义、原则、存在的问题以及教材整合的实践过程。
新时代背景下,大数据信息的使用在帮助人们生活便捷的过程中发挥着越来越关键的作用,正引领着各个行业的革新和结构升级,市场营销领域也是如此。利用大数据,企业可以对用户数据进行汇总集合分析,了解用户浏览界面时的偏好和需求,有针对性地提供商品,获得更多经济效益。因此,大数据分析已经成为电子商务营销管理中使用的一种重要数据分析途径。利用大数据可以加快实现电子商务的运营模式优化,本文阐述了大数据在电子商务营销
农村学校普遍存在餐饮浪费的情况,应该加强学生节俭教育,使其节约粮食,认识到每一粒粮食的来之不易,这是对学生提出的基本要求,也是学生思想政治教育重要内容。本文针对农村学校餐饮浪费问题进行研究,寻求有效的解决方案。
目的 研究基于PBL的翻转课堂教学模式在老年病科实习生中的应用,探讨该教学方式的教学效果。方法 以在上海中医药大学附属龙华医院实习的中医学专业本科生为研究对象,对照组采用传统带教法,实验组采用基于PBL的翻转课堂教学方式。以考核成绩和问卷调查2种方式对2组进行教学效果评价。结果 应用不同教学方法后,实验组学生的考核成绩较对照组高,实验组问卷调查中各项内容满意人数也较对照组多,差异均有统计学意义(P
随着新一轮地理课程改革的推进,"基于问题的学习"(PBL)成为倡导的课堂学习模式之一。已有的PBL教学实践多以长课时为主,这对我国基于教材和课时的教学传统带来挑战。本文以"因地制宜发展农业"为教学内容,采取课例研究的方法探讨单课时地理PBL的可行性及其关键要素。研究发现,单课时地理PBL在设计阶段需要考虑"问题情境""合作学习""学习支架"三个方面,在实施阶段则需要重点关注"课堂生成性"。
新课程标准强调,数学课程应当面向全体学生,适合学生个性发展的需要,突出了"以人为本"的教育思想,其核心是将学生作为中心,注重培养学生的综合素质,坚持学生的个性化发展和全面发展的有机统一.在小学班级教学中,学生个体间具有较大的差异,这使得运用分层教学让每个学生个体获得个性化教育成了重点.
目的探析microRNA-376b-5p对脑缺血后血管新生的调控作用及发生机制。方法选用50只健康雄性SD大鼠,处死后留取其血浆、心脏组织,应用实时荧光定量检测法检测其缺血脑皮质区microRNA-376b-5p的VEGF mRNA、Ntoch1 mRNA水平。结果两组转染前后VEGF、Notch1上下调变化水平均差异有统计学意义(P<0.05)。结论 miR-376b-5p可促进血管新生及发展,
随着全球气候变暖,如何有效解决碳排放问题成为全球关注的焦点。近年来,碳捕集、利用与封存(carbon capture utilization and storage, CCUS)技术作为有效改善碳排放问题的负排放技术受到广泛关注。为了了解国际CCUS领域研究的总体状况与研究热点,基于美国、欧盟、英国、加拿大和日本等重要国家/地区发布的CCUS相关政策和规划,采用战略规划解读方法对CCUS领域发展态
处于高中阶段的同学们,心理状态是人的一生中心理波动最大的阶段,不仅需要承担巨大的升学压力,也需要克服逆反心理,在这个阶段的高中生极易产生心理障碍和心理疾病,因此,必须在日常的生活中对其进行正确的引导,通过帮助同学们建立强大的心理基础,从而对抗青春期所产生的逆反心理,缓解高考带来的巨大心理压力,本文将结合高中生常见的心理问题进行针对性的分析,并提出合理的疏导方案,以供相关人员借鉴。