NLP技术在农业舆情分析系统中的应用研究

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:qwer96669
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网信息技术的飞速发展,各大新闻媒体都将互联网作为信息传递的主要途径,互联网也成为了人们获取新闻的首选方式。互联网为我们带来便捷的同时,也带来了一些问题。由于互联信息传播的速度非常的迅速,对于其中的负面新闻甚至是谣言,若不及时进行处理,不加以关注,会导致各类不实信息迅速在互联网上传播,造成较大的社会影响。为了避免此类情况出现,利用互联网及时的对互联网舆情进行监控变得非常的迫切。通过舆情监控,可以更快的发现近期的新闻热点,及时对负面事件进行正确的引导,避免造成更大的社会影响。本文的研究基于国家农产品追溯系统,为了更好的监控农业相关的舆情,帮助农业部工作人员进行农产品的舆情预警,研究了农业舆情系统的设计与实现。在研究中,从农业舆情系统需求出发,选取了中国农业新闻网,中国农产品网等农业新闻相关的网站作为舆情系统的数据源。使用词向量(Word Embedding)和LightGBM建立了农业新闻文本分类模型,识别出其中农业相关的新闻。使用TF-IDF(Term Frequency–Inverse Document Frequency)和岭回归(Ridge Regression)建立文本分类模型,提取出其中的负面新闻。为了更加快速的了解新闻的主题,使用了改进的TF-IDF算法提取出新闻的关键词。为了帮助舆情预警人员更快的阅读新闻,使用了文本摘要技术对新闻进行压缩,提取出新闻的摘要。本文的创新点如下:第一,提出了一种基于词向量降维的文本表示方法,通过词向量降维的方式提取出文本的向量特征,将词向量应用于长文本的分类中,在农业新闻识别的任务中达到了比传统TF-IDF更好的效果。第二,在关键词提取任务中提出了一种关键词短语检测方法,使用共现矩阵和词的共现图来提取出新闻中的关键词短语。第三,提出了一种基于TF-IDF的文本自动摘要方法,该方法使用词的TF-IDF和滑动窗口计算句子的TF-IDF值,同时还结合了句子的位置特征,相比于其他文本摘要方法,达到了更好的效果。
其他文献
在新一轮深化改革的大潮中,四平及周边地区必须紧紧抓住机遇,开阔思维,吸取国内外各不同地区相似城市发展的经验,立足本地区实际,开拓出一条具有本地区特色的发展之路。
面对日益严峻的NO_x污染,世界各国纷纷从制度和技术上入手,对NO_x的排放进行限制。作为当前应用最广泛的脱硝技术,选择性催化还原(SCR)需要传感器以实时监测NO_x的浓度。基于YSZ电解质的混合电势型NO_x传感器灵敏度高、稳定性好、结构简单,成为研究的热点。由于NO和NO_2在中高温下发生相互转化,导致二者在电极上的响应信号相反,为检测结果带来干扰。如何在保证高灵敏度的同时解决NO/NO_2
我国是目前世界上生产和消费水泥的大国,水泥行业本身就是一个能耗、电耗都十分巨大的行业。在企业生产产品的过程中水泥窑会向外排放出巨量的温度在350摄氏度的中低温废气,
城市空间是城市社会、经济、历史和文化诸种信息的物质载体,也是人们阅读城市的首选场所。清末民初小说家对北京、上海两个都市表现出前所未有的关注,尤其对行走空间、休闲空
上海的秋天总是特别短暂,还未来得及感受香飘十里的桂花芬芳,转眼间便进入了冬季。立冬过后,气温越来越低,不少人的冬令养生计划开始着手实施了,笔者在此也收集了几项适合冬
目的探讨培哚普利配合氨氯地平治疗老年原发性高血压的效果。方法选取2016年6月—12月来我院就诊并确诊为老年原发性高血压患者142例,随机分为试验组和对照组,每组各71例。试
目的对比体外冲击波碎石术(ESWL)、开放性输尿管切开取石术(开放性手术)、微创手术及联合手术治疗输尿管结石的临床效果,分析4种手术方式近4年来在临床的使用情况。方法回顾
在露天台阶爆破中,是否留有根底是评价爆破效果好坏的重要指标,产生根底的主要原因是炮孔底部的夹制作用过大,爆破冲击波作用过弱,导致岩体坡底线岩石不能得到破碎。超深的目的就在于克服底盘夹制作用避免产生根底,超深可以有效的解决坡底线根底的问题。但在露天台阶爆破实际操作中,超深取值也仅依靠经验,超深过小起不到消除根底的作用,超深过大又会致使下一台阶顶部岩石过度粉碎,震动过大不利于下一台阶的钻孔工作,造成炸
单相逆变器作为小型分布式发电系统主要拓扑结构,常用来实现太阳能发电、储能单元和燃料电池等直流电源与交流母线之间的能量交换。然而单相逆变器系统中固有的二倍工频脉动功率问题,不仅依赖于可靠性低的电解电容,更影响着直流分布式电源和储能单元的工作效率和寿命,因此需要通过功率解耦技术解决这一问题。同时随着可再生能源(光伏发电、风力发电等)的大量接入电网,现在各国对小功率分布式发电系统要求有灵活的有功、无功功
太阳能作为一种清洁的可再生能源,如果能将其有效利用必定会解决环境污染以及资源短缺等问题,光伏材料的开发也因此成为一个研究热门。铁电光伏材料因其具有窄带隙、低成本、载流子传输性好、化学和热稳定性高等优点在光伏领域有着广泛的应用前景。铁电光伏效应中光激发载流子的分离由铁电极化驱动,所产生的光电压不会受制于晶体的禁带宽度。BiFeO_3(BFO)因其具有大的剩余极化(90μC/cm2)以及相对较窄的带隙