基于Transformer的中文文本情感分析研究

来源 :兰州理工大学 | 被引量 : 2次 | 上传用户:houjinlei11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着手机等移动设备的大量普及以及社交媒体软件的大力发展,互联网上产生了海量的包含发布者感情倾向的主观性语言信息,了解和分析这些信息所蕴含的情感倾向,对于网上舆情监控、商业投资选择等领域具有重要的意义。而随着2017年BERT的横空出世,完全改变了自然语言处理的研究现状,包括情感分析在内的自然语言处理各领域几乎都迈入了新的阶段。尽管BERT的效果突出,但是庞大的模型规模和参数量严重阻碍了这类模型的线上应用,在尽可能保留模型效果的前提下缩减模型规模势在必行。本文针对目前情感分析和深度学习领域的发展现状,主要进行了以下的工作:1.针对目前开源中文情感分析数据集稀少且质量不佳的问题,在开源数据集的基础上,通过对文本情感倾向进行再次标定的方法,建立了一个适用于中文情感分析的中文微博文本情感分析数据集。2.将ALBERT运用到情感分析之中,建立了一个新的情感分析模型ALBERTFN-M,提出了基于ALBERT的中文情感分析技术。并且与传统的词向量情感分析模型进行了比较,实验结果表明ALBERT-FN-M模型相比于传统词向量模型效果提升明显,比基于BERT的模型规模和参数量都大为减少。3.通过应用知识蒸馏的方法,成功的将大模型ALBERT-FN-M的有效信息蒸馏到BiLSTM这样的小模型中,建立了微博文本情感分析模型ALBERT-D-Bi,提出了知识蒸馏在大型情感分析模型上的运用方法,相比于传统词向量模型性能提升明显,相比于原有的大模型,缩减了训练和推理时间。
其他文献
小朋友们都知道“守株待兔”的故事,但是兔子为什么会撞到树桩上呢?这倒是个有趣的问题。是因为它的眼睛近视吗?还是因为兔子在魔法世界里喝醉了酒?如果你真的想知道这个秘密,那就跟随着我们的“小好奇”,一起去动物的王国探索吧!  (小好奇)    “守株待兔”这个寓言,说的是春秋时期宋国的一个农民,有一天正在田里耕作,忽然看见一只兔子惊慌奔跑,撞到田边的一根树桩上死了。农民不费吹灰之力就捡到一只兔子,心里
监测煤矿井下瓦斯浓度并及时把数据传输到地面,减小爆炸事故发生的可能性,应用Adhoc网络体系结构设计了无线数据采集系统.对系统的下三层进行了设计与实现,物理层应用超低功
烧结过程中要使燃料中的碳素充分燃烧,供给的空气要有一定的过量。空气过剩系数就表明空气过量的多少。它的定义是:空气过剩系数(b)=(实际空气量)/(燃烧所必需的空气量) Si
<正> 陕北白绒山羊是根据市场需要和陕北自然经济条件,以辽宁绒山羊为父本,陕北黑山羊为母本,采用两品种简单育成杂交方式,经25年的培育而形成的以产绒为主,绒肉兼用型山羊新
会议
人口作为社会的重要组成部分,影响着一国经济社会发展速度和规模。近年来中国出现老年人口数量多、增速快、地区差异大等人口老龄化问题。随着经济从高速增长向高质量发展转
燃料电池相对于传统能源是一种极具吸引力的替代选择。设置合适的参数条件,将燃料和氧化剂连续的通入装置内部,在催化剂的作用下,通过氧化还原反应将化学能高效的转化成电能
盐酸土霉素属于四环素类抗生素,对人类具有潜在毒性,且其一些降解副产物比盐酸土霉素本身毒性更大,难以通过常规处理方法去除。催化氧化技术已成为废水处理领域的一种新兴技
随着科技的进步,智能终端的普及和软件开发技术的发展,短视频以其可视性强、内容丰富、制作成本低、利润空间大等特点,迅速在网络上串红。从2011年美国Viddy软件的使用,到oci