基于BERT和交互注意力机制的方面级情感分析

来源 :安徽理工大学 | 被引量 : 0次 | 上传用户:kg1ksmhz1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
方面级情感分析是自然语言处理领域的一项重要研究任务,能够从细粒度层面挖掘文本中特定方面(如:价格、服务)的情感观点,并对其进行情感极性分类。该项研究任务可为用户提供消费决策指引,以及为商家制定营销策略提供理论支持。针对现有的深度学习方法中模型输入向量包含语义信息有限且对方面词感知较弱的问题,本文提出一种基于BERT和交互注意力机制的方面级情感分析模型(aspect-based sentiment analysis model based on BERT and interactive attention mechanism,记为BERT-Bi GRU-IATT),主要研究内容如下:(1)提出基于BERT和Bi GRU(Bidirectional Gated Recurrent Unit,双向门控循环单元)的方面级情感分析模型(BERT-Bi GRU)以挖掘文本的深层次语义特征,并解决了模型输入向量表征浅层的问题。首先,利用BERT预训练模型分别对文本和方面词进行语义编码,生成包含丰富语义信息的词向量表示作为模型的输入;然后,利用Bi GRU从正反两个方向分别学习词语的上下文特征,得到隐藏层特征向量并进行拼接以形成完整的向量表示;最后,将方面词表示和上下文表示进行拼接,输入至Softmax函数进行归一化处理并输出情感分类结果。在Sem Eval 2014 Task 4数据集上的实验分析结果验证了BERT-Bi GRU模型的有效性,其平均准确率和F值分别为79.79%和74.64%。(2)进一步地,提出将交互注意力机制引入BERT-Bi GRU模型以捕捉方面词和上下文之间的交互信息,并解决了上下文中关键信息未被重点关注的问题。首先,将交互注意力机制加入神经网络训练过程中,对Bi GRU隐藏层输出的上下文和方面词特征向量进行平均池化操作;然后,借助获得的隐藏层平均表示,以交互计算的方式分别为上下文和方面词分配不同的注意力权重,从而突出关键信息。相比较于BERT-Bi GRU模型,BERT-Bi GRU-IATT模型的准确率和F值分别提高了1.34%和1.23%。实验结果表明,本文提出的BERT-Bi GRU-IATT模型在Sem Eval 2014 Task 4数据集上能够准确判断出方面词对应的情感极性。方面级情感分析任务可广泛应用于智能推荐、问答系统,对于电商领域的用户和商家均具有潜在的应用价值。图[22]表[10]参[82]
其他文献
口语交际是小学语文教学的重要内容,但实际教学中,师生往往会简化或忽略口语交际的学习,评价更是流于表面,导致口语交际教学一直处于瓶颈期。口语交际能力无法通过简单的口头提问和纸笔测验反映出来,需要合理的评价形式,作为集教、学、评于一体的表现性评价正好可以胜任。表现性评价镶嵌于教学过程中,不仅能促进学生口语交际能力的改进,还能服务于教师的教学。那么,在小学高年级阶段,语文口语交际教学如何运用表现性评价?
期刊
<正>将股票的移动平均值乘以各自权重与基准日市值k的比值再乘100得出板块指数,从而计算出板块指数的移动平均线。在这些数据的基础上使用未经处理的ARIMA模型对板块指数移动平均线进行预测。由于未经处理的ARIMA模型误差较大,又对ARIMA模型中的(p,d,q)进行修正,得出准确的ARIMA模型。本文对上证指数和光伏建筑一体化板块指数利用Eviews软件进行相关性分析。
期刊
<正>2015年11月,中央扶贫开发工作会议的召开吹响了脱贫攻坚战的冲锋号。站在新的历史起点上,林芝市坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻落实党中央、国务院和自治区党委、政府各项脱贫攻坚决策部署,把脱贫攻坚作为重大政治任务和第一民生工程,瞄准“两不愁三保障”目标,坚持精准扶贫方略,以最高的重视程度、最强的政策保障、最大的投入力度,实施精准扶贫精准脱贫,脱贫攻坚取得全面胜利。党中央
期刊
<正>陶氏公司在第五届中国国际进口博览会上面向新能源汽车市场发布新一代VORATRONTM MA 8200S系列弹性导热结构胶。全新产品可助力新能源汽车电池包应对安全耐用性、可持续性、集成化装配等方面的挑战。该系列弹性导热结构胶已成功应用于上汽MG MULAN(MG 4)所搭载的“魔方”电池中。
期刊
叙事学本质上应该是一门研究历史上和现实中运用各类叙事媒介讲述故事的学问,其研究对象应该涵括文学、艺术乃至其他学科中一切具有叙事性质或叙事元素的作品。但事实上,“经典叙事学”在学科发展的历史过程中,被研究者有意无意地窄化成了文学叙事学,甚至被直接简略成了小说叙事学。伴随着“后经典叙事学”的兴起,学者们对经典叙事学的局限性,以及叙事现象本身的跨学科、跨媒介特性,开始有了深刻的认识。而且,伴随着互联网的
在我国乡村振兴战略背景的实施下,为了进一步推动西藏地区经济社会发展,保护青藏高原生态及推动西藏地区旅游业的发展,通过提取当地传统文化元素进行文创产品创新设计,建设西藏经济旅游文化圣地,解决目前西藏经济社会发展与生态环境保护之间的矛盾,对振兴西藏,挖掘乡村价值与可持续发展具有重要意义。