基于LSTM的文本上下文依赖特征的表示方法研究

来源 :河北科技大学 | 被引量 : 9次 | 上传用户:xuming
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了能够有效地从非结构性的文本数据中挖掘知识,研究将自然语言形式化为计算机输入信号的表示方法是文本意见挖掘任务的重点。基于深度学习的表示方法具有很强的特征学习能力,由该方法生成的文本表示具有连续、稠密和低维度的特征。在深度学习中,LSTM(Long Short-Term Memory)是长短期记忆网络,是一种特殊的循环神经网络模型(Recurrent neural network,RNN)模型。它不仅能够对具有时序特征的输入信号进行建模,还能够避免RNN在文本建模过程中发生梯度消散(或梯度爆炸)的问题。基于标准LSTM的表示方法对所有的输入特征一视同仁,并不能明显地表现出不同特征对特定研究任务的贡献程度,更为重要的是,该方法更侧重于学习文本上下文语义信息,而对上下文结构信息并没有很好的进行学习。本文所做的工作如下:1)在对词语间上下文依赖特征信息进行建模的过程中,由于基于标准LSTM的文本表示方法未利用向量化的词性信息去强化文本上下文依赖信息,所以本文提出了一个基于注意力机制的双向LSTM的文本表示方法。本课题在自采集数据集和来自NLPCC&2014的开源数据集上进行实验,用以验证本方法的有效性。实验结果表明,本方法在两个数据集上所获得的情绪分类效果均优于基准模型。2)在对实体方面和意见文本间上下文依赖特征信息进行建模过程中,由于标准注意力机制缺乏一个特征权重修正的过程,所以本文提出了一个基于两阶注意力机制的LSTM文本表示方法,用于建模实体方面和意见文本间的上下文依赖特征信息。为了测试本模型的有效性,本课题在来自SemEval&2016的开源数据集上进行实验。实验结果表明,本方法所取得的文本意见分类效果优于基准模型。3)在对话题和意见文本间上下文依赖特征信息进行建模过程中,由于基于LSTM的表示方法缺乏从词语层面挖掘话题与意见文本间的依赖信息,所以本文提出了一个基于注意力聚合网络的文本表示方法。本课题在来自于SemEval&2016的英文立场数据集上进行实验,用于验证本模型的有效性。实验结果表明,本模型所取得的文本意见分类效果优于基准模型。
其他文献
近年来在计算机视觉与模式识别领域,人脸识别一直是研究的热点之一。人脸识别在视觉监控、数字身份认证、公共安全、电子商务、多媒体和数字娱乐等领域具有广泛的应用前景。
本文简单介绍了无线传感器网络的概念和目前使用的密钥管理的各种方案,重点分析传感器网络中的安全特点,针对有执行器节点和无执行器节点的两类无线传感器网络提出了各自不同
工作流概念起源于生产和办公自动化领域。它是针对日常生活中具有固定程序的活动而提出的一个概念。提出的目的是通过将工作分解成定义良好的任务和角色,并按照一定的规则和过
当今信息领域中,数字图像所占的比重越来越大,发挥着无可比拟的重要作用。巨大的数据存数量和网络运输负担是信息处理过程中两大难题,严重考验着压缩技术的性能。而且随着计
矽肺病目前是我国危害最为严重的职业病之一,矽肺的防治是我国劳动卫生与职业病防治工作的重任。矽肺病的诊断过程中,粉尘接触史是诊断的必要条件,同时还需要进行影像学X光胸
近年来,随着计算机技术的快速发展,计算机图形学越来越成为一个热门学科,而各种流体模拟一直是计算机图形学领域的一个热门研究课题。在计算流体力学领域里,与流体相关的内容
随着社会经济和信息技术的飞跃发展,智能决策系统越来越复杂,要考虑的参数越来越多,可供选择的策略难以计数,仅仅靠人脑生成策略、进行决策已显得无力。人工智能与计算机的密切结
随着计算机的出现和航空、船舶、模具制造等现代工业的飞速发展,产品的形状信息如何使用计算机表示、分析和应用成了研究的热点。其中的核心问题就是寻求一种既符合计算机处
随着企业信息化集成程度的提高,如何通过自动组合已有的语义Web服务,从而为企业提供简单、高效的组合服务访问能力已经成为服务网络领域的研究重点。基于案例推理的语义Web服
在非对称逆布局的模式表示模型(NAM)的基础上,提出了两种新的NAM图像表示方法,一种是基于偏微分方程的矩形NAM图像表示方法;另外一种是基于多边形子模式的图像表示方法。针对