基于动态多注意力与词语义关系的文本蕴含识别研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:eu2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本蕴含识别是自然语言理解中一个充满挑战的核心任务,其目的是使计算机系统能够深入理解文本信息。由于很多自然语言处理任务需要利用含有蕴含关系的文本来解决问题,因此文本蕴含识别被广泛的应用在问答系统、关系抽取、机器翻译等任务中。在早期,研究者们针对文本蕴含识别的研究主要集中在基于统计与规则的方法。在这类方法中,特征识别的准确性对于最终结果具有较大影响,而特征识别往往依赖于人们的经验。随着深度学习的发展,基于深度神经网络的文本蕴含识别模型很好地解决了特征依赖人们经验的问题,并且取得了许多突破性成果。本文通过对相关研究工作的分析学习,针对现有模型存在的问题,提出基于深度学习的文本蕴含识别方法,主要内容如下:现有的方法通常是将一个句子应用一种注意力编码,然后将学习到的句子表示向量传递给预测层。这会导致它们仅依赖一种注意力机制无法获取到更全面的句子表示向量。为了解决这个问题,本文提出一种基于多路动态掩码注意力的文本蕴含识别模型,模型利用多注意力编码器对句子进行多个建模,使模型能够更好地利用句子中不同词语级别的信息。使用动态掩码选择器调整掩码来保证注意力机制能够在时序化建模的基础上关注到重要的反向信息。在这里,本文利用强化学习来解决动态注意力的掩码选择问题。实验结果表明,本文的模型在公开可获得的文本蕴含识别数据集上与基准模型相比有了显著的改进。由于在很多情况下往往会遇到数据集规模不大、数据质量不一情况,从而导致模型很难从这些数据中获取到文本蕴含识别所需的所有知识。针对这个问题,本文提出了一个融合词语义关系的注意力卷积神经网络模型,将WordNet中的词语义关系嵌入到GloVe的词向量中,通过使用注意力机制关注句子间的特征,利用注意力卷积抽取句子特征,并通过推理层获得最终结果。实验结果表明,本文的模型在SNLI数据集上的准确率为89.4%。尤其是在数据集规模不大的情况下,与不利用词语义关系的模型相比模型提高了 9.3%的准确率。
其他文献
随着计算机技术的发展,用户对软件质量提出了更高的要求。而软件缺陷会影响软件质量,因此,越来越多的研究者开始研究软件缺陷预测技术。由于某些新的项目的历史缺陷信息有限,使用自身的历史信息预测新的模块存在很大的难度,因此,跨项目软件缺陷预测的研究很有必要。跨项目软件缺陷预测是由一个或儿个项目构建模型,然后应用于其他项目。由于不同项目的数据存在很大差异,而且不同的分类器模型具有不同的分类效果,因此,数据预
本文的研究是建立在高中生物新课程标准和高中生物核心素养的基础上得以展开的,同时,又结合国内外大量的参考文献和研究成果,运用文献研究法、问卷调查法、实验研究法等,最终以思维导图的形式予以呈现。本文的研究主要进行了以下探讨:一,在生物课的教学之中,思维导图是否能够增强学生学习兴趣;二,在生物课的教学中,思维导图的使用是否能够起到提高学生学习成绩的作用;三,在生物课的教学中,思维导图的使用是否能够增强学
学位
半规管系统是人体内耳的一部分,由三根相互近似正交的半规管组成,每个半规管底部膨大的壶腹内都有一个呈现横位的镰状隆起,称作壶腹嵴。半规管内外都充斥着淋巴液,当人体发生旋转运动时,因为淋巴液的惯性影响,使得壶腹嵴顶变形,并由此感知人体头部的空间运动。由于生理原因,对于壶腹嵴的感知机理缺乏深入了解。本课题采用PVDF制成的半电极含金属芯压电纤维作为传感元件,在以前的工作基础上,按照1:1的比例,设计制备
农商行是我国农村地区重要的金融机构类型之一,流动性风险一直是商业银行各类风险中重要的一环,而这在农商行这类中小法人银行中显得更为突出。一方面,从上世纪70年代的石油危机,到2008年全球金融危机爆发,国际社会对银行业流动性风险进行重新审视,巴塞尔委员会在危机后随即发布了《巴塞尔协议Ⅲ:流动性风险计量、标准和监测的国际框架》等文件,更加重视对银行各级资本的计量。另一方面,现阶段我国农商行主要仍以负债
随着资本市场趋于成熟,企业联盟越来越复杂多样,会计师事务所也不断发展壮大。上市公司选择会计师事务所不仅关系自身发展,也会对其利益相关者产生影响。当前,越来越多的上市公司存在与其利益相关者选择同一家会计师事务所的现象,我们称之为共享审计师。本文关注的是上市公司与其供应链上的供应商和客户选择同一家会计师事务所的情况,即供应商-客户共享审计师。回顾相关现有文献,供应商-客户共享审计师的研究仍然较少,其中
伴随着计算机技术以及产业互联网的发展,各行各业开始广泛应用互联网服务和计算机技术,在人们广泛应用互联网技术的同时,我们的企业应用等也逐渐暴露出许多安全问题。伴随着
广州港南沙港区作为全国重要港口,地处粤港澳大湾区的地理中心,是广州市建设港口型国家物流枢纽的重要承载区域。目前,广州港南沙港区的建设重点是码头与堆场,港口服务仍以基础物流服务为主,因此对广州港南沙港区功能区布局进行优化,是广州港南沙港区建设港口型国家物流枢纽过程中的一项重要任务。本文将以完善基础设施,提升港口增值服务能力作为切入点,以各功能区之间搬运成本最低、综合关系最大及土地改造费用最低为目标,
在我国经济进入新常态的背景下,人力资本对经济增长的重要性日益凸显,然而有关人力资本集聚如何影响我国城市发展的研究并不多见。本文使用2002-2007年城镇住户调查数据,分析城市层面人力资本集聚对个体工资和城市就业增长的影响。研究发现:第一,人力资本集聚对个体工资有正向影响。城市本科及以上学历工人占比每增加一个百分点,个体工资增长约2.13%。进一步分析发现这种影响主要集中在高技能劳动力人群与高技术
聚合物基复合材料以其优异的性能,在工业生产中受到广泛应用。作为火电烟囱内衬,面对复杂的服役环境,复合材料具有耐化学腐蚀、质轻高强、高模量、耐候性和可设计性等优点,是火电烟囱内衬的理想材料。虽然复合材料具有较好的机械性能、耐化学腐蚀性能等,但是其热学性能相对较差。作为烟囱内衬,复合材料受到温度老化后,其性能变化仍需要进行深入研究。因此,对于复合材料应用于烟囱内衬方面,本文将从以下三个方面进行展开研究
硼氟二吡咯荧光染料(Boron Dipyrromethene,BODIPY)是一类近十几年被广泛关注的荧光化合物,具有优异的光物理性能,如较好的稳定性、较高的荧光量子产率和较大的摩尔消光系数等。然而经典的BODIPY的吸收和发射波长较短,一般局限在470-530 nm,较大地限制了其在生物、化学、材料等领域的应用价值。因此,设计并合成吸收和发射光谱达到近红外区域的BODIPY具有重要的意义。针对这