融合语言知识的文本蕴含识别研究

被引量 : 0次 | 上传用户:bigsoul
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本蕴含的定义是如果从前提句P能够合理推理得到假设句H,则称P蕴含H。文本蕴含识别(Recognizing Textual Entailment,RTE)的目的是推理给定的前提句和假设句之间的蕴含关系。文本蕴含识别能够帮助计算机从真正意义上深刻地理解文本和语言的深层含义,故被应用于多个自然语言处理任务中,例如问答系统、机器翻译、信息检索、文本摘要、关系抽取等。与英文RTE相比,中文的研究进展缓慢。首先针对数据自身的知识特征不够丰富的问题,本文使用《词林》中的同义词对数据集进行扩展。随后针对模型捕获的句子语义信息能力较弱的问题,本文提出了结合预训练模型和注意力机制的RoCo模型(RoBERTa fused with Co-Attention),增强模型学习句子之间语义关系的能力。最后针对句子编码能力有限的问题,本文使用融合HowNet中的义原信息和上下文的向量表示对模型的编码层进行改进。主要的工作如下:(1)提出了基于同义词扩展的文本蕴含识别方法。该方法首先对文本蕴含数据集CNLI和XNLI-ZH进行《词林》中同义词的扩展,得到经过单义词与多义词扩展的数据集CNLI-m-p和XNLI-m-p。然后提出了RoCo模型,通过结合预训练模型和注意力机制共同增强模型捕获句子语义信息的能力。实验结果表明,各个模型使用同义词扩展的数据集能更有效地识别文本蕴含关系。而与仅使用注意力机制的模型或者预训练模型相比,RoCo模型的识别效果较好。并且该模型在CNLI-m-p和XNLI-m-p数据集上分别达到了80.50%和80.02%的准确率,说明了在同义词扩展的数据集上使用RoCo模型对于识别文本蕴含关系是有帮助的。(2)提出了基于义原增强的方法。为进一步增强句子的编码能力,本文提出了RoCo-Sem(RoBERTa fused with Co-Attention based on Sememe embedding)模型。该模型的编码层分别使用基于How Net中的义原信息和上下文的词向量和词义向量对句子进行编码,然后将前提句和假设句的注意力计算的结果做聚合操作。RoCo-Sem模型在原始数据集上取得了较好的效果,说明使用基于How Net中的义原信息的向量表示能够增强模型的编码能力。该模型在CNLI-m-p和XNLI-m-p数据集上分别达到了81.33%和80.74%的准确率,说明了在同义词扩展的数据集的基础上使用基于义原的向量表示能够有效地提高模型识别的效果。
其他文献
近年来,随着社会的发展和人们需求的增高,具有高比容量、高能量密度的富锂锰基正极材料成为下一代锂离子电池正极材料的关注热点,但是富锂锰基正极材料目前仍旧存在一些缺陷,比如Mn3+的自发氧化还原反应,电解液对正极材料的侵蚀,充放电过程中结构的相变等。本文采用静电纺丝法制备了无钴富锂锰基Li1.2Mn0.6Ni0.2O2纳米纤维,并通过掺杂、包覆等方法对材料进行了改性研究,以抑制材料的相变和副反应,提高
学位
石墨相氮化碳作为一种二维碳基层状材料,因其独特的电子结构、优异的化学稳定性、非金属特性、容易修饰等特点,受到了人们的广泛关注。目前,石墨相氮化碳在光催化、传感等领域得到了广泛研究,但在半导体光电器件领域进展缓慢。这主要归因于以下两点:一、之前该材料多为粉末或块体,较高的界面缺陷和不平整的表面形貌阻碍其载流子的传输,缺乏高质量氮化碳薄膜;二、石墨相氮化碳存在光激发载流子复合较快和其固有带隙造成的对可
学位
临床路径是指对某一病种建立的以时间为单位的标准诊疗流程。国家为了提升各级医院的诊疗质量,大力推动使用临床路径对其进行规范化管理,使得近几年临床路径管理系统的应用更加广泛。但由于该系统中变异检测模块的判定规则固化,经常会将发生较为合理但偏离标准路径的诊疗流程判定为发生了变异,这被称为临床路径的正向变异。针对这一问题,本文提出了基于序列化数据分析挖掘与关联规则检测方法的临床路径正向变异检测模型,实现对
学位
平面物体跟踪是计算机视觉领域中的一个研究热点,在增强现实、机器人导航和视频监控等任务上有着广泛地应用。近年来,已有比较多的算法被用于解决平面物体跟踪问题,但大多数算法对于输入的视频序列仅仅考虑模板图像和目标图像之间的对应关系,忽略了跟踪过程中物体的运动信息,这在一定程度上限制了算法鲁棒性的提高。鉴于此,本文将目标物体的运动信息(光流信息)应用到平面物体跟踪任务中,致力于探索更加准确的平面物体跟踪算
学位
文本数据规模的爆发式增长使得文本分类的应用愈加广泛和重要。基于深度学习的文本分类方法减少了对于复杂特征工程的依赖,与传统机器学习方法相比效果较好,但也存在以下问题:文本向量化表示通常采用静态编码方式,没有很好地结合上下文信息;卷积神经网络和循环神经网络各有其不足;文本的层级结构在模型训练过程中没有被充分利用。本文针对上述问题展开研究,融合自注意力机制和卷积优化,提出了分别用于单标签文本分类和多标签
学位
随着深度学习技术和人工智能的不断发展,平面物体跟踪成为计算机视觉领域的研究热点,并在机器人视觉和人脸识别等方面有广泛的应用前景。近年来,卷积神经网络成为计算机视觉领域的核心技术之一,越来越多的学者将卷积神经网络应用于平面物体跟踪的研究中,现有的方法已经取得较好的研究成果,但仍存在跟踪的时间复杂度较高、跟踪不够精确等问题。为提高平面物体跟踪的速度和精度,本文主要做了以下的研究工作:(1)针对目标跟踪
学位
毁伤效果的预测对于火力筹划起着非常重要的作用,其精准度是优化火力打击方案、合理配置作战资源的基础。然而,现有的毁伤预测方法均需要高性能计算节点或集群支撑,难以运用于手持终端等计算资源受限的设备,大大限制了毁伤预测的应用场景。本文提出一类结合机器学习与区块链的轻量化毁伤预测模型训练及选择方法,可用于手持终端的毁伤效果智能预测模型训练,并可在多节点、差异化、海量数据的训练环境下,获得兼具较高准确性和计
学位
共价有机框架(Covalent Organic Frameworks,COFs)是一类由有机构筑单元通过共价键连接而成的新型晶态多孔材料。COFs材料具有密度低、比表面积大、孔径和结构可调、长程有序、有机构筑单元种类丰富、稳定性高等优点,这使其在气体吸附和分离、化学传感、异相催化、质子传导和药物输送等领域展现出巨大的应用潜力。此外,COFs材料还具有以下优点:i)丰富的有机构筑单元使COFs的带隙
学位
永磁同步电机驱动系统中,需要大容量电解电容维持母线电压,但由于电解电容体积大且可靠性差,对工作环境要求高,制约了永磁同步电机的应用。采用小容量薄膜电容代替大电解电容可以提高控制器使用寿命,降低系统成本。但是,薄膜电容容值较低,会降低电网侧的功率因数,影响网侧电能质量。另一方面,系统网侧的LC滤波电路在抑制网侧输入电流高次谐波的同时会引起LC谐振,引入高次谐波并影响系统稳定性。为解决上述问题,确保无
学位
在我国,以农业、农村、农民为代表的三农问题始终是党和国家关注的重点,同时也是各地党委政府政策出台的重要领域。2017年召开的党的十九大,明确提出要大力实施乡村振兴国家战略,这是新时期党依据国情国力,对“三农”工作作出的又一重大决策部署,对未来一个时期的农业发展奠定了基础,指明了方向,增添了动力。2018年,中央1号文件对实施乡村振兴战略作出具体部署,文件明确提出将推动村镇强县产业振兴行动,实施标准
学位