基于语义的句子表征及推理

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:tzwizj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,人们愈发希望计算机能够通过自然语言技术理解人类的语言,像人类一样学习思考,最终代替人类去完成具有认知能力的高难度任务。句子表征推理技术作为自然语言理解的关键技术,目前的研究优化内容主要集中在句子表征方法和推理模型两个方面,虽然性能也有提升,但是仍存在句子语义表达不全面、推理模型缺乏深度、推理过程缺乏可解释性等问题。本文针对以上问题,对句子表征推理技术进行了研究,具体研究工作如下:(1)针对句子表征方法表达信息不全面的问题,设计了一种多层语义表征网络应用于句子表征,通过多头注意力机制获取句子不同层面的语义信息,同时还通过添加词语间的相对位置掩码,融入句子的语序信息,减少语序带来的不确定性。最后在文本蕴含识别任务和情感分类任务上对该方法进行了验证,实验结果表明,多层语义表征网络对于提升句子表征的准确性和全面性有促进作用。(2)针对推理模型缺乏推理深度和可解释性的问题,设计了一种深度融合匹配网络,主要包括编码层、匹配层、依存卷积层、信息聚合层和推理预测层。在深度匹配网络的基础上对匹配层进行了改进,利用启发式匹配算法替换双向长短记忆神经网络简化交互融合,在提升推理深度的同时减少了模型的复杂度;依存卷积层采用树形卷积网络沿着句子依存树结构提取句子的结构信息,提升了推理过程的可解释性。最后在多个数据集对模型性能进行了验证,验证结果表明,该推理效果优于浅层的推理模型,在SNLI测试集上的准确率达到89.0%。同时语义相关性分析结果表明,依存卷积层对于提升推理过程的可解释性有很明显的帮助。(3)针对现有句子表征推理方法的改进优化仅考虑句子表征模块或推理模块带来的局限性,本文将多层语义表征网络与深度融合匹配网络结合,提出了一种基于多层语义和SCF-DMN的联合优化方法,探究句子表征和推理模块对推理性能的影响。在文本蕴含识别任务上进行实验,实验结果显示联合优化的表征推理方法性能优于现有方法,但介于单独优化句子表征模块和单独优化推理模块的改进方法之间,这表明句子表征和推理模块对推理性能都有促进作用,并且推理模块的优化对最终的推理结果影响更大。对比联合优化下各模块的性能变化发现句子表征模块与推理模块之间存在相互约束作用,该作用制约着每个模块达到最优性能,从而导致联合优化之后推理性能并未出现线性叠加。
其他文献
查尔斯·西米克(Charles Simic)是美国当代著名诗人,以对语言精确性使用的“魔术师”、东欧来的“移民者”、黑暗中的“玄而上学家”出现在公众的视野,有关他的研究大都围绕诗歌语言、移民身份和黑暗中的神秘思考而展开,虽然有研究者注意到了查尔斯·西米克诗歌的泛灵色彩,但并没有给予足够的重视。本论文对查尔斯·西米克诗歌中的泛灵论思想进行研究,考察西米克诗歌中泛灵论思想的来源、表现形态及意义。论文包
认知无线传感器网络(CRSN)是一种传统无线传感器(WSN)网络与认知无线电(CR)相结合的新型网络。它能够有效地缓解WSN中频谱资源匮乏的问题,具有很大的发展潜力。但CRSN仍然采
目的:本研究将雌性BALB/c小鼠及BV2小胶质细胞作为研究对象,通过感染弓形虫RH株速殖子建立急性弓形虫小鼠感染模型及BV2细胞活化模型,探究舍曲林(SERT)对弓形虫及弓形虫感染诱导宿主抑郁样行为的作用及机制,为防治弓形虫病的药物提供新的理论和实验依据。方法:(1)体内实验:将雌性BALB/c小鼠随机分为5组:正常组(N,未感染+未治疗)、模型组(CN,弓形虫感染+未治疗)、SERT组(弓形虫
近十年来,有机–无机杂化金属卤化物钙钛矿太阳能电池迅速崛起。它的飞速发展,得益于钙钛矿材料优异的物理和光电特性,如带隙可调、高吸收系数和载流子迁移率、载流子双极性输运、可全溶液制备和材料来源丰富。在高效稳定的钙钛矿光伏器件中,高质量的电子传输层对载流子的传输起着重要的作用,其主要作用是快速的抽取钙钛矿吸光层产生的电子并作为阻挡层有效阻挡空穴,从而减小载流子复合提高器件性能。采用不同材料作为电子传输
当发生自然灾害、恐怖袭击等紧急情况时,通信基础设施往往被摧毁,导致通信中断。此时,借助不需固定基础设施、组网迅速灵活的MANET技术可以快速组建应急通信网络。MANET主要
目的:通过检测弥漫性大B细胞淋巴瘤(Diffuse large B cell lymphoma,DLBCL)组织中Cyclin D2和Ki-67的表达来探讨它们在DLBCL分期分型中的临床意义,为DLBCL的治疗提供了更有价值的实验数据。方法:选取2013年01月至2018年10月在河北北方学院附属第一医院血液内科住院的60例DLBCL患者病理蜡块标本。入选标本均获得患者及家属同意,并签署知情同意
随着信息时代的到来,基于位置的服务逐渐在日常生活中扮演着重要角色。作为传统室外定位技术的强力补充,室内定位技术的研究近年来受到广泛的关注。其中,基于位置指纹的定位
在未来的片上多核处理器中,单个芯片上集成的处理器核心越来越多。由于传统的电互连在功耗效率和带宽密度上存在局限性,具有高带宽密度、低功耗、低延迟等特性的片上光网络(O
近年来,深度神经网络受到了越来越多的关注,其中卷积神经网络能够在时间与空间上提供平移不变性,它在语音识别方面有较好的应用。目前卷积神经网络主要在CPU或GPU上进行实现,
近年来,太赫兹技术正在成为研究热点。从电磁频谱划分来看,太赫兹处于毫米波频段向红外频段过渡的中间带,兼具电子科学与光子科学的特性,能有效解决毫米波频段频谱资源稀缺的问题,在超宽带无线通信等领域将发挥重要作用。但基于传统电磁理论设计的太赫兹器件通常具有高剖面、高损耗和高成本的缺点,极大地限制了太赫兹技术的进一步发展,而电磁超表面作为一种新型人工电磁结构,它的出现在实现器件低剖面的同时,还能对电磁波的