问答系统中结合注意力机制和门机制的算法研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:guoqiang113
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本世纪各行各业的服务早已普遍接入互联网,伴随着内容生产和用户规模的快速增长,每时每刻都在产生着海量的数据。这些数据导致了用户接收信息的低效和过载,用户需要从中筛选出有效信息。面对如此规模庞大的蕴含大量有价值的数据资源,如何快速有效地进行信息查找与抽取成为学术界和工业界的一个热门研究领域。其中问答系统作为代表技术更是受到高度关注。问答系统可以帮助用户阅读文档和问题并快速获取答案,从而取代了以往在大量相关文档下查找答案的繁琐过程,显著提升用户的使用体验。本文针对当前相关研究中存在的未能利用候选答案信息,模型忽略文本关键信息以及过于稳定地从字面匹配答案等问题,引入定制的门机制和注意力机制进行进一步优化与改进。取得的相关研究成果如下:1、提出了一种基于QANet的候选答案再思考模型。本文通过模拟人类进行阅读理解时挑选并参考多个候选答案,综合判断给出最终答案的行为提出此模型。该模型通过将挑选出的多个候选答案与原文和问题进行信息的交互与融合,促使模型综合此三方面的信息得出一个更加准确的答案。对比实验表明,该模型相较于基线模型取得了一定的性能提升。同时本文进行了多组消融实验,比较了模型在获得不同参考答案数量下的性能增益。2、提出了一种多粒度门控多跳略读与精读模型。本模型在预训练模型的基础上提出了略读模块,精读模块和门机制模块用于模拟人类进行问答任务时多次阅读和综合筛选信息的行为。同时依据粒计算的思想在模型中提出了计算上下文粒度和序列粒度的多粒度模块,并与上述模块中获得的字粒度构成并行结构,使模型能够模拟人类从字到句子,从局部到整体的的角度来理解文本的行为。实验表明,在EM和F1等指标上本模型取得了新的进步。消融实验验证了本模型提出的不同模块间对模型精度的增益效果。实验分析表明该模型能够更好地理解问题和上下文并给出更加精确的答案。同时对本文在略读模块中提出的双向层叠式注意力机制进行了可视化,验证了该注意力机制筛选文本关键信息的有效性。
其他文献
激光雷达由于测量精度高、测量范围广等优点而被广泛应用到智能车上,而高精度三维地图的建立和障碍物的识别是激光雷达在实际应用中的主要方向。新型激光雷达有着区别于传统雷达的扫描方式和点云图像。本文将基于新型激光雷达所采集到的Ros数据包和新型激光雷达本身的特性,建立校园环境高精度三维地图和障碍物的识别方法。本文的主要工作内容有如下几个方面:将激光雷达正确安装到有人驾驶的车辆上并标定好安装位置;在建立校园
随着自媒体时代的到来,海量视频被用户上传到互联网上。如此海量的视频数据使得信息传递的效率得到了成倍的提升。然而,在视频数据量爆发式增长的同时也存在着大量部分拷贝视频所产生的虚假信息,从而对原视频作者的创作构成侵权行为。这种现象对原作者和普通用户都产生了不小的危害。因此,开发具有高精度、高鲁棒性的版权检测方法成为视频大数据时代的迫切需求。目前大多数视频版权检测算法致力于提高单帧特征的表达能力,这些方
社会经济高速发展不可避免地带来了环境污染与资源短缺的问题,各国大力推广太阳能、风能、潮汐能等可再生能源来应对全球能源危机,而储能技术是实现这些可再生能源综合运用的关键技术之一,锂电池具有能量密度高、循环寿命长、环保绿色等优点,广泛应用于电动汽车、不间断电源系统(Uninterrupted Power System,UPS)、分布式储能、通信基站以及智能电网系统等储能领域。单体锂电池工作时,其电压和
动力电池、电机、电控等作为电动汽车的核心零部件,其工作性能受温度因子的影响极大。若温度过高,整车核心零部件必然限制功率开始降额输出,若温度过低,动力电池将无法进行充电。因此,环境温度通过影响核心零部件的工作性能间接使电动汽车的充电性能、动力性能、续航性能等受到影响,从而影响电动汽车的使用,同时也在一定程度上限制了电动车型在市场的进一步普及。因此设计和研究一套电动汽车的智能温控系统将电动汽车核心零部
随着数据化、信息化时代的到来,网络信息以指数级速度增长,使人们接收到远超其所能承受或需要的信息量,多领域交叉融合的现象日益凸显,如何精确高效的从浩如烟海的数据信息中获取对人类社会有价值、有意义的信息,成为大数据时代亟待寻求破解之道的重要问题。实体关系抽取任务作为知识图谱构建的基础,旨在判断非结构化文本中实体对之间存在的语义关系并将其划分入预先设置的类型中,使数据变为结构化形式,因此其具有重要的研究
环境感知是高级辅助驾驶系统技术(Advanced Driving Assistance System,ADAS)和无人驾驶技术中关键的一环,而获取更丰富,准确的目标信息是环境感知研究的主要任务。由于单一传感器都有各自的检测优劣势,仅依靠某一传感器难以获得全面的目标信息,而多传感器融合检测技术可以解决这一难题。在众多车载传感器中,毫米波雷达对目标运动信息的检测具有优势性,而摄像头对目标分类和轮廓检测
可靠性试验是提高弧齿锥齿轮机床可靠性的有效方法,载荷谱是开展可靠性试验必不可少的要素。本文以弧齿锥齿轮机床为研究对象,开展弧齿锥齿轮机床载荷谱编制方法的研究,具体研究内容如下:(1)基于传统弧齿锥齿轮机床展成法加工的几何原理与机床运动学原理,推导切齿过程中切削层瞬时未变形切屑面积的公式。利用材料的Johnson-Cook本构模型对剪切区的剪切应变、应变率以及温度进行推导。采用斜角切削模型,建立展成
对于企业而言,物流作为“第三利润源”,企业要在物流的各个环节上减少成本,物流配送作为物流中最为重要的环节,在整个物流系统的运作过程中具有十分重要的作用。但同时,由配送所产生的配送成本占总物流成本的比值较大,表明了降低物流配送成本是减少总成本的关键。本文选取LW企业物流中心配送作业为研究对象,为企业制定科学合理的物流配送计划,提高配送车辆的装载率,减少运输里程,降低物流配送成本。论文基于实际配送情况
带有信号灯的十字路口是城市交通环境中常见的一种场景,而十字路口很容易产生大面积的车辆拥堵。十字路口常用的定时信号控制方法在一方面会引起大量车辆的停车等待造成延误,另一方面,车辆因为红灯造成的频繁启停和怠速停车,会带来额外的燃油消耗。智能交通以及智能网联汽车的发展为解决十字路口的拥堵问题带来了新的方法。本文针对十字路口处的交通环境,提出了信号灯的配时和车辆轨迹协同优化方法以及车道上的队列划分方法,可
医学图像分割是将目的器官、病灶从医学数字图像中提取出来。在腹部扫描图像中,肝脏分割具有重要临床应用,如自动肝脏体积测量、肝脏3D重建、多回波核磁检查质子密度脂肪分级的量化等。肝脏与邻近器官对比度低、病变肝脏纹理发生改变,这些都使得肝脏分割变得困难,自动快速的从腹部扫描图像中分割出肝脏区域一直是研究热点。研究者基于深度神经网络训练对腹部切片进行分割的网络,但是分割结果在目标器官的边缘都较模糊不清,且