基于深度学习的机器阅读理解研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:yedayong0007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
赋予机器理解人类语言的能力是人工智能的重要目标,机器阅读理解(Ma-chine Reading Comprehension)是以此为目 标的代表性自 然语言处理任务之一,旨在教会机器阅读自然语言文本并回答相关问题,机器需要具备一定的语言理解能力才能给出正确答案。近年来机器阅读理解受到学术界和产业界的共同关注,取得了令人瞩目的研究进展,技术成果也已融入真实业务系统。数据在这个过程中起到了关键作用,大规模数据集的出现使机器阅读理解研究进入深度学习时代,陆续发布的多样化数据集则为持续发展提供保障。另一方面,神经网络模型的结构不断演进,性能稳步提升,在许多评测上的表现已经能够与人类比肩。尽管取得了如此成就,机器阅读理解的研究仍然面临诸多挑战。如模型的表现过度依赖大规模人工标注数据,当问题的形式发生改变或面临新的领域时,都需要再次耗费时间和人力标注相当规模的数据才能取得比较不错的效果。此外,在通用神经网络基础结构方面,虽然长短期记忆(Long Short Term Memory,LSTM)和自注意力机制(Self-Attention)等改进提高了模型处理文本的能力,但当前机器阅读理解模型的设计在结合任务特性方面还有待进一步提高。针对以上挑战,本文从数据和模型两个角度出发,分别在数据充足和数据稀缺场景下,通过数据增强和模型设计研究解决这些问题的关键技术。本文研究主要包括以下四个方面:1.基于问题生成的机器阅读理解数据增强。判断问题能否根据给定文本来回答是阅读理解能力的一种体现,本文尝试从数据方面提高模型这方面的能力,提出基于无答案问题生成的数据增强方法,使模型能更准确地区分无答案问题。通过问题生成模型自动根据文本和有答案问题生成对应的无答案问题,作为增强数据帮助训练机器阅读理解模型,在不改变模型结构的情况下提高其性能。2.基于资源转换的机器阅读理解数据增强。数据集的自动构建方法相比人工构建方法在规模和成本上有优势,在标注数据不足时可以作为增强数据提高模型的表现。本文提出了一种通过转换维基百科自动获取机器阅读理解样本的方法,构建了一个包含将近30万个样本的大规模数据集,既可作为增强数据对模型进行预训练,又可单独用于研究。本文还提出了一个答案句抽取模型,研究数据规模对模型表现的影响。3.基于候选项建模强化的机器阅读理解。回答选择型机器阅读理解问题需要从若干候选项中选择正确的一项,相关模型的设计将主要的精力放在问题和文本的表示与交互上,对候选项的建模比较简单粗糙。然而候选项能够为回答选择型问题提供许多帮助,比如可以明晰含义模糊问题的语义或通过比较候选项选择更合适的一项。基于上述分析,本文提出了候选项强化建模的机器阅读理解模型,结合候选项和问题在文本中搜集相关信息,并建模候选项间的相互关系以便更准确地选择正确选项。4.基于稀疏子网络识别的机器阅读理解。对于有大规模标注数据的领域,在预训练语言模型上构建的机器阅读理解模型能够取得非常不错的表现,但在与训练领域存在差异的领域上,模型却往往表现地并不理想。这时借助领域适应方法能取得更好的结果。本文提出了一种只使用少部分参数进行领域适应的方法,这些参数对应源领域模型中的稀疏子网络。通过对领域模型的初步分析,发现模型中关键模块的重要性在不同领域上高度相关,遂将模块重要性引入到子网络识别算法中,找到能更好适应目标领域的子网络。综上所述,本文在深度学习的背景下,从数据和模型两方面研究提高神经网络模型阅读理解能力的方法。从数据的角度出发,通过问题生成和资源转换两种方法构造增强数据,来更好地训练机器阅读理解模型。在模型方面,则通过结合任务特性来设计模型结构和选择模型参数,使模型能更好地从数据中学习任务知识。
其他文献
近年来随着物理学、科学算法、仪器设备等方面的更新和进步,对于疾病的诊断的探索也在逐渐深入,促进了医工交叉学科的发展。其中,漫射光学成像利用可见光和近红外光对生物组织进行非侵入式的探测和诊断,研究光与组织的相互作用过程,对探测光信号进行分析,可以得到组织内部光学参数相关的结构或功能信息。目前的漫射光学成像主要基于扩散近似模型进行重建研究,基于完整辐射传输模型的重建虽然模型复杂,但应用范围更为广泛,对
学位
21世纪以来社会对能源的需求快速增长,因此世界各国一直将解决能源问题作为当务之急。高效热能转换系统的关键之一,是开发与换热需求相匹配的先进功能传热工质。磁性纳米颗粒悬浮液作为一种典型的传热工质,兼具固体磁性与液体流动性,具有重要的学术价值和应用前景,而磁性纳米颗粒悬浮液应用的前提是对其热输运特性进行有效调控。因此,本文以磁性纳米颗粒悬浮液为研究对象,调控其磁学特性、光学特性及热物理性质,开展磁性纳
学位
近几年来,我国的工程机械产业迅猛发展,营业收入屡创新高。《工程建设机械产业“十四五”规划》成功出台,预计到2025年,我国工程建设机械行业营业收入将超过9000亿元人民币,这一成绩为我国经济的蓬勃发展提供了强大的支持。随着世界工业的“绿色”发展浪潮和国家碳中和政策的提出,工程机械领域的减排措施层出不穷,以期在激烈的竞争中取得优势。L工程机械公司为该集团独立全资子公司,是世界知名的大型工程机械及相关
学位
电信运营商作为推动全社会数字化转型的重要力量,面对庞大的绿色化、数字化协同发展需求,和自身信息基础设施能源需求旺盛的实际情况,亟需开展“双碳”目标下的可持续发展策略,助力碳达峰碳中和目标实现。本文对电信运营商“双碳”发展的优势、劣势、机会与威胁四个要素进行具体分析,利用SWOT分析法提出增长型、扭转型、多元型和防御性策略,为电信运营商的低碳高质量发展和赋能各行业的绿色数字化转型提供参考。
期刊
非合作航天目标相对位姿估计是失效卫星清理、太空垃圾捕获、航天器在轨维修、空间站交会对接等一系列空间近距离操作任务的关键步骤之一。本论文以与非合作航天器相对深度距离为3 m~30 m的空间近距离操作任务需求为依托,以基于数据驱动的航天器位姿估计技术在航天测控与导航领域的应用潜力为背景,对当前基于数据驱动的非合作航天器单目视觉位姿估计方法中的关键问题开展研究,具体内容如下:首先,本文对非合作航天目标关
学位
热辐射,是能量传递的方式,也是信号传输的载体,在太阳能高效利用、红外探测与制导等领域有广泛应用。当物体的特征长度与波长相当时,物质与电磁波相互作用会产生微尺度效应。磁极化激元是一种典型的微尺度效应,等效电路模型通过将微纳结构等效为电路,建立了微结构电磁场分布与激元共振频率之间的联系,从而实现对磁极化激元共振频率的分析、预测。然而,当微结构中磁极化激元共振频率与表面等离(声子)激元等模式接近时,现有
学位
作为热量传递的三种基本形式之一,辐射传热涉及能源科学、航空航天、材料工程、生物医学等诸多领域,辐射传输过程中能量传递的精确模拟对于上述领域相关传热技术的发展至关重要。同时,热辐射也是光热信息传输的载体,高方向分辨率辐射强度信号的精确求解对于目标探测、红外成像、燃烧诊断、温度测量、大气遥感等高新技术的发展具有十分重要的意义,可为辐射物性参数场和温度场等多宗量信息重构提供丰富的测量信息。而辐射传递方程
学位
磁共振(magnetic resonance,MR)图像能在早期发现更加细小微小的病变组织,广泛用于病变定位和病情诊断,高分辨的MR图像能提供更清晰的结构细节,有助医生对病情的正确分析和诊断。目前主要采用通过提高激发人体组织与器官中更多的氢质子磁化来提升成像分辨率,由此会造成磁共振成像仪的主磁场和加载的电磁波辐射时间和辐射强度的增加,辐射过量可导致人身体过热、蛋白灭活等严重后果,不适合临床应用。为
学位
海洋溢油是破坏性极大的海上污染物之一,会严重危害海洋生态,造成重大经济损失。在光照、海风、海浪等作用下,海面浮油会发生一系列物理化学变化,形成水包油(OW)、油包水(WO)油乳等不同污染形态。及时准确探测、识别不同形态溢油,并根据不同溢油种类做出相应处理措施,才可最大程度的降低溢油污染危害。遥感是检测、鉴别海面溢油的重要方式之一,而光学常数及辐射特性是进行遥感探测及识别的基础。开展溢油光谱、方向反
学位
大直径钢筒基础作为跨海大桥人工岛的围堰具有施工速度快,对海洋环境污染小等优点,因此逐渐在海洋工程中被广泛应用。当跨海大桥人工岛作用于软土地基,荷载作用下软土地基易产生大变形,导致软土强度特性随着土体变形的增大而产生显著非线性变化,软土地基中大直径钢筒基础受力机理复杂。目前对大直径钢筒基础在软土地基中的受力机理和破坏模式还认识不清,亟需开展软土地基中大直径钢筒基础受力机理和破坏模式的研究,为其在实际
学位