将知识整合到基于深度学习的机器阅读理解中的研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:divide2058
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
As a measurement to the degree of machine’s understanding of a piece of text,machine reading comprehension(MRC)requires the model to answer the questions based on a piece of context.Over the past few years,more and more powerful models have been proposed based on various deep learning techniques.The MRC models based on deep learning is powerful and effective,but most of them are focusing on changing the neural network structure.As an essential part of question answering systems,even minor changes in word representation may lead to substantial performance differences in question answering models.At the same time that the deep learning method is booming,word represen-tation has also made great progress.Global matrix factorization methods are good at leverage statistical information efficiently,while local context window methods have better performance on the analogy task.But these kinds of methods suffer significant drawbacks,global matrix factorization methods tend to indicate a sub-optimal vector space model,so that they may perform poorly on the word analogy task.Though local context window methods perform better than global matrix factorization methods on the word analogy task,they are weak in taking advantage of the corpus statistics since they are trained on local windows instead of on global co-occurrence counts.There have also been attempts to combine both of the two methods mentioned above,such as Glo Ve,which have achieved great improvements,but still cannot make use of the semantic information in the corpus.Recent works indicate that both adjusting the objective function of the training algorithm and relation-specific augmentation of the co-occurrence matrix can improve the word embeddings’quality.However,the above methods are effective only on par-ticular constructing embedding methods.The retrofitting method[1]can be applied to update word embeddings as a post-processing step.It works by running belief propaga-tion on a relational information graph constructed from semantic lexicons.This makes retrofitting can be applied to almost any kind of pre-trained word embeddings.We propose a method to enhance the question answering model by introducing semantic information to word embedding.In our model,we add the retrofitting process to the embedding layer to transform the word embeddings.Then,we do our experiments us-ing PPDB,Word Net,and Frame Net on Glo Ve and Word2Vec.The results indicate that the retrofitted word embeddings can improve the performance of the chosen question answering model.We propose a method to enhance the question answering model by introducing se-mantic information to word embedding.In our model,we add the retrofitting process to the embedding layer to transform the word embeddings.We use Word2Vec and Glo Ve as original word embeddings,and retrofit them with PPDB,Word Net and Frame Net,separately.We choose reinforced mnemonic reader as the question answering model to be improved and switch its embedding layer to the retrofitting embedding layer.The results on SQu AD dataset indicate that the retrofitted word embeddings can improve the performance of the chosen question answering model.
其他文献
总结我国食用菌产业发展现状,通过分析食用菌电商平台具有的拓宽食用菌产业发展空间、提高食用菌产品竞争实力、推动我国农业供给侧改革等方面的作用,强调建设食用菌产业电商平台的重要性。介绍当前食用菌电子商务发展的几种模式,指出与C2C模式相比,B2C模式、B2B模式和第三方平台模式更符合我国当下食用菌电子商务发展的需求。提出当前食用菌产业发展过程中电商运营存在的问题,指明电子商务经营模式下食用菌产业的发展
期刊
随着越来越多的施工企业涌入海外,市场参与者战略及经营不断调整、承发包方式不断变革,国际工程承包企业面临越来越激烈的市场竞争。特别是近年来,全球经济处于深度调整期,增长速度放缓,下行压力加大;贸易保护主义开始抬头,多边贸易体制受到冲击,不确定不稳定因素明显增多,国际工程承包行业处于日益动荡的国际环境中。在此背景下,我国国际工程承包企业如何快速把握市场动态并迅速作出反应,获取并维持其竞争优势,成为学术
学位
土壤污染防治工作是一项复杂的系统工程,面对土壤污染防治周期长、达标难、耗资大的问题,须依据各地土壤环境质量现状、经济发展水平与产业布局等因素采取适宜的土壤污染防治对策与措施。本文遵循“研究背景-理论研究-方法研究-案例研究”的思路对土壤污染防治规划进行研究。研究背景部分首先论述了我国土壤污染总体状况和防治政策,对九个市级区域的土壤污染治理与修复规划进行分析,识别出实际土壤治理与修复规划的主要内容、
学位
工作记忆(working memory,WM)是一种记忆的短期存储过程,可以为人脑进行复杂的认知任务提供信息的临时存储功能。听觉工作记忆就是对声音信息进行短期存储的过程。工作记忆是人脑重要的认知功能涉及多种认知任务的处理,虽然包含许多复杂的信息处理,人脑却可以快速存储和读出从外界获得的信息,而计算机却需要大量的样本训练,因此研究人脑听觉工作记忆的认知神经机制,可以为计算机模拟人脑听觉的信息处理提供
学位
在金融国际化发展趋势下,伴随信息科技的快速发展,综合经营已成为当今世界金融业发展的现实选择。20世纪末美国《金融服务现代化法》的出台,是允许金融机构混业经营的标志。我国自2002年以中信、光大、平安集团试点为开始,逐步探讨金融机构的综合化经营。同时,工农中建四大商业银行也通过控股方式开始设立证券、保险、信托等子公司,走上综合化经营的道路,形成金融控股集团。“十三五”规划纲要明确提出要“稳妥推进金融
学位
期刊
在石油、天然气等物质的开采、运输、加工和存储领域,易燃易爆气体泄漏事故时常发生,因此定时、定点地巡检相关设备非常重要。传统的巡检方式以人工为主,巡检工人需要频繁地检查设备外观、温度和仪表读数,并判断可能存在的故障。人工巡检存在劳动强度大、效率低,以及因主客观原因造成的漏检率高等问题。另外,随着劳动力成本的提升,人工巡检的费用也越来越高。针对传统人工巡检存在的弊端,本文给出了基于移动机器人自主导航的
学位
期刊
视觉同时定位与建图(Simultaneous Localization and Mapping,SLAM)是当前机器人导航领域研究的热点之一。经典视觉SLAM框架主要包含传感器数据获取、视觉里程计、后端优化、回环检测以及建图等环节,其中回环检测通过确认“机器人回到了曾经到过的地方”这件事,能够有效地消除视觉里程计所造成的累积误差,对提高视觉SLAM系统长期运行的稳定性和鲁棒性具有重要意义。本文对视
学位
研究目的:抑郁症是一个重要的公共健康问题,也是在全球范围内造成疾病负担的主要原因之一,随着抑郁症发病率的增加,造成了庞大的社会和经济负担。尽管遗传学和分子研究的发现为抑郁症的发病机制提供了一些线索,但对抑郁症发病机制以及治疗方法的深入评估仍然是迫切需要的。本研究旨在探讨运动干预介导的miRNA谱改变对慢性应激诱导的抑郁模型大鼠行为和分子机制的影响,为运动手段治疗抑郁症提供理论依据。研究方法:选取6
学位