基于mGRU算法在抽取式阅读理解中的研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:why_2213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着循环神经网络的出现,自然语言处理的任务命名实体识别、自动问答、机器翻译、文本蕴含识别等都取得了不错的效果。文本蕴含识别和阅读理解属于自然语言理解范畴,阅读理解作为自然语言处理任务中最难的一个任务之一,可以应用在自动问答和智能搜索上。随着阅读理解语料SQuAD和TriviaQA web的出现,使得阅读理解在神经网络中的研究成为了可能。LSTM作为文本提取特征的首选模型,推动了自然语言任务的发展。随着注意力机制的出现,LSTM结合注意力机制可以进一步分析长文本之间的关系,注意力机制也是自然语言任务中很重要的方法。针对文本蕴含识别任务,重点关注的是每个文本中的子事件是否匹配。本文对逐词匹配注意力模型和mLSTM模型进行研究,指出两种模型存在的不足。对当前最优的mLSTM模型进行改进提出一种基于GRU的相邻词信息和逐词匹配模型mGRU。mGRU的主要思想是一个文本或句子设为前提,另一个文本或句子设为假设,先对前提编码,再对假设编码,在对假设编码的同时引入前提的所有单词的注意力,受n-gram思想的启发用假设的相邻词隐藏状态信息和与前提逐词匹配,在斯坦福文本蕴含识别SNLI语料上取得了很好的效果,是以循环网络做为特征提取器的目前较好的水平。针对单段落抽取式阅读理解任务,先从文本蕴含识别做基础研究。考虑到文本蕴涵识别属于自然语言理解任务的基础任务,文本与文本关系识别的领域可类比的把mGRU模型用在单段落的抽取式阅读理解的编码阶段,把问题作为前提,段落作为假设,并对mGRU模型进行一定的改进优化。改进的地方有两点,一个是结合指针网络的边界模型,边界模型作为答案的预测层,另一个是对逐词匹配模型的输出进行双头的自注意力匹配。改进的模型在单段落的抽取式阅读理解上即在SQuAD语料上取得了较好的效果。针对多段落的抽取式阅读理解任务,由于SQuAD数据集都是来自维基百科文章,范围很小,属于短文本类型答案很短的阅读理解,真正用在阅读理解任务上可信度不高,用在更复杂的数据集上效果未知,所以对更复杂的阅读理解任务进行研究,用单段落最优的模型用在复杂的多段落数据集TriviaQA web上,针对复杂数据集提出了段落选择方法和噪音处理方法,结合这个两个方法,模型在多段落抽取式阅读理解任务上取得了不错的效果。
其他文献
采用豆浆和面的方法来改善冷冻熟面的品质。研究了添加豆浆对冷冻熟面的面团流变学特性、品质特性以及微观结构的影响,并采用差示扫描量热仪(DSC)探究豆浆对冷冻熟面中可冻结
本文着重描写河源市源城区本地话句式特点,分别介绍了本地话被动句、处置句、选择问句、其他带标记词句式等八种常见又具有特色的句式。运用三个平面的理论,在分析每种句式时
在旅游业中生成的旅游展演艺术,是各种地方性文化旅游中文化变迁的表征,目前学界主要在旅游人类学和民族文化学视野对其进行阐释。无论其作为“传统”文化还是“发明”的“传统
为庆祝中国共产党成立90周年,今年“七一”前后,各广播电台、电视台将围绕这一主题,制作和播放一系列的相关节目。梳理广播电视“七一”宣传的历史脉络,总结其中的基本规律,
众所周知,按照有关规定,婴幼儿童乘坐公共交通是按照身高收取相应的费用的,或免票,或半票,或全票,但这一惠民政策在具体落实中却走了样——个别司乘人员该给乘客免票的不给免票,该买
报纸
随着人民群众物质生活水平的提高和旅游业的快速发展,近年来,中医药旅游作为一种全新的旅游产品孕育而生,业界对其研究也在不断深入。为全面了解我国中医药旅游的研究成果与
大脑作为人体最复杂的器官,具有强大的功能。通过脑科学的研究可以认识大脑,揭秘脑功能的本质并对相关脑疾病进行诊断、治疗及预防;同时可以通过人工智能创造大脑从而激发大
这些年来,随着遥感技术的发展,SAR图像在很多领域得到了广泛的应用,SAR图像处理的基础是SAR图像分割,然而由于SAR图像成像的特殊性,其极不匀质区域一直是分割的难点。目前有
本文运用新凯恩斯的动态随机一般均衡模型(DSGE),引入金融加速器机制,研究在不同的宏观经济外部冲击下,中央银行分别运用传统的货币政策工具、加强的货币政策工具以及加强的
为了解内科护士核心能力现状,探讨其影响因素,整群抽取辽宁省5所三级甲等医院内科护士549名,对其进行问卷调查,通过f检验、方差分析、多元线性回归分析其影响因素,为制定针对性培