【摘 要】
:
答案选择任务是自然语言处理领域中的一个重要分支,同时也是智能问答系统、人机对话系统的重要支撑技术。近年来,随着各类深度学习算法在自然语言处理领域的广泛应用,研究者对问答选择任务模型算法的探索也取得了明显的进展。然而,答案选择模型的性能依旧无法满足行业应用的需求,如何进一步提升模型的准确率,是本课题的探索方向。在人类判断问答··句匹配度过程中,判断问答句语义的同时,往往会调用日常积累的知识作为辅助,
论文部分内容阅读
答案选择任务是自然语言处理领域中的一个重要分支,同时也是智能问答系统、人机对话系统的重要支撑技术。近年来,随着各类深度学习算法在自然语言处理领域的广泛应用,研究者对问答选择任务模型算法的探索也取得了明显的进展。然而,答案选择模型的性能依旧无法满足行业应用的需求,如何进一步提升模型的准确率,是本课题的探索方向。在人类判断问答··句匹配度过程中,判断问答句语义的同时,往往会调用日常积累的知识作为辅助,而利用深层神经网络构建的答案选择模型只能基于问答句本身的语义信息进行判断,无法像人类一样从外部获取知识。在深层神经网络模型的基础上引入外部知识库(Knowledge Based,KB)信息能有效解决模型的这一短板。近年来,知识库相关任务在也是自然语言处理领域比较热门的研究方向之一。目前已经存在多种不同形式的知识库、知识图谱,这些知识库中存在大量的知识库实体信息和实体关系信息。目前,已有相关研究将知识库实体信息与深层神经网络模型相结合,这种方法起到了一定的优化效果。然而,除了知识库实体信息以外,知识库中还存在着大量的知识库关系信息,这些关系信息与实体信息相结合,组成了数量上是实体信息数倍的知识库三元组信息。因此,如何进一步利用知识库关系信息与深层神经网络模型相结合的方法,达到提升答案选择模型性能的目的,是本课题的重点研究方向。针对以上方向,本课题利用深层神经网络结合外部知识库信息的方法,设计了融合知识库信息的双向长短时记忆网络(Knowledge Based-Bidirectional Long Short Term Memory,KB-BiLSTM),本文主要有以下贡献:第一,利用WordNet词汇关系进行注意力机制优化。通过WordNet中的词汇匹配得到问答句间各词的知识库关系向量,利用该关系向量计算问答句基于知识库关系向量的注意力矩阵,最后将该注意力矩阵与通过其他方法计算得到的注意力矩阵结合,达到优化整体模型注意力机制的目的。通过实验分析,证明了该方法能够优化答案模型的整体性能。第二,利用了将知识库关系信息引入问答模型句编码的方法。首先,利用知识库关系信息结合问答句上下文,计算得到基于知识库关系向量的问答句句向量表示,并与基于空间词向量编码的问答句句向量进行融合,利用知识库关系信息丰富问答句句表示信息。基于关系向量编码的句向量与不同的网络模型所得的句向量编码相结合,在多个答案选择数据集上进行实验,证明引入知识库关系向量句编码的方法能提升模型判断的正确率。第三,利用知识库关系信息优化问答句词向量权重。在对神经网络编码的句矩阵的词向量加权求和过程中,引入知识库关系信息,代替传统的最大值池化或平均值池化,优化各词向量在整个句矩阵中的权重,得到信息更丰富的问答句向量表示。通过在不同的基准模型上的实验,证明引入知识库关系向量可以优化问答句词向量权重,从而提升整体模型的性能。
其他文献
近年来,我国商业银行的个人消费信贷产业发展迅猛,截至2014年年底,个人消费信贷业务总规模已达153759.45亿元,同比2013年增长18.4%。各商业银行在追逐高收益的同时,不得不面
现如今人们越来越多地使用手机进行拍照,人像背景虚化系统是目前手机拍照领域的一大热门研究方向。背景虚化效果通常通过手机多摄像头镜头之间的叠加完成,但多摄像头为手机机身重量带来了更多负担,增加了手机制造成本,对于用户来说便增加了手机购买价格。因此本文依托某手机单摄像头人像背景虚化项目,借助神经网络算法完成Android手机人像背景虚化系统。本文实现并训练人像分割模型,利用移动端算法移植框架对其进行移植
在信息技术高速发展的今天,各种软件产品层出不穷。软件测试作为保证软件质量的关键通常占据大量的开销成本,研究如何分配有限的测试资源并达到最好的测试效果是十分重要的。测试用例是测试工作的指导,在测试用例设计过程中,若要对所有的测试组合进行全面测试会产生组合爆炸问题,大量的测试用例会使测试成本增加并且影响测试进度。为了科学简化测试用例并使测试用例集具有较高的测试覆盖率,本文利用正交试验设计思想生成测试用
2016年我国启动了国家重点研发计划项目“全空间信息系统与智能设施管理”项目。项目尝试突破传统GIS以地图为模板的间接建模方法,改用多粒度时空对象来直接描述从微观到宏观的现实世界。与传统GIS主要利用“空间+几何+属性”进行要素表达不同,多粒度时空对象建模通过8个表达元素(时空参照、时空位置、空间形态、属性特征、组成结构、行为能力、认知能力)和5个操作集合(构造和析构、分解和组合、转化和演化、关系
国内医药企业竞争十分激烈,尤其是近些年国家加强对处方药的管理,以及人们对中药的传统观念,中成药成为越来越多消费者的选择,制药企业也纷纷进入中成药市场,药企之间的竞争十分激烈。桂枝茯苓胶囊是江苏K药业股份有限公司自主研发的中成药,拥有专利保护等优势,K药业公司对其市场期望很高,但市场表现却并未突出。将产品推向市场最重要的一个环节就是营销,但作为处方药的产品受政策影响较多,营销推广更为复杂。在此背景下
目标声源发射的声信号经浅海信道传输到达接收端,由于海洋环境噪声的污染以及多途效应的影响,导致水听器接收的信号波形产生畸变。本文基于空域滤波方法和反卷积方法对声源脉冲信号的波形恢复展开研究。首先,论文对浅海信道中波形畸变的来源展开分析并设计波形恢复方案。信号波形畸变的主要原因是噪声、干扰和信道多途。论文提出两种信号波形恢复的解决途径:一是采用具有空域滤波特性的波束形成器去除不同于源方向的噪声干扰影响
随着建设工程项目的复杂化与集成化趋势,强调控制和计划的工程合同不足以应对项目的复杂性与不确定性,因此合同柔性的相关研究在理论和实践中备受关注。合同柔性旨在通过灵活
目的班布特罗盐酸盐(BAM)属于β2-受体激动剂,在临床上常被用于治疗哮喘,支气管痉挛,肺气肿和慢性肺阻塞等疾病。目前,国内外常用于检测班布特罗盐酸盐的方法包括高效液相色谱法,液相色谱串联质谱法,分光光度法,气相色谱-质谱检测法和固态核磁共振法。这些大型仪器应用范围广泛,检测结果精准,对班布特罗盐酸盐的检测具有重大意义,但是深入研究发现,这些检测方法还是难免存在着一些局限性,如耗费时间长,成本较高
手机是当前最为流行的通讯工具,是连接人与人交流的便利载体之一,各种各样的手机运用软件都为高效、快节奏的现代化生活提供服务。在英语教学中,越来越多的学者也将英语教学和手机的强大功能联系起来。此外,借助手机开展移动教学成为了当前教学的一个趋势,借助现代科技产品辅助英语教学的方式也开始进入我国的英语课堂教学。当前,我国初中英语教学的难点之一在于学生对于英语学习的兴趣不足,导致他们缺乏英语学习动机,从而最
基于智能手持移动终端的室内位置服务因其便捷、灵活且具有可移植性而成为当前国内外定位技术研究的热点。密集环境下的室内位置服务已经成为人们日常生活中的一个需求。但如何在密集的室内环境中实现精度高、实时性快的定位是当前迄待解决的一个难题。基于接收信号指示强度(Received Signal Strength Indicator,RSSI)的室内定位方法无论是在设备部署还是在数据处理上都相对简单,这就使得