基于深度学习的智能问答算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:moke707
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
答案选择作为智能问答领域的一项重要子任务,旨在于从几个候选答案中选择出正确的答案。传统基于统计学习的方法主要依靠人工来提取问答对之间的语义相似特征并进行问答匹配,该类模型虽然取得一定的进展,但是在时间成本和性能上还无法令人满意。而基于深度学习的方法相比之下则展现出较大的优势,因而成为目前的主流方法。基于上述背景,本文主要针对智能问答系统中的答案选择任务进行研究,提出相应的模型算法。本文的主要研究内容如下:1)现有的模型由于无法充分利用问答句的长距离语义依赖关系,因此存在语义信息和上下文信息丢失的问题,同时所引入的注意力机制在计算过程中只是分别计算每个句子的注意力权重或是计算表示单词对相互作用的匹配矩阵,因而无法充分获取问答对间的匹配特征。针对上述问题,提出融合多头注意力机制和交互注意力机制的混合神经网络HA-HNN(Attention-fusion Hybrid Neural Network for Answer Selection)。HA-HNN采用由卷积神经网络和双向长短期记忆网络组成的混合神经网络对输入句子进行建模,并且提出使用多头注意力机制和交互注意力机制用于在特征提取过程中影响问答句的特征表示,多头注意力机制能够对问题和答案语句中的关键部分给予更多的关注,从而减少噪声词的干扰,而交互注意力机制能够在问题和答案表示中融合问答对之间的相似性信息。实验结果表明,HA-HNN能够有效提高答案选择性能。2)上述模型在语义信息和上下文信息的获取上已经取得了较好的性能,但仍然难以获取文本句子中的词语在不同语境中的精确语义表示,而知识库中的信息作为重要的背景知识有助于获取句子中词语的精确表示,且能够帮助弥合问题与答案之间的语义鸿沟,因此提出结合文本和知识表示的Transformer神经网络CKR-RTNN(Joint Modeling of Context and Knowledge Representation for Answer Selection with Recurrent Transformer Neural Network)。在模型的文本表征学习层中通过融合双向长短期记忆网络到Transformer网络中来更好地获取问答对中的长距离特征;在知识表征学习层中通过采用文本指导注意力机制利用问答对的文本信息帮助获取知识实体的精确表示,同时通过注意力交互获取问题与答案的知识表征之间的交互特征。最终融合来自文本和知识库中问题与答案的特征表示得到问答对的细粒度语义特征表示。实验结果表明,CKR-RTNN获得了优于基准模型的性能表现。
其他文献
航空飞行器在工作时除了机身会受到雷击以及各种外力之外,飞行器内部的机载设备和机身系统常常受到高温高压、电磁干扰、振动与冲击等外部环境因素的影响,从而导致事故频频发生。由此可见,飞行器的材料和结构需要一定的减振及导电能力,而许多复合材料或各类夹层结构并不具备这些特性。据此,本文设计了一种具有双螺旋结构的铜-钢丝复合金属橡胶。它既具备类似橡胶的高阻尼、高弹性,又保留了金属优异的导电特性,能在一定程度上
学位
路径规划作为汽车自动驾驶的核心技术之一,其接收感知层的信息,规划出安全、平滑的可行路径,发送到追踪控制模块,是避免无人驾驶汽车与周围环境的参与者发生碰撞,实现车辆安全行驶的重要保障。为实现在限定区域典型场景下车辆的自动驾驶,本文对局部路径规划的实时性、安全性以及曲率的平滑性等问题进行研究,主要内容包括:1.针对非结构化道路场景,提出一种改进混合A*局部路径规划算法。为了提高算法的实时性,使用长短运
学位
近年来,非光滑动力系统广泛应用于机械工程、航空航天、土木工程、交通能源等工程领域,因此非光滑动力系统成为了力学、工程学等学科的研究热点.而Filippov系统是一类特殊的Liénard系统,与光滑系统相比能够出现更复杂的动力学行为.因此本文将对一类具有对称性的Filippov系统进行全局动力学研究.1.对于多项式Filippov系统x+(α+βx2)x+ηx+θsgn(x)=0,将其转化为平面系统
学位
燃料电池汽车(Fuel Cell Hybrid Vehicle,FCHV)凭借环保、高效、低噪声等特点,得到国家的大力支持和推广。但FCHV应用于城市公交时面临着客流量多变、交通拥堵、频繁启停等复杂工况,导致其经济性和耐久性较差。因此,本文通过解析工况特征,分析工况聚类方法,结合强化学习的寻优能力,提出可在线应用于燃料电池公交客车的融合工况特征的强化学习能量管理策略(Energy Manageme
学位
随着智能车的快速发展,无人驾驶技术可以有效提高道路行驶的安全性及城市通行效率,同时也能降低驾驶者的门槛。路径规划在无人驾驶技术中占据重要位置,本文针对具有较多随机障碍物的复杂环境,对快速搜索随机树(RRT)路径规划算法进行改进研究;引入节点视野同心圆,结合无人车运动约束,提出逆向连接简化法,并建立dubins曲线类型选择策略,不仅改善了无人车行驶路径的质量,还提高其路径规划的效率。本文主要研究内容
学位
智能汽车作为未来汽车发展的主要趋势,已经成为了各大高校和企业的研究重点。针对车辆在行驶过程中因速度和自身参数变化所造成控制器性能下降的问题,如何设计一种对速度和车辆参数具有较强适应性的转向控制策略成为一个新的研究课题。本文首先分别对基于现代控制方法和智能控制方法的转向策略进行了研究,在此基础上融合两者优点,制定了一种基于预测补偿的智能汽车速度和参数自适转向控制策略。针对模型预测控制算法(Model
学位
2012年,Gǎvruta在研究有界线性算子的原子分解时引入了K-框架,它可以重构有界线性算子K值域R(K)中的元素,而非整个空间中的元素.根据已得到的K-框架的相关研究成果,可以得出框架的一些结论对于K-框架而言未必成立.比如Gǎvruta证明了序列{fn}n=1∞为H的K-框架当且仅当{fn} n=1∞为H的Bessel序列且其合成算子T满足R(K)(?)R(T),而序列{fn} n=1∞为H
学位
液滴撞击固体表面的现象不仅在自然界普遍存在,在工农业生产中也有着十分广泛的应用。随着对液滴调控需求的不断增加,液滴撞击固体表面的动力学特性作为液滴调控的基础,有待完善。由于工业生产向微纳领域发展,对液滴的研究逐渐进入微纳米尺度。目前的研究主要集中在单个纳米液滴撞击光滑固体表面,而较少涉及纳米液滴撞击粗糙固体表面以及双液滴撞击固体表面的动态行为。本文采用分子动力学(MD)模拟的方法,从原子尺度探究纳
学位
现实世界中的计算系统经常遇到连续信息流的运算,这种情况要求模型能够随着时间的流逝而适应和学习。传统的机器学习方法所构建的静态模型,无法随时间推移来改变或扩展其行为,而终身学习试图通过让模型保留已经获得的知识,并将其用于将来的学习,使模型的学习过程更接近于人类的学习方式。如何保留和利用过去的知识是终身学习的重要难点,具体而言,终身学习需要解决灾难性遗忘问题,即避免模型在新任务训练期间几乎完全失去先前
学位
由于分布式驱动电动汽车的各动力源独立可控,若电机输出的动力控制不当则容易出现车辆失稳现象。为了提高分布式驱动电动汽车的行驶稳定性,本文提出一种基于相平面法的行驶稳定性控制策略,并通过仿真分析和实车测试来验证所提控制策略的有效性与可靠性。论文的主要研究内容包括:1、构建车辆动力学仿真模型。基于福州大学自主研制的分布式后轮独立驱动赛车的整车结构参数,通过Matlab/Simulink和Carsim分别
学位