基于BERT-LSTM算法的答案选择

来源 :南昌大学 | 被引量 : 0次 | 上传用户:bright545454
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
问答系统(QA)属于信息检索的范畴,主要通过对已有信息进行检索,返回问题答案或其它相关信息。问答系统可以通过理解用户的问题来提高回答问题的质量。目前,问答系统在智能语音交互、在线客服、知识获取、聊天机器人等诸多任务被广泛应用。对于基于检索的问答系统,答案选择是核心环节。随着深度学习技术在机器翻译、文本摘要、问答系统等自然语言处理领域的成功应用,基于深度学习的答案选择算法也成为当前研究热点。现在已有的基于深度学习的答案选择算法中,Word2vec或Glove词嵌入表示无法解决一词多义问题,直接影响到后续对句子的语义表示;RNN和CNN在文本特征提取方面存在一定的局限性,RNN由于自身的结构无法并行计算,CNN学习的是文本的局部特征。因此,针对现有答案选择算法在词嵌入表示和文本全局信息建模方面存在的不足,本文提出了 Transformer-LSTM和BERT-LSTM答案选择算法,并在两个基准数据集上实验,取得了具有竞争性的效果。本文具体的工作如下:Transformer结构由于内部的Self-Attention机制,很容易学习文本的全局信息。本文结合 Transformer 和 BiLSTM 结构,提出 TLAS(Transformer-LSTM)答案选择模型,用Transformer学习全局信息,BiLSTM实现语义信息融合。基于此,在TLAS模型引入注意力,提出基于交互的答案选择模型ITLAS。在答案选择公开数据集上取得了很好的结果。BERT预训练模型在预训练过程学习到通用的语言学知识,从中提取的词嵌入包含了上下文信息,该嵌入比传统的Word2vce和Glove具有更好的表示能力。因此,本文提出BERT-LSTM模型,基于BERT预训练模型进行微调,后接BiLSTM层整合语义信息,并使用注意力机制减少问答文本中无关信息的影响。最后,我们在流行的答案选择数据集WikiQA和InsuranceQA上评估我们的模型。实验结果表明,本文提出的方法比几种具有竞争性的基准方法有更好的性能。
其他文献
摘 要:我国的素质教育不但是一种可以发挥学生自身主体性的教育,也是一种迎合个性化需求的教育,这一正确的指导思想为我国体育教学能够实现主体性铺垫了道路,也为主体性教学的良好发展提供了条件,这些年来我国一直对教育事业进行改革,而把素质教育当作重点教育使得我国的体育教育发生了质的改变,为能够实施主体性教学奠定了基础。  关键词:主体性教学 学生 素质教育 指导思想  中图分类号:G633.96 文献标识
采用动态优化方法研究了在小的开放经济中资本流动与实际汇率的相互关系,在假定资本是完全流动的情况下,得出了实际汇率与资本流动成正比的结论。然后又分析更贴近实际的情况,在
采用150 g/L的聚乙二醇(Polyethylene glycol,PEG)模拟干旱胁迫,研究两种桑科植物(构树和桑树)的叶片光合及光呼吸特征对干旱胁迫的响应。对植物培养液的相关化学参数以及叶
收入分布的两极分化是指中等收入群体萎缩导致个体向贫富两极聚集所形成的一种分配失衡状态。根据这一理解,文章突破传统分组缺陷,不仅考虑贫富两极,也考虑了中等收入群体规
At present,the accelerated pace of urbanization has intensified the demand for land use and intensified the urban-rural contradiction in land resource utilizati
随着经济全球化的深入,国际贸易往来越来越频繁,测试仪器仪表行业的国际化步伐也愈加迅速,国内的仪器仪表企业不断探索开拓国际市场,仪器仪表行业巨头也不断深入中国市场,瓜
高校毕业生的创业人数随着就业压力的增加而逐年增多,这是目前大学生面临就业选择时一个逐步增长的趋势,但创业行为的产生是一个相当复杂的过程。这一过程可能经历了心理冲动
针对长江中游河段航道水位变化时空特征,本文建立了基于时间序列分析ARIMA模型的短时水位预测模型。结合监利、汉口、安庆水位观测站的逐日平均历史数据(2011-2015年),率定了
当前,国家正处于改革发展的关键时期,舆情交织复杂,这对舆论引导工作提出了新的要求。在舆论引导的整体过程中,需要建设更加优化的舆论引导机制。本文明确了舆论引导机制的相