【摘 要】
：
机器阅读理解要求计算机根据给定的文本回答问题,是一项能衡量机器对人类语言理解程度的任务。随着深度学习技术的发展,机器阅读理解相关研究取得重大进展。尤其是在英文领域,近些年发布了多个大规模高质量数据集,使得很多基于深度学习的经典模型在英文机器阅读理解任务上表现得非常出色。然而中文领域的研究起步较晚,进展相对缓慢。由于语言特点的差异,一些在英文数据集上表现出色的经典模型在处理中文文本时不能达到同样的效
论文部分内容阅读
机器阅读理解要求计算机根据给定的文本回答问题,是一项能衡量机器对人类语言理解程度的任务。随着深度学习技术的发展,机器阅读理解相关研究取得重大进展。尤其是在英文领域,近些年发布了多个大规模高质量数据集,使得很多基于深度学习的经典模型在英文机器阅读理解任务上表现得非常出色。然而中文领域的研究起步较晚,进展相对缓慢。由于语言特点的差异,一些在英文数据集上表现出色的经典模型在处理中文文本时不能达到同样的效果,无法有效处理中文,如Bi DAF模型。为此,本文在Bi DAF模型的基础上对中文机器阅读理解模型进行研究,将预训练语言模型与Bi DAF模型结构结合,并在此基础上加入混合注意力机制进一步提高模型对中文文本的理解能力。主要工作如下:（1）对基于预训练语言模型的机器阅读理解方法进行研究,为加强模型对中文文本的表示能力,结合Bi DAF模型的结构,提出了一个基于Ro BERTa的中文机器阅读理解改进模型。该模型使用预训练语言模型Ro BERTa作为编码层;再经过Bi LSTM进行建模,缓解预训练语言模型对于局部信息捕获能力不足的问题;然后利用Bi DAF中的双向注意力流结构进一步加深文章与问题的交互。在CMRC2018数据集上的实验结果表明,结合预训练模型后表现较好,同时相比单纯基于预训练语言模型的机器阅读理解模型,本文提出的改进模型效果更好。（2）在结合预训练语言模型Ro BERTa的基础上,为进一步提升模型对中文的处理能力,提出了一个基于混合注意力机制的中文机器阅读理解模型。首先在编码层使用预训练模型Ro BERTa获取表示,并使用Bi LSTM处理,捕获局部依赖关系;再经过由两种变体自注意力机制组成的混合注意力层处理,学习深层语义表示;然后结合多重融合机制,获取多层次、更丰富的特征表示;使用双层Bi LSTM建模,最终输入输出层预测答案的起止位置。在CMRC2018数据集和DRCD数据集上进行多组实验,结果表明,本文提出的模型与复现的基线模型相比EM值和F1值均有明显提升,验证了模型的有效性。最后设计了一个中文机器阅读理解系统,将本文模型应用其中,直观地展示研究内容的有效性以及必要性。
其他文献
监控录像是记录、回放和分析异常行为的关键工具。以传统的方法检测和分析视频中的异常事件需要对监控视频进行人工处理,但这些方法需要耗费大量人力,而结合深度学习算法的动作检测技术能够在海量数据中自动学习到健壮的行为特征,因此逐渐成为实时识别异常行为的解决方案之一。以计算机视觉理论为基础不断改进的动作检测算法前景广泛,具有重要的研究价值和实际意义。常见的行为检测技术尚存在行为识别的准确率低、对非异常行为的
“眼睛是心理之窗”。近期的心理学和视觉研究表明,人的心理活动可以一定程度地通过视线表达。然而,用视线分析心理活动还需要与发球技战术相结合,还需要区分人物视线特征发现的场景。本文针对运动人物视线分析中存在的视线采集中图像提取的自适应问题、关键人物确定的自适应问题,以及运动人物视线与视线目标的相关性问题,对运动视线分析模型的自适应方法与技术展开研究。为了有针对性地研究运动人物视线,文中把视线分成“运动
近年来,以BERT（Bidirectional Encoder Representations from Transformers）为代表的预训练语言模型在口语理解任务中有着优异的性能表现。然而,这类语言模型虽然性能较为出色,却通常只能在文本层面建立上下文关联,而缺少丰富的外部知识来支持其完成更为复杂的推理。为了解决这一问题,进一步提升此类语言模型在口语理解任务中的性能表现,本文提出:（1）为BE
在“双碳“背景下,电动汽车因零排放,噪声小,能耗低等优点,将迎来较大的发展机遇。然而,电动汽车的快速发展暴露了充电桩等基础设施落后、车桩比悬殊的问题。私桩的加入可以改善上述问题,但也带来了服务质量良莠不齐,计价不合理,用户体验不佳的挑战。目前,常用可信度计算的方法来解决上述挑战,用于可信度计算的数据主要存储在第三方或者区块链充电平台。基于第三方的信誉方案存在中心欺骗,单点故障的问题;基于区块链的信
随着物联网技术的飞速发展,各种物联网设备采集的数据源源不断产生并大量积累,这些数据具有巨大的利用价值并产生了大量的业务应用需求,此类应用也成为了众多行业领域的热点。在这些领域的应用建设中,围绕这些物联网数据的很多应用往往可以被表示为物联网分布计算环境下由一组大数据处理与分析任务构成的工作流,本文中把这种工作流称为数据密集型工作流。与传统工作流不同的是,物联网环境下这种数据密集型工作流具有数据来源分
人群计数是人群监测和人群分析的核心技术,对于公共安全管理、科学部署安保措施有重要意义。近年来,随着深度学习技术的发展,涌现出大量基于密度估计的深度神经网络用于人群计数工作,而这些网络在计数精度或检测速度上缺难以达到实际应用的需求。为了提升人群计数网络的计数精度和检测速度,本文设计并搭建了基于多尺度感知网络的密集人群计数算法,通过设计多尺度聚合模块解决了人群计数中普遍存在的人头尺度问题,引入空洞卷积
近年来,机器学习（Machine Learning,ML）和自动化语音识别（Automated Speech Recognition,ASR）技术日渐成熟。语音输入替代文字键盘输入成为可能。然而,在一些专业技术领域,由于多采用专业技术术语,给语音输入提出巨大挑战。一个最主要的问题是带有标签的专业语音数据量较少,无法满足自动语音识别系统训练的数据量需求,进而导致语音识别模型过拟合,语音识别准确度不高
异构网络是具有多种类型顶点（对象）和边（链接）的有向图,其不但能够表达丰富的结构和语义信息而且可以更加自然地抽象现实世界。凝聚子图发现作为图挖掘中的一个基础且重要的问题在异构网络中同样有较高的研究价值,并已成为该领域研究的重点和热点问题,也在社区发现、故障检测和生物研究等方面有着重要应用。为此,本文深入研究了两种不同异构网络中的凝聚子图发现问题并给出了对应的算法设计以及具体的应用案例。第一,研究了
自然语言处理的研究目标是实现对自然语言的理解,这种“理解”被应用到很多领域,如:问答任务,阅读理解任务,文本摘要任务等,其中文本摘要任务指基于对源文本的“理解”得到精简摘要,在读者阅读大量文本内容时,这项任务能帮助读者减少阅读量,提高阅读效率,因此对文本摘要任务的研究具有十分重要的意义。的方式主要有抽取式和生成式,抽取式指抽取文本重要内容拼接成摘要,但如果对文本特征提取的不全面会丢失关键信息,生成
近年来,依托于深度学习等人工智能技术的革新,人脸绘制技术逐渐成为专家学者们的研究热点,在刑事侦查、数字媒体、教育培训、影视娱乐等领域中应用广泛。基于面部特征的人脸绘制技术,是通过深度学习获得真实人脸图像与面部特征的对应关系,根据用户绘制的面部轮廓特征,实时生成二维图像,逐步逼近真实世界中的人脸。但目前的人脸绘制技术依赖于大量的人脸特征数据集,生成的人脸结果存在可控性差、细节不够清晰等问题,因此,本