基于CNN的中文机器阅读理解技术的研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:Aweichunxing890620
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解是当前自然语言处理领域最为前沿和热门的研究方向之一,它的研究目的是利用计算机建立模型,使计算机能像人类一样阅读文章、分析语义和回答问题,有着重要的研究价值和实用价值。随着硬件算力的不断提升、大数据的爆炸式增长,以及深度学习技术的不断发展,机器阅读理解研究有了长足的进步,在一些特定的任务中,计算机模型的回答已经可以媲美人类的水平了。机器阅读理解模型需要充分理解问题和文章的语义信息,通常采用三层的分层网络架构,即编码层、交互层和解码层。本文面向多段落片段抽取式中文机器阅读理解,对现有的模型的编码层、解码层和交互层进行改进,以提高模型的精度和训练、预测效率。主要研究工作如下:(1)在模型的编码层和解码层,本文对基线模型的词向量编码方式和CRF序列标注的解码方式进行改进。本文使用预训练好的词向量加上字向量微调,这种字词混合嵌入的编码方式,既包含了丰富的语义特征,又兼顾了字向量的灵活特点,再结合半指针半标注的解码方式,能有效降低答案边界预测出错的概率。实验结果表明,编码层和解码层的改进方法使模型的F1值提升了0.83%。(2)在模型的交互层,本文使用膨胀门卷积代替基线模型中的LSTM,膨胀卷积可以扩大网络的感受野,门限卷积控制信息的流动,达到多通道传输的目的,然后使用残差网络将门控卷积和膨胀卷积结合,即膨胀门卷积。问题特征和材料特征使用注意力机制交互整合。实验结果表明,这种改进在精度达到甚至超过LSTM的情况下,模型的训练速提升了近13倍,预测速度提升了近28倍。(3)本文探索了使用BERT获取上下文编码,来解决歧义问题,但实验结果表明,在没有明确标注的数据集上,效果不是很明显。(4)在模型的训练过程中,本文引入了权重滑动平均以及最新的RAdam优化器,提升了模型训练的稳定性和收敛速度。
其他文献
传统的维汉机器翻译主要是利用维汉平行语料库,基于词对齐、短语对齐的流程,完成双语词典和语言模型的训练,并且实现最终的翻译。维吾尔语是少数民族语言,也属于词素变化较为丰富的黏着语言,现实中严格意义的维汉平行语料库相对匮乏。本文针对很难获取大量的维汉平行语料库以及现有维汉机器翻译模型并未充分利用维汉语言之间共通性的问题,主要进行了两个部分的研究工作。其一,本文利用时间、空间、主题三种维度从互联网上爬取
当今时代,以太网传输得到了迅猛的发展,传输流量日益增大,传输网络面临着巨大压力,同时,以太网传输对网络中时间同步的精度要求也越来越高。针对这一问题,本文结合IEEE1588v2协议,提出了消除时间戳抖动的有效方法:FIFO水线控制反压法和均匀包络速率刻画方法,实现了100G以太网PCS子层的功能和高精度时间同步,并对100G以太网物理编码子层(PCS)结构进行了优化,详细分析了物理编码子层中各个模
随着互联网技术的高速发展,人们可以方便的从各类网页上获取海量信息和资源,生活生产方式与互联网的联系越来越紧密,然而网络规模逐渐扩大,网络技术逐渐发展的同时,利用互联网从事黑产灰产的事件也在不断发生,其中常见的手段之一就是建立不良网页,诱使浏览者进行点击,从而获取浏览者隐私或者将浏览者引入骗局。但是网页数量以亿计,人工检测不良网页难度较大,同时现有不良网站检测手段大多以单一的正文文本为主,未考虑到网
随着网络技术的蓬勃发展,用户数量与日俱增,导致现如今分组传送网(PTN)面临发展瓶颈,一系列突出问题涌现出来,层层堆叠的解决方案已经加重了网络的复杂性。为了解决网络优化问题,本文首先引入软件定义网络的三层架构到PTN网络中,优化PTN网络架构复杂臃肿等问题,使得由原来分布式管控变成集中式管控。其次,基于这一创新架构,制定出PTN网络优化规则和策略。然后,针对控制器内的四大功能模块进行算法研究,包括
随着云计算的蓬勃发展和5G时代的到来,虚拟网络中虚拟机之间的数据通信越来越频繁,对数据流转发效率的需求也越来越高。本论文从当前虚拟网络转发技术出发,介绍了虚拟网络转发过程中常用组件的基本原理,提出了一种基于vDPA(vhost数据路径加速)技术的数据流转发优化方案。通过对优化前后的虚拟网络中数据流转发性能进行测试实验,可以看到虚拟机之间通信带宽值在原来的基础上提升了20%左右,基本达到了网卡直通技
随着SDN技术的不断普及以及发展应用,基于YANG模型进行业务配置的场景逐渐普及。为了适应技术发展需求并提高业务配置的灵活性,对YANG模型进行统一管理同时提供南向接口服务已经成为一种必然。命令行是一种通信设备与网管系统或用户终端之间信息交互的管理协议,一般使用命令行接口进行网络配置,并通过输入管理命令脚本实现配置的管理。很多传统的协议栈管理模型是基于命令行的,所以为了复用现有的命令行接口,统一管
随着互联网和人工智能的普及与发展,互联网已经成为万物互联的媒介,它为世界的发展提供了强劲的动力。对于互联网,人们在分享它带来无限便利与体验感的同时,也因恶意网络入侵攻击面临着威胁与损失。提高现有网络入侵检测系统效果和挖掘未知网络入侵行为能力,提高网络信息安全技术是当下亟待解决的难题。其中针对算法效率与检测准确性的研究是该领域突破的重点。本文将当今热门的深度学习和粒计算理论应用于网络入侵检测系统,通
图像是视觉信息的主要载体之一,而由于各种因素,获得的图片分辨率往往有限,因此常利用超分辨率方法对图像细节进行推测并重建。但现有方法多是端到端的训练,复杂网络模型对设备要求较高。此外图像不同部位的重建纹理往往与该部位的类别存在很大关系。因此,本文从数据集准备和先验信息提取两个方面进行深入研究,以提高超分辨率重建算法的性能。本文主要工作和成果如下:(1)提出了超像素分割能够将一张图像拆分为多流形数据结
通信网络飞速发展的现状对数据中心的网络质量、运维能力提出了更高的要求。传统骨干网使用的VPLS技术将网络全连接,这样的方式存在消耗网络资源、容易引起ARP洪泛的缺陷,后续的演进中提出了将MAC学习迁移到控制层、使用BGP通告对端的EVPN解决方案,能够有效提升网络性能。NP芯片使用微码编程,具有快速的响应能力和高效的计算能力能够很好地适应转发层要求,所以采用NP芯片与CPU共同参与MAC学习的方案
物联网设备数目庞大且具备一定的网络攻击能力,大多数物联网设备也会涉及用户隐私并关联用户的敏感设备。随着物联网行业的迅捷发展和物联网设备的大规模投入使用,在智慧城市与物联网深度融合的规模化发展的趋势下,物联网设备带来的安全问题引起广泛关注。为了满足智慧消防系统由于应急管理对设备一致性的高要求,本文基于主动式和被动式设备指纹构建方式,将智慧消防系统中的物联网设备分为感知器和执行器进行相关实验研究,验证