基于胶囊网络的文本摘要生成技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:baby_say
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在深度学习技术快速发展的今天,现有的文本摘要技术也因此受益,处于蓬勃发展期。但是生成式文本摘要技术发展至今,依旧存在着句子冗余/错漏,内容覆盖主题不足,句子流畅度不高以及训练效率低下且难以部署的问题。本文根据对生成式文本摘要技术的研究,结合现有前沿技术,由此分析、设计并实现了胶囊-注意力指针模型,在该算法的基础之上,完成了相应的文本摘要高并发微服务复合架构的设计与实现。本文的结构以及具体工作如下:(1)针对于内容覆盖主题不足以及句子流畅度不高的问题,本文基于注意力机制从字的角度出发,更细粒度的结合注意力机制研究海量文本的语法以及语义结构。针对算法的语义结构部分,引入胶囊网络,通过对单字文本标量进行重组组成向量,采用胶囊跃迁的形式,从而概括一个字的表征。此外,本文提出了全新的路由函数π-Squash,从而能够更好的从稀疏矩阵中更好的学习到关键的文本信息。(2)对于句子冗余或者错漏,本文所述算法还引入了指针机制以及覆盖机制,从而能够有效去除重复信息,从源文本进行摘要数据的学习。结合了注意力胶囊网络后的算法不仅考虑了不同语种之间的语法语义的区别,还根据原文含义从而生成全新的句子,此外结合相应的同义词、近义词场景,也能够驾轻就熟的进行摘要输出,解决了注意力机制下由于词场景变换,所造成的注意力偏移。(3)对于训练效率部分,此外本文也设计并实现了基于参数共享概念的注意力胶囊网络,从而减少模型的训练参数。结合胶囊机制的向量特征,进一步压缩字的表征空间,减少计算空间的浪费,从而提高训练效率。本文基于现有的中英文数据集进行了相应的对比实验,结合ROUGE评分结果可知,本算法所生成的摘要内容更符合人类的语言描述习惯。整个算法在现有的数据集上都有相对不错的表现。从训练效率来看,该算法虽然需要大量的参数进行训练,但是相应的本算法的总训练时长远远短于RNN类算法,参数数量也远远小于BERT。从实验结果来看,结合多方面来考虑,本文所提出的胶囊-注意力指针模型具有一定的先进性,本文的工作具有一定的实践意义以及设计意义。最后,本文基于CAP理论,设计并实现了相应算法的微服务复合架构,考虑在并发场景下,提供服务接口的同步调用和异步调用,保障服务的高可用和强一致性,完成了相应的设计思路陈述以及实验过程,并且对相应的成果进行功能展示。
其他文献
Spiking神经网络(SNN)模仿了大脑中神经元通过自适应的突触连接发射脉冲进行信息转换的机制,被誉为第三代神经网络。相比依赖高耗能图形卡进行训练的传统神经网络,由于脉冲(spike)在时间和空间上是稀疏的,Spiking神经网络可以通过低功耗的专用硬件进行实现。Spiking神经网络已被用于图像识别,目标检测和语音识别等领域。如何让Spiking神经网络达到媲美传统神经网络的表现是目前研究的热
随着科技的快速发展,现代技术的不断更新交替,出现了越来越多复杂智能电子设备。但在长期使用智能电子设备的过程中往往伴随着出现一定程度的损耗和故障,所以对电子设备进行故障预测成为了工业运用领域关注的重点和难点,在学术界也对其出现的难题进行了大量的研究。在现阶段中,对于处理时间序列,许多方法都是利用点过程或者传统的时间序列处理方法进行时间预测。这往往需要高质量的数据和提前设定好参数化的模型并设定一定范围
强化学习是机器学习领域的一个重要分支,它通过模拟生命体大脑的学习思维模式来学习行动策略。与传统的学习方法不同,强化学习中的智能体在学习时不被直接告知需要采取哪些行动,而是得到这些行动带来的即时奖励学习一个策略最大化这些奖励。通过“试错”和“延迟奖励”这两种方式,强化学习能够处理很多传统机器学习很难处理的高交互性,决策性问题。深度强化学习在强化学习的基础上,把深度神经网络运用到其中。这可以解决传统强
群体智能灵感来源于生物群体的智能行为,蚁群优化算法和遗传算法是两种典型的群体智能算法。受益于其分布式求解方式,群体智能可由忆阻网络等硬件电路实现并行。忆阻器是一种非易失、可编程的新型电路器件,在物理上具有诸多优良特性。相较于传统存储计算异地的计算模型,忆阻器可实现内存计算模型(存储和计算同地完成),消除内存与计算单元间的传输代价。因此,忆阻网络被应用于深度神经网络和群体智能等算法的并行计算与记忆计
21世纪,随着智能手机、GPU硬件的更新迭代,计算机图形学已广泛地运用在生活和工程中,手机游戏凭借渲染算法获得良好的视觉效果,高级渲染效果甚至可以很好的模拟真人的外观。“智能虚拟人”是三维渲染与人工智能结合的产物,表现结合智能算法,拥有一定自主学习能力于可交互性的虚拟角色,虚拟人的研究可以为探究人类自身的智能提供了参考,同时虚拟人具有一定应用值,可用于智能服务,虚拟主播等。随着三维相关的人工智能技
近些年车联网技术伴随智能汽车的风口进入人们的视野,在5G通信、云计算、人工智能等技术的加持下,车联网技术在几次的产业升级中不断发展,智能汽车也上升到国家战略层面。在研究车联网发展过程中,发现车辆智能终端的云端监控平台和终端安全也是重要的课题,车辆的终端安全关系到道路车辆和设施安全、行人和驾驶员的人身安全,近些年也频繁出现车辆遭遇劫持等问题。论文主要面向车辆终端的软件层面的安全监控,配合云端的安全分
在大数据时代,互联网上产生了大量的不同题材的内容,导致用户不能快速地获取感兴趣的内容,严重影响了用户的使用体验。为了解决这个问题,推荐系统取得了成功的研究与应用。由于用户对项目的评分能反映用户对项目的喜欢程度,所以大量的推荐算法从用户对项目的历史评分数据中提取有价值的信息,据此提供推荐内容。现有推荐算法通常将用户的历史评分数据表示为高维稀疏矩阵,并从高维稀疏矩阵的评分数据提取数值特征,然而这些算法
目标检测作为人工智能学科中与生活最为贴近的研究热点之一,在自动驾驶、人脸检测、智能监控、医疗及工业检测等场景都有着广泛的应用。随着深度学习的发展,目标检测任务在准确率越来越高的同时,神经网络模型也越来越复杂。本文通过对目标检测网络以及神经网络压缩算法的研究,以端到端目标检测网络为切入点,着手于知识蒸馏、模型剪枝及参数量化三个方向对目标检测网络的压缩问题进行了研究。希望给目标检测网络的压缩问题带来新
随着机动车辆在全世界的逐渐普及,人们在便利生活的同时也伴随着交通安全事故。根据世界卫生组织的统计结果表明,全球每年死于交通安全事故的人数超过一百万人,其中接近五分之一的事故是由驾驶员分心行为所引起。驾驶员安全行为检测是对驾驶员在驾驶机动车辆过程中出现的不安全类别行为进行检测预警,如使用手机、抽烟和喝水等不安全动作。在图像检测领域,传统机器学习对待检测图片进行人工特征提取和特征匹配,其次使用支持向量
人体跌倒干预目前多局限于跌倒检测,以便检测到后及时送医以避免造成更大损失,但是并不能避免跌倒发生。人体跌倒碰撞前行为检测旨在人体发生跌倒碰撞前检测跌倒行为的发生。本文开展人体跌倒碰撞前行为检测研究,分别使用可穿戴惯性传感器和Kinect摄像头采集人体跌倒的惯性传感数据和视频序列数据,基于可穿戴传感器、Kinect摄像头和多视角融合方法进行人体跌倒碰撞前行为检测研究,适用于多环境下人体跌倒保护。论文