基于自注意力与动态路由的文本建模方法

来源 :软件导刊 | 被引量 : 0次 | 上传用户:feng_zj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
有别于RNN和CNN,动态路由与注意力机制为捕捉文本序列的长程和局部依赖关系提供了新思路。为更好地进行文本编码,尽可能多地保留文本特征、增加特征多样性,基于动态路由与注意力机制的思想,整合胶囊网络和自注意力网络的语言信息特征抽取能力,构建一种深度网络模型CapSA,并通过3种不同领域的文本分类实验验证模型效果。实验结果显示,相较于几种基于RNN或CNN的模型,基于CapSA模型的文本分类模型取得了更高的F1值,表明该模型具有更好的文本建模能力。
其他文献
RIEST综合信息管理平台是建立在院内保密网的硬件设施的基础上,利用现代企业先进的管理理念,为研究院提供决策、计划、控制、管理与经营业绩评估的全方位、系统化的软件管理
20世纪工业社会的迅猛发展与世界人口的剧增,造成了生态平衡的严重破坏和资源的过度开采和消耗,人类的生存环境受到了极大的威胁。如今环境问题已成为制约人类社会可持续发展
“绿色化学品”碳酸二甲酯(DMC)可用于替代光气,是一种重要的化工中间体,特别是近年来发现DMC可以作为汽油、柴油的含氧添加剂取代甲基叔丁基醚的使用,使其具有更加广泛的应用
<正> 人们谈起核扩散,便联想到“潘多拉魔盒”。所谓“潘多拉魔盒”,是希腊神话中一个装满灾祸的特殊盒。这个神话故事讲的是:英雄普罗米修斯历尽千辛盗火种,随后传给了人类,
聚焦于科技财政支出与省级区域创新绩效之间的关系,分析了研发投入、不同创新主体政府研发经费配置、基础研究投入对创新绩效产生的影响,发现在我国科技投入存在结构和区域不
平地机的发明始于19世纪末的美国,经历了一百年的发展积累,卡特彼勒公司推出最新的第六代M系列平地机,最突出的技术先进性体现在机器操控方面,用座椅左右扶手上的两根万向操
目的探讨可以在较短时间内获得大量较高纯度兔施万细胞的途径。方法取新西兰大白兔Wallerian变性的坐骨神经,用组织块反复种植培养法培养施万细胞,联合使用机械剥离、双30min差
近年来,迅速普及的新媒体凭借便捷、高效、互动等优势改变了过去受众接受信息的方式,一定程度上造成了电视等传统媒体的受众分流。在国家政策指引下,各级电视媒体纷纷调整发
随着经济的飞速发展,城市化进程的不断加快,汽车保有量以及道路交通量迅猛增加,交通拥堵、交通安全等问题越发严重。特别是在区域化路网中,车辆的行驶途径往往会遇到有信号控
组织变革是组织发展的一个必经过程,随着经济发展和社会进步,变革也成为组织的一种常态。最早提出“变革”概念的是美国著名组织管理学家卢因,他在1947年提出了解冻、变革、