基于ERNIE的口语理解研究与应用

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:sohdengmang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
口语理解任务主要包括领域识别、意图识别和语义槽填充三个子任务,因而有关口语理解的研究可分为仅考虑单个子任务的粗略口语理解和联合多个子任务的精细化口语理解。综合以上分析,从口语理解两个角度和应用角度出发进行研究,主要工作如下:(1)针对口语交流中存在对话短易造成文本语义稀疏的问题,以及对话时的随意性会导致意图模糊不清的问题,提出一种融合实体信息和时序特征的意图识别模型。通过识别对话中实体信息并加入到动态词向量训练中来解决语义稀疏的问题,并利用双向长短期记忆网络来抽取意图在上下文对话中的关系来解决意图模糊的问题,最后基于g MLP的内部自相关机制自适应融合实体信息和时序特征进一步提升不同特征之间关联性。在相关数据集CCKS2018和SMP2018上进行实验,结果表明,所提模型能够有效提升意图识别的性能。(2)针对目前口语理解任务中单任务建模性能提升有限及级联多个子任务会造成误差在任务间传播的问题,提出一种双向关联多轮信息共享口语理解模型(BA-MIS)。首先,用预训练模型获取文本动态表示;考虑到上下文语境信息对意图识别和语义槽填充的影响,利用双向门控循环单元来获取上下文语境信息,并利用Attention对两个任务进行针对性提取以获取任务所需信息;接着构建多轮信息共享的网络(IN-SN),第一轮在IN子网中计算意图与浅层语义槽特征之间相关性来得到意图增强向量,然后将意图增强向量送入SN子网进行共享得到语义槽增强向量,第二轮共享将语义槽增强向量代替浅层语义槽特征进行共享来提高任务之间信息共享程度与精度;最后利用分类网络进行意图识别,语义槽填充则利用能考虑全局信息的标签注意力网络对语义槽进行标记。在口语理解的标准数据集ATIS和SNIPS上进行实验,结果表明,该模型能有效提升口语理解的性能。(3)基于BA-MIS模型,以ATIS为基础数据集并调研了航空订票领域的现实需求,本文设计并实现了一个智能航空订票口语理解系统。通过将事先线下训练好的模型上传至服务器,并编写相应的后端代码调用模型和对应的页面代码来对口语理解的结果进行可视化展示。
其他文献
AlGaN基紫外LED因其在杀菌、通信等领域具有巨大应用价值而备受关注。然而,随着Al组分的增加,AlGaN基UV-LED的光电性能由于受到高位错密度、低载流子注入效率等因素影响,未能得到很好的提升。本论文针对LSPs耦合增强的紫外LED展开研究,利用金属纳米结构所激发的LSPs与有源区实现共振耦合,达到提高器件的IQE的目的,从而增强器件的发光效率。取得的主要研究结果如下:针对AlGaN基DUV
学位
传统光缆配线房中,光缆数量巨大且常年累积,致使光缆线路杂乱,这不仅造成光缆资源浪费,也大大影响了配线房中的线路管理。目前,大部分的配线房仍旧采用人工拽拉的方式对光缆线路进行排查和整理,费时费力。此外,一些新型寻纤设备虽解决了人工成本高、维修时间长的问题,但大都需要中断光缆通讯业务,亦或需要反复弯曲光缆,极易造成光缆损坏,这些都是运营商所不能接受的。本文提出了一种既不中断通信业务又不损坏光缆的,基于
学位
随着全球天文界不断取得重大发现,尤其是射电天文屡次获得诺贝尔奖,各国科学界对射电天文的关注度逐年上升,继中国的500米口径射电望远镜FAST吸引了全球的目光,2021年6月中国正式加入平方公里阵列(SKA)天文台,射电天文望远镜作为关键设备近年来发展迅猛,DVA-C天线是中国为SKA设计的第一台样机天线,本文针对SKA天线的需求,对此射电天文天线的伺服系统设计、仿真、电磁兼容性、指向修正和测试等方
学位
自动测试软件已大规模运用于装备生产过程中,提高了测试效率,统一了测试标准;随着装备更新迭代越来越快,各种型号装备派生越来越多,而其测试项目大同小异,本文提出了一种基于CSCI的自动测试系统开发与设计方法,通过模块化设计,采用搭积木式的开发方法,降低开发时间,具备良好的通用性和可拓展性,采用该方法,可快速进行软件二次开发,并快速应用于不同装备类似测试项目的测试。
期刊
近年来,热电材料因具有独特的热电转换特性而被人们广泛关注。热电材料的性能可以通过无量纲热电优值来表征。过渡金属五碲化物由于超低的晶格热导率引起人们的兴趣,而晶格热导率与声子振动有关。但是,目前关于过渡金属五碲化物的热电声子领域的研究非常有限。基于这种情况,本论文重点利用变温拉曼技术研究单晶ZrTe5和HfTe5的固有声子非谐效应,同时利用第一性原理计算晶格热导率,以下是本文的主要成果:1、首先利用
学位
无线通信中单输入单输出(Single Input Single Output,SISO)的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统和大规模多输入多输出(Multiple Input Multiple Output,MIMO)的OFDM系统接收机的性能极大程度上取决于信号检测。当前传统信号检测方法在复杂度和误码率性能之间难以取
学位
随着互联网、云计算和大数据等新一代信息技术的发展,网络结构变得越来越复杂,传统基于边界的网络安全模型已无法应对新网络下的威胁,零信任网络应运而生。零信任网络安全理念是“始终不相信,处处要验证”,网络中任何访问主体在访问时都不予以信任,并通过动态访问控制机制进行持续的验证和评估,其对访问控制提出了新的挑战。另外,身份管理是零信任网络的基础,目前网络中不同体系结构的身份管理系统协同并存,海量、跨域和多
学位
在光通信系统中,为了使光学系统的稳定性得到保证,避免反射光对系统中器件工作的影响,设置非互易性传输的光器件是非常必要的。与传统滤波器相比,光子晶体滤波器具有尺寸小、能耗低、易于集成等特点,因此光子晶体滤波器的设计与研究在光通信中有很大的应用价值。本文基于光子晶体模态耦合理论,在二维完美光子晶体中通过引入不同缺陷结构的方式设计波导、谐振腔结构,利用二者各自局域的模态之间的匹配性,实现非互易滤波功能。
学位
谷自由度可以类比于自旋和电荷自由度来作为信息载体实现信息编码和存储。操纵谷自由度的关键是实现谷极化。本征谷极化材料为谷电子的发展提供了新的平台。目前已知谷极化材料数量有限,寻找具有较大谷极化材料可以给谷电子学器件提供更多的选择机会。在这项工作中,我们发现单层Gd X2(X=Br,Cl)是铁谷材料,单层Gd Br2和单层Gd Cl2的谷极化值分别为79 me V和35 me V。由于单层Gd X2(
学位
随着智能手机,平板电脑和其他物联网(IoT)设备的激增,基于位置的服务(LBS)已变得越来越流行,并开始塑造我们使用互联网的方式,在社会生活中发挥着极其重要的作用。这也使得通过使用移动电话、GPS设备和带有地理标记的社交媒体大规模地收集用户的位置数据的现象越来越普遍,海量用户位置数据被存储在云端服务器。大量的位置数据含着极大的学术价值和商业价值,但是这也给用户带来了隐私泄露的风险。现有的研究主要集
学位