【摘 要】
:
目前很多依赖递归神经网络的对话系统,基本上都是需要大量密集并且标注完成的数据来进行模型的训练。混合编码网络模型(HCN)是一种面向任务通信的对话系统。HCN让开发者可以通过软件和模板操作来传达自己所学领域的知识,与现有的端到端方法相比,HCN可以在一定范围内提高对话系统训练的实用性和训练效率,但也存在一定的局限性,如由于特定领域的小众与独特性,不具有大量的训练样本,传统的混合编码网络模型在小样本数
论文部分内容阅读
目前很多依赖递归神经网络的对话系统,基本上都是需要大量密集并且标注完成的数据来进行模型的训练。混合编码网络模型(HCN)是一种面向任务通信的对话系统。HCN让开发者可以通过软件和模板操作来传达自己所学领域的知识,与现有的端到端方法相比,HCN可以在一定范围内提高对话系统训练的实用性和训练效率,但也存在一定的局限性,如由于特定领域的小众与独特性,不具有大量的训练样本,传统的混合编码网络模型在小样本数据训练情况下,捕捉用户意图与语义分析方面存在局限性;传统的混合编码网络模型需要大量的人工参与,因此当新领域数据集的特征复杂且对话形式多样时,需要较多的迭代次数与复杂的数据处理,才可达到不错的训练效果,因此很难将HCN模型应用到新领域。本文通过深入挖掘序列数据中的时间信息,获取序列对话数据中的深层语义信息,对HCN模型进行改进,提出两种新的网络模型来对传统的混合编码网络模型HCN进行改进,即TA-HCN-BERT(Time-Aware Hybrid Code Network Bidirectional Encoder Representations from Transformers)模型与TA-HCN-MAML(Time-Aware Hybrid Code Network Model-agnostic Meta-learning)模型,以便其适应于小样本数据集的训练。并利用WOZ数据集以及BABI数据集,来对TA-HCN-BERT与TA-HCN-MAML进行训练。具体研究内容如下:首先,从进行更深层次的语义分析来获取用户的真实意图,提高用户意图捕捉与语义分析的效率的角度出发,提出了TA-HCN-BERT模型。TA-HCN-BERT模型通过增加一种时间门控的方法来改进注意力机制和递归单元,从而更好地捕捉相互作用的非线性时间差异,以及用户顺序行为的时间动态特征,并且使用联合方式来调节所有层中的左右上下文,预先对模型进行了训练。然后,从减少训练复杂度,加快训练收敛速度使其快速适应新任务的角度出发,提出了TA-HCN-MAML模型。该模型采用结合MAML的时间感知个性化网络进行模型梯度自适应,并在LSTM网络结构中新加了一种名为用户意图集成(UII)的新门控机制来建模用户意图与时间序列,并在此基础上采用LSTM结合MAML算法的思想来建模用户意图与动作措施的关系,用大且稠密的数据去应对小且稀疏的数据,来解决某些特定领域没有丰富的带注释的训练示例数据的问题。由于未引入其他体系结构或参数,模型的参数可被明确地训练,只需训练一组初始化参数,通过在初始参数的基础上进行梯度调整,即可达到仅用少量数据就能快速适应新任务的目的,同时降低了模型训练的复杂度。最后,本文将TA-HCN-BERT模型与TA-HCN-MAML模型分别与HCN模型在WOZ数据集与BABI数据集上进行了实验比较,实验结果证明了两个模型的有效性。
其他文献
随着多媒体和互联网技术的融合发展,短视频以其时长短、内容精练等特点获得广大用户的喜爱。自2010年开始,短视频开始逐渐出现在人们的视野当中,短时间内立刻吸引了大量用户的关注,与短视频相关的话题数据持续增长,成为了当下互联网最为主要的流量入口之一。与之相呼应,研发并应用短视频推荐算法成为各大网络平台吸引用户的重要方式。个性化推荐算法就是根据每个用户的基本信息以及社交信息等,推测出每个用户的不同偏好,
随着移动互联和大数据的飞速发展,互联网即将从Web2.0时代迈入Web3.0时代,这意味着互联网每日产生的数据量将不断暴涨,“信息过载”问题愈发严重,用户如何在海量数据中得到想要的信息成为当下亟待解决的难题。推荐技术的发展与普及很大程度上缓解了该难题,通过分析用户历史数据获取其喜好从而进行推荐。籍此,该技术迅速在学术界和工业界盛行并应用于诸多领域。目前,越来越多研究者致力于研发各种优良的推荐算法,
后疫情时代背景下,现代信息技术被广泛应用到各行各业,互联网经济、数字经济和平台经济快速发展,新技术、新业态催生出多种新型就业形态并逐渐繁荣。灵活就业作为新的非标准就业模式,在后疫情时代逐步成为高校毕业生就业的一种重要形式。越来越多的高校毕业生主动选择新型的灵活就业形式投身人力资源市场,加强高校毕业生新业态灵活就业特点和问题的研究,及时出台更有针对性、实效性的灵活就业政策意义重大。
文本分类是自然语言处理领域里的一个重要任务,被广泛用于热点挖掘、舆情、分析、产品分析、电影推荐、金融风险分析、欺诈识别等等。随着Web 2.0时代的来临,面对网上越来越多的文本信息,传统的基于统计学的方法已经无法满足需要。深度学习的出现,使得文本分类任务有了新的处理方法,也使得深层次的神经网络的训练成为了可能。然而,深层网络带来的梯度消失问题会导致网络难以训练。因此,如何训练深层神经网络是当下的研
随着5G、WiFi等网络技术的发展和智能移动设备的普及,基于位置的社交网络(LBSN,Location-based Social Network)已成为人们关注的焦点。兴趣点(Point-of-Interest,POI)推荐作为LBSN领域的一个研究热点,它通过对海量的签到数据进行分析和挖掘,为用户提供个性化的兴趣点推荐。这不仅让POI服务商更加充分理解目标受众,而且为用户自主出行提供更为便利的信
随着互联网的兴起,越来越多的学习者选择通过在线教育平台进行学习。不同于传统的课堂教育由教师主导学习者的学习进程与学习活动,在线教育平台提倡因材施教,即根据学习者的知识水平为学习者提供个性化的教学内容与学习路线,然而学习者的知识掌握程度随学习进度不断变化,因此实时追踪学习者知识掌握程度变化尤为重要。知识追踪任务旨在根据学习者历史学习行为实时追踪学习者知识水平变化,并且预测学习者在未来学习表现。知识追
随着互联网的不断发展,越来越多的网民将社交媒体作为获取信息的主要途径,人们在网络空间中快速、自由地发布信息、社交互动、情感交流。微博作为网络信息传播最具代表性的应用之一,越来越多的网民通过微博来发布、获取和传播信息。微博上蕴含着个人观点的实时评论具有潜在的舆论导向,由此形成网络舆情。然而,网络舆情事件往往是突发的、难以预知的。近年来,对于舆情事件的相关研究层出不穷,现有算法无法高效对网民情感及舆情
直觉模糊知识测度在不确定性问题中有着重要作用,由于直觉模糊集的结构特性,知识测度能够有效弥补直觉模糊熵的不足,更加全面地反映不确定性问题研究过程中产生的模糊性与犹豫性。本文以提高知识测度对复杂问题的解决能力为目标,提出改进HammingHausdorff距离,与理想解法(technique for order preference by similarity to ideal solution,T
随着信息传输及数据存储技术的深度发展,时间序列相关的应用领域不断拓宽,金融、医疗、气象、销售等诸多领域时刻产生着各种类型的时间序列数据,数据规模大且无标签。从这些海量数据里挖掘出具有重大潜在价值的信息,在推动信息技术融合应用与信息产业高速增长、促进数字经济健康有序发展等方面具有广泛而深远的意义。聚类作为一种无监督学习方法,比逻辑回归、决策树、支持向量机等监督学习方法更适合对无标签数据的挖掘分析,因