一种会话理解模型的问题生成方法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:tujiangbo110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
会话问题生成(Conversational Question Generation,CQG)不同于根据段落和答案生成单轮问题的问题生成任务,CQG额外考虑由历史问答对构成的会话信息,生成的问题承接会话历史内容,保持较高的一致性.针对这一特性,文中提出了字级别和句级别注意力机制模块来增强对会话历史信息的提取能力,确保当前轮次的问题融合会话历史中每个词和句子的特征,从而生成连贯的、高质量的问题.疑问词的正确性较重要,生成的问题需要和数据集中原始问题对应的答案类型相互匹配,在疑问词预测模块中构造额外的损失函数作为疑问词类型的限制.综合各个模块得到会话理解模型(Conversational Compre-hension Network,CCNet),实验结果表明,该模型在大部分评测指标上高于基线模型,在CoQA数据集上Bleu1和Bleu2分别达到39.70和23.76,生成的问题质量更高.在消融实验和跨数据集实验中该模型被证明是有效的,说明CCNet模型具有较强的通用能力.
其他文献
网格生成是计算流体力学中非常重要的一环,大规模数值模拟过程中对网格精度要求的提高会导致网格生成所耗的时间增加.文中基于OpenFoam开源软件中的网格生成算法,主要研究多面体网格的并行生成,并提出OpenMP和MPI混合并行的多面体网格生成方法.通过理论分析得到,使用混合并行方法生成相同质量的网格时,混合并行方法生成网格的时间消耗随着线程数量和网格单元数量的增加而减少.3组使用不同求解器的数值模拟实验结果表明,该混合并行方法不但可以保证生成网格的质量——可以正常进行数值计算模拟且模拟结果与原方法相比几乎没
利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点.现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题.文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率.首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率.然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭
用户匹配的目的是检测来自不同社交网络的用户是否是同一个人.现有的研究主要集中在用户属性和网络嵌入上,而这些研究方法往往忽略了用户与好友间的亲密关系.因此,文中提出一种基于好友亲密度的用户匹配算法(FCUM).该算法是一种半监督、端到端的跨社交网络用户匹配算法,其中注意力机制被用于量化用户与好友之间的亲密度.好友亲密度的量化能够提高FCUM的泛化能力.通过在单一目标函数中对用户个体相似性和亲密好友相似性进行联合优化,能充分利用用户个体相似性和亲密好友相似性.文中还设计了一种双向匹配策略,用于解决人工标记匹配
在海量数据呈现爆炸增长态势的互联网时代,传统算法已无法满足处理大规模、多类型数据的需求.近年来最新的图嵌入算法通过学习图网络特征,在链路预测、网络重构和节点分类实践中普遍取得了极佳的效果.文中基于传统自动编码器模型,创新地提出了一种融合Sdne算法与链路预测相似度矩阵的新算法,通过在反向传播过程中引入高阶损失函数,依据自编码器的新特征调整性能,改进传统算法中以单一方式判定节点相似度这一方法存在的弊端,并建立简易模型分析证明优化的合理性.对比最新研究中效果最好的Sdne算法,该算法在Micro-F1和Mac
社区发现算法对分析复杂网络的拓扑和层次结构、预测复杂网络的演化趋势等具有十分重要的意义.传统的社区发现算法划分精度不高,忽略了网络嵌入的重要性.针对这样的问题,提出了基于节点相似性和网络嵌入Node2Vec方法的无参数社区发现算法.首先,使用网络嵌入Node2Vec方法将网络节点映射成欧氏空间中低维向量表示的数据点,计算低维向量表示的数据点之间的余弦相似性,根据相应节点间的最大相似性构建偏好网络,得到初始社区划分,把每个初始社区的最大度节点作为备选节点;然后根据网络平均度和平均最短路径找出备选节点中的中心
在动态的数据流中,由于其不稳定性以及存在概念漂移等问题,集成分类模型需要有及时适应新环境的能力.目前通常使用监督信息对基分类器的权重进行更新,以此来赋予符合当前环境的基分类器更高的权重,然而监督信息在真实数据流环境下无法立即获得.为了解决这个问题,文中提出了一种基于信息熵更新基分类器权重的数据流集成分类算法.首先使用随机特征子空间对每个基分类器进行初始化来构建集成分类器;其次基于每个新到来的数据块构建一个新的基分类器来替换集成中权重最低的基分类器;然后基于信息熵的权重更新策略实时对基分类器中的权重进行更新
评论文本中蕴含着丰富的用户和物品信息,将其应用于推荐算法有助于缓解数据稀疏问题,提高推荐准确度.然而,现有的基于评论的推荐模型对评论文本的挖掘不够充分和有效,并且大多忽视了用户兴趣随时间的迁移和蕴含物品属性的物品描述文档,使得推荐结果不够准确.基于此,文中提出了一种基于深度语义挖掘的推荐模型(Deep Semantic Mining based Recommendation,DSMR),通过深度挖掘评论文本和物品描述文档的语义信息,更精确地提取用户特征和物品属性特征,从而实现更准确地推荐.首先,所提模型利
大规模高维不平衡数据是异常检测中的重大挑战.单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响.文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数.深度自编码器与单类支持向量机共享损失函数,实现了端到端的训练.作为一个整体,模型采用梯度下降法进行联合训练.在4个公开数据集上与其他异常检测方法进行了对比实验.实验结果表明,在AUC以及召回率(RECALL)方面,
近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注.然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集.为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系.这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边.另外,还提出了一种超图卷积神经网络来学习节
近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不同的网络结构,聚类性能相比分类性能仍有很大的提升空间.为此,文中提出了一种基于自注意力的自监督深度聚类方法(Self-attention Based Self-supervised Deep