基于高维注意力机制的互学习关系分类模型

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:duoduodehua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系分类在自然语言处理中是一个关键性热点问题,其对于问答系统、推荐系统和情感分类任务的构建都有非常重要的意义。如果能够有效地挖掘出文本中实体之间的关系信息,这对于关系分类能力的提升具有重要的意义。在以前的研究工作中已经表明,注意力机制和最短依赖路径方法对关系分类任务有积极的作用。为了有效结合上述两种方法的优点,本论文提出高维关键词注意力机制。它能够充分把最短依赖路径的先验知识融入到注意力机制中,这样能够抛弃大量的人工标记特征。同时高维关键词注意力机制把传统的注意力机制的维度进行扩展,使得生成的注意力权重矩阵能够自适应不同的句子,这弥补了传统机制不能挖掘句子抽象语义的不足。此外,为了有效缓解数据集中存在的不平衡分类问题,本论文提出了合成刺激损失函数。在数据集中由于大量的负类样本会干扰模型的学习,使得学习到的特征信息并不能有效预测正类样本,这容易造成模型退化。为了解决这个问题,合成刺激损失函数通过引入最高误分类分数和调节因子来提升难以分类样本的权重,这样的策略能让模型更容易学习到对分类有用的特征。由于单个模型的抗噪声能力不强,本文将互学习方法应用到模型中。这种方法使得两个学生网络进行相互引导,同时控制分类群思想的偏移性,最后基于最有可能类的后验熵来弥补单一模型特征表达能力的不足。在Sem Eval-2010 Task 8,Co NLL-3R和TAC40数据集上的实验表明,本文提出的新模型对关系分类任务具有巨大的提升,同时取得了最先进的结果。
其他文献
三维场景重建广泛地应用在移动机器人、无人机、无人驾驶、增强现实和虚拟现实等领域,有着重要的科研价值和应用意义。通过视觉同步定位与地图创建(SLAM)来进行三维场景重建
作为改革开放最先进的城市—深圳,经过40年的快速发展,当年的小渔村已成为中国最大的城市之一。因改革开放初期粗犷式发展,之前的城市规划已无法满足现代城市的发展需求,原广
目前主流的3D立体显示技术采用基于双视点图像的的平面立体呈现手段,左右视图中引入的水平视差带来了观看者对于场景深度的体验。然而,随之出现的3D内容观看者的视觉疲劳与舒
区间概念格是最近几年给出概念格结构,它是定义在一个给定的参数区间上的,能巧妙体现确定及不确定性信息的格结构,这种格结构为不确定规则提取的研究奠定了新的基础。以此为
俄罗斯企业收入70%来源于传统产品与服务,20%来源于对传统产品与服务的改善,仅有10%来源于技术创新。虽然近年来随着科技发展,这种情况有所改善,可技术创新带来的收益占比仍
聚类是一种无监督学习方法,能够在没有任何经验信息的条件下发现数据真实分布,这一特性,使得聚类分析备受关注。谱聚类基于图论将聚类问题转化为无向图的图划分问题,相较于传
目前,以智能终端和移动网络为依托的第三代支付风起云涌,面对快速发展的第三方支付业务,以第三方支付为主营业务的相关企业,要有一套科学的、符合企业自身实际情况的绩效考核体系,从而优化企业的人力资源管理体系,调动企业内部员工的积极性,进一步为企业创造更多的价值,最终推动企业的健康、平稳发展。本文以LKL新疆分公司作为研究对象,通过对该公司的组织结构,人员分布以及员工工作状况进行分析评估,找出了目前该公司
随着工业自动化的发展,化工生产过程对故障检测技术的要求越来越高。面对石油钻井过程这类复杂化工过程,传统的故障检测方法存在检测效率低,实时性能差和对噪声的鲁棒性较弱
行人重识别在安防领域有重要的应用,而跨模态行人重识别可以在异质数据中匹配相同身份的行人,可以解决全天候监控的问题。相比于手工设计的特征匹配方法,基于深度学习的跨模
近年来,随着现代医学图像技术的快速发展,医学图像的准确分割对于医生诊断和分析病因非常重要。磁共振(Magnetic Resonance,MR)成像是利用磁共振现象,将电磁波信号经计算机处