融合实体类别信息的知识表示学习方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:dashiliangzeyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,知识表示学习受到了广泛关注,其旨在将知识图谱中的实体和关系表示为稠密低维的实值向量,以便高效地计算实体和关系之间的语义联系,并可以将学习到的知识表示应用到知识图谱补全、关系抽取以及自动问答等下游任务中,提升所对应的各类模型的性能。
  随着对知识表示学习研究的不断深入,一些研究学者将工作重心从改进模型本身转移到了除此以外的其他方面,包括多源信息融合以及负采样等。本文着眼于这两个方面,提出了一种新颖且有效的模型,通过采用注意力机制去捕获其他方法中人工制定的规则所涵盖的信息,解决了一些模型在融合实体类别信息时需要引入额外规则的问题,从而简化模型并提升模型的普适性。并且,为使得多源信息得到充分的利用,填补负采样工作几乎没有用到多源信息的空白,本文提出了一种利用实体类别生成高质量负样本的方法,以此提高模型性能。本文主要成果如下:
  (1)提出一种融合实体类别信息的知识表示学习模型TEKRL。在引入多源信息的同时,解决了其他模型在使用实体类别信息时需要引入额外规则的问题。该模型构建了基于结构和基于类别的两种实体表示,并通过引入注意力机制来捕获实体类别和三元组关系之间的潜在关联,自动地学习实体的不同类别对某种特定关系的不同重要程度,从而简化了人工制定规则这一繁琐的过程,更高效地利用实体类别信息进行知识表示学习。通过实验表明,TEKRL模型在链接预测和三元组分类任务的各项指标上都取得了显著提升,尤其是在实体预测任务中,与其他方法相比,Hit@10指标提升了约7.2%,MeanRank指标相对提升了约23%,表明了该模型可以有效地利用类别信息来更好地进行知识表示。
  (2)提出一种利用实体类别信息生成负样本的方法TENS。定义了实体类别相似度的概念,并基于此提出了一种提升模型负样本质量的负采样方法。该方法将类别相似度作为选择替换实体的依据,并对类别相似度排序得到生成负样本的待替换实体序列,通过对待替换实体序列进行划分以及根据类别相似度对各划分区域设置不同的采样概率来实现高质量的采样。通过实验表明,加入了TENS负采样方法后,模型的性能在原有的基础上取得了进一步的提升。其中,Hit@10指标进一步提升了1.2%,MeanRank指标进一步提升了3.9%,表明了所提出的负样本生成方法可以有效地提升模型的学习能力。
其他文献
策划人语:  今年时值建党百年,全党上下深入学习宣传贯彻习近平总书记在庆祝中国共产党成立100周年大会上的重要讲话精神。当今世界正处于百年未有之大变局,意识形态领域的斗争日趋尖锐,形势日益复杂。在此背景下,如何把握高校宣传思想工作的新形势、新要求,凝聚政治认同,着力化解风险,加强思想引领,开创高校宣传思想工作新局面,全力维护高校政治安全和校园稳定,是摆在全省高校党委宣传部门面前的重大课題。  为进
期刊
近年来,基于模式识别的智能仿生技术取得了长足的发展,智能仿生假肢的功能、性能、可穿戴性及智能化程度越来越高,已成为国内外学者的研究热点。对智能仿生系统开展研究不仅具有重要的学术意义,而且具有很高的社会与经济价值。
  表面肌电信号(surface Electromyography,sEMG)作为一种生物电信号,能够反映功能性肌肉收缩的电活动,具有提取方便、无创伤等特点。然而由于肌电信号本身固有的缺陷,导致残肢接口信息源不足,难以同时呈现同一肌肉收缩的电生理和形态学变化信息,A型超声传感(A-mode
文化演出日益成为现代人们丰富精神生活的重要形式,应用信息控制技术丰富舞台装置功能已越来越受到文化展演行业的关注,可作为演出载体的自主移动车台与舞台各系统的融合集控、多移动车台演出编队控制成为现代文化演出服务领域的研究热点。
  在现实演出中,自主移动车台融合舞台集控网下轨迹跟踪失误、跟踪灯光视频动画不同步,以及本体故障和通信干扰时多移动车台群控演出失败时有发生。现有方法通常采用人工干预或者增加硬件成本手段处理,大大限制了自主移动车台在各类演出场景中的灵活和安全应用。因此开展围绕针对演出场景干扰和系统
一、新闻发布工作实践  分享嘉宾:杨晓谜(河南教育新闻中心副主任、教育时报副总编辑)  分享要点:一是热点问题的处理。二是突发新闻事件的处理,包括宏观之势、中观之道、微观之术三个方面。三是从前期筹备,到发言人和主持人的话术、着装等方面,全方位为学员讲解如何准备一场新闻发布会。  二、从微信新媒体运营谈起:如何让师生凝神聚气  分享嘉宾:黄发强(河南教育新闻中心主任助理)  分享要点:一是传播、受众
期刊
真实世界的网络表现出突出的层次结构和模块结构,并以各种子图作为构建块。现有的大多数研究通常将不同的子图提取出来作为模体,并简单地使用它们在网络中出现的频次来描述底层网络。虽然这些统计数据可以用来描述一个网络模型,甚至可以用来设计一些网络算法,但是这些研究不足以发挥子图的关键性作用。本文进一步探讨了子图在网络算法中的应用以及模型的性能。本研究就子图在网络分析研究中的可扩展性做了较为深入的研究,并分别从以下三个方面依次展开,提出了一些子图网络模型及其在网络分析应用中的算法:
  (1)提出一种新的子图网
现实世界中的复杂系统可以用网络来表示和分析。在过去的几十年里,网络科学已经成为一个重要的跨领域学科,旨在使用网络和图作为工具来描述复杂系统的结构并解决实际中的问题,包括社交网络、引文网络、蛋白质网络和交通网络等。近年来,人们提出了许多图表示学习的方法,极大地促进了机器学习方法在图数据挖掘中的应用。图表示学习解决了原始网络数据的高维性和稀疏性问题,在机器学习和网络科学之间架起了一座桥梁,使得许多机器学习算法可以应用到网络分析中。与此同时,相关算法安全问题也吸引了大量研究者的目光。本文针对图表示学习的算法安全
计算机视觉是当今人工智能领域中极为热门的研究方向,而静态图像和动态视频作为视觉媒介中最为常见且重要的两种形式,对其包含的语义类别进行正确有效地分割,既是后续目标跟踪、行人车辆再识别等科研方向的基础,也是无人机定位、自动驾驶等实际应用的基石。
  语义分割旨在对给定的静态图像或者动态视频序列每一帧图像中的像素点进行分类标注,本文在对现有针对图像及视频的语义分割方法进行调研及复现的基础上,对现有开源方法中存在的不足及可改进方向进行了总结与分析。现有的图像语义分割模型大多依然依赖于人工设计的像素级标注,同
策划人语:  7月下旬,我省多地持续遭遇强降雨天气,郑州、新乡等地发生严重内涝,给人民群众生命财产安全造成重大威胁,防汛形势十分严峻。在防汛救灾的关键时期,郑州等地又出现了新冠肺炎疫情,给灾后恢复进一步增加了困难。面对困难,全省高校积极行动起来,贯彻落实中共河南省委高校工委、中共河南省教育厅党组下发的《关于在防汛救灾中深化“把灾难当教材 与祖国共成长”主题教育活动的通知》,用好抗疫救灾这本鲜活的德
期刊
行人重识别技术是指识别跨摄像机拍摄到的行人图像是否属于同一个人的方法。随着视频监控技术的提高,视频监控数据呈爆炸式增长,一一标注耗时耗力,因而有监督行人重识别方法在实际应用中具有局限性。为了使得模型具有自适应性,一种行之有效的方案是将问题建模为基于无监督迁移学习的行人重识别,这是一个有挑战的任务:一方面,目标域数据集无标签,因而不能充分被利用;另一方面,由于收集自不同环境,源域和目标域样本的数据分布存在差异。现有的方法往往通过创建一个共享的特征空间或者估计无标注数据伪标签的方式来解决域差异问题。前者往往忽
聚类(Clustering)技术是机器学习中非常重要的一种非监督学习方式。通常,聚类算法依据某种准则将相似的样本指派到同一个类中、将不相似的样本指派到不同的类中。聚类算法最常见的输入是相似性(相异性)矩阵,矩阵中的元素表示对应两个样本间的相似性(相异性)。关联聚类是一种特殊的聚类技术,其输入是一个同时表示样本间相似性和相异性的符号网络,在符号网络中用正边表示对应样本之间的相似性、用负边表示对应样本之间的相异性。关联聚类的目标是使得到的聚类结果中正边尽量存在于类内、负边尽量存在于类间。
  传统的关联