基于元学习的图神经网络应用研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:swqsswqs19760308
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习、深度学习研究的深入,越来越多的研究人员开始将工作重心转移到图结构数据学习的探索中,这主要是因为图结构数据是很多现实应用中天然的数据载体,例如社交网络、引文网络以及生物分子。这一研究热潮也导致了大量图学习模型的产生,例如图卷积神经网络、图注意力神经网络以及Graph SAGE。这些图神经网络也被广泛应用于各种实际应用中,例如节点分类、图分类以及网络对齐。虽然现有图学习方法在各类应用中取得了一定的成功,然而这些方法都是基于传统的机器学习范式,因此不可避免地继承了其固有的一些问题:1、泛化表现差。现有的图深度学习方法只能简单地推广到新的样本,即这些样本属于已经见过类别,无法将学到的知识推广到新的类别。我们希望图学习模型具有人类智能“举一反三”的能力;2、不具备少样本学习能力。现有方法的成功很大程度依赖于大量的标注数据,这存在两个问题:一个是获得足够的监督信息需要大量人力物力成本,此外我们期望图神经网络能够像人类一样从少量样本中快速获得知识;3、不具备学会学习的能力。在人类智能的学习过程中,学习新的概念都是基于过去学过的知识。因此可以利用之前学到的知识,来帮助快速学习新的任务,即学会学习。然而现有的大部分图结构数据学习方法都基于单一的、静态的任务,因此导致这些模型无法推广到需要学习多个任务的场景,也就无法学会学习;4、模型效率低。现有的大部分图学习方法要么基于在产生的大量随机游走上进行图表征学习,要么基于耗时的图拉普拉斯分解方法,因此不可避免地存在模型训练时间长的问题,这也导致这些模型方法无法应用到数据量较大的现实应用场景。在本文中,我们提出了Meta-GNN和Meta-NA来解决上述问题,其中Meta-GNN专注于少样本节点分类问题,在现有图数据上通过采样构建元训练任务,然后在这些任务上利用多阶梯度来学习一个良好的适合于少样本节点分类的模型初始化,这个初始化参数可以帮助模型快速学习新的少样本节点任务。Meta-NA则提出了一个网络对齐方法,其首次将网络对齐任务视为一个跨网络的少样本节点分类问题,然后利用图神经网络将多个图中的节点映射到同一个度量空间,通过约束属于同一用户的节点嵌入距离近,不同用户节点嵌入远来训练模型。最后,针对各自应用,我们在多个真实数据集上对所提出的方法进行实验分析,结果表明我们提出的两种方法的在各自应用上表现均优于其他对比基准方法。
其他文献
随着人们对视频业务使用的不断加,越来越多新的要求在实际生产被提出。移动视频设备、军用无源视频设备、监控设备等一系列应用场景要求视频编码系统具有码率尽可能的低,编码端尽可能的简单的特点。为了应对这些需求,分布式视频编码(Distributed Video Coding,DVC)应运而生。分布式视频编码是一种基于分布式信源编码(Distributed Source Cording,DCS)的编码方式,
国内宇航员登上月球等地外星球不会太过遥远,地外星球表面复杂的环境会让宇航员在地外星球的行动变得困难,降低宇航员的科研能力。因此,本文将设计出一套下肢柔性助力服,通过柔性助力服对宇航员下肢进行助力,解决宇航员在地外星球行动困难的问题。首先,进行人体下肢建模及下肢柔性助力服概念设计。分析人体生理结构和人体下肢关节活动特征,根据下肢行走步态特性确定下肢尺寸参数和运动范围,设计出各个关节的运动自由度。完成
声纹识别技术在司法鉴定、军事安全、金融防欺诈等多个领域得到应用,但是在实际应用环境中,各种各样影响语音质量的背景噪声,使得实际工程应用中的声纹识别系统效果达不到理想要求,成为限制声纹识别技术发展的重要因素。因此,论文围绕声纹识别技术在噪声环境下的识别率提升问题开展研究工作。受到基于神经网络的特征映射方法在语音增强以及鲁棒性语音识别领域相关研究的启发,论文将基于神经网络的特征映射方法应用在鲁棒性声纹
深度学习技术在科学计算领域和图像处理的应用,是目前机器学习研究与应用的热点之一。机器学习的有效应用涉及数据、算法、算力三个方面内容。目前研究与应用主要着眼于算法,但是对许多重要的应用领域,主要制约机器学习应用效果的是数据。特别对应数据量少,数据特征不足的应用领域,数据质量和规模无法与算法要求匹配。针对数据质量差和数据规模小的导致深度学习模型训练效果差或无法训练的问题,目前常用的数据增强方法有数据变
近些年来,联邦学习作为一种机器学习技术,受到了爆发式的关注。其核心思想在于:保护不同参与者的数据隐私安全性的同时,通过同态加密、隐私求交、交换中间数据等方式,尽可能充分地利用所有参与者的数据,来建立联邦学习AI模型,从而解决特定的任务。相比于分布式学习,联邦学习的参与者可能更加的广泛和灵活,包括:个人终端、机构、公司、数据中心和边缘服务器等等。并且参与联邦学习的各方只需要约定好接入联邦学习的数据维
声表面波(SAW)传感器利用声表面波绝大部分能量集中在基底表面的特点,可以制备出非常灵敏的气体传感器。聚丙烯酸(PAA)由于成本低、工艺简单以及材料本身含有大量羟基和羧基,因此非常适合作为声表面波传感器的敏感膜。本文制备了基于PAA和PAA/聚乙烯醇(PVA)的声表面波氨气传感器,研究了传感器对于氨气的检测性能。PAA表面含有大量的羟基和羧基,使其能够很好地吸附水分子和氨气。基于PAA制备的SAW
近年来,随着《中国制造2025》国家战略的全面推进,我国新能源汽车得到了大力发展。永磁同步电机由于具有结构简单、体积小、重量轻、动态性能好等优点,在新能源汽车领域被广泛使用为驱动电机。在对永磁同步电机进行矢量控制时,需要准确地检测转子的实时位置和运行速度等信息,通常是在转子的轴上安装机械传感器,其缺点是不仅会增加整个系统的成本,也会受到纯电动汽车复杂行驶环境的影响降低工作可靠性,因此研究永磁同步电
随着各类网络资源的指数式增长,搜索引擎的使用已经成为当今社会每个人最基本的技能之一,高效的信息检索模型也有着更加重要的意义。在排序过程中引入机器学习方法的排序学习是信息检索模型的一个关键组成部分,取得了十分优秀的效果,能够在很大程度上满足人们在信息过载的时代的检索需求。但排序学习模型将排序看作一个静态的过程,一次性将和关键词相关的文档全部输出。在实际的检索场景中,使用者和检索模型之间是存在交互的,
随着电子工业技术的不断进步与发展,各电子产品生产厂商对电子器件的需求量也在急剧增加。在自动化生产过程中,难免会出现存在内部物理缺陷(如气泡、空洞、裂纹及杂质等)的电子器件。早期,各生产厂商会采用人工排查的方式或图像处理相关的算法过滤存在缺陷的器件。然而,这些方法不仅耗时而且检测精度较低。随着深度学习的发展,使得利用该技术快速、准确地检测存在缺陷的电子器件成为一种可行方案。本文为了提升电子器件缺陷检
在自由飞试验过程中,风洞中模型的舵面偏角、姿态角以及迎角和侧滑角都是风洞中表示模型姿态的重要指标。但是风洞中现存的对各个指标的测量方法都存在一定的缺陷,尤其是对于迎角和侧滑角的测量,使用风标传感器测量时,会影响模型的气动特性。所以为了更加精确得对风洞中的模型参数进行测量,本文进行了基于Optitrack运动捕捉系统对模型姿态测量的方法研究。本文根据风洞试验要求,采用新型的光学运动捕捉系统—Opti