【摘 要】
：
联邦学习能够使分布式客户端在不共享本地真实数据的情况下联合进行深度学习模型训练,有效解决了数据孤岛的问题。现有的联邦学习方案存在通信成本过高及部署模型参数量过大的问题;同时分布式客户端与中央服务器需采用相同的网络结构,无法保证本地模型的异构性与隐私性,这些情况的出现成为了限制联邦学习发展的主要瓶颈。针对这些问题,本论文基于集成知识蒸馏技术,研究低通信成本和低联邦模型参数规模的联邦学习技术,具体内容
论文部分内容阅读
联邦学习能够使分布式客户端在不共享本地真实数据的情况下联合进行深度学习模型训练,有效解决了数据孤岛的问题。现有的联邦学习方案存在通信成本过高及部署模型参数量过大的问题;同时分布式客户端与中央服务器需采用相同的网络结构,无法保证本地模型的异构性与隐私性,这些情况的出现成为了限制联邦学习发展的主要瓶颈。针对这些问题,本论文基于集成知识蒸馏技术,研究低通信成本和低联邦模型参数规模的联邦学习技术,具体内容包括以下三个方面:1.针对通讯成本过高及模型参数量过大的问题,本论文提出了基于互信息最大化的集成知识蒸馏方法,采用多教师-学生集成蒸馏框架来增强学生模型在目标任务上的泛化能力,在进行蒸馏训练时,引入了互信息最大化损失函数来计算教师模型和学生模型之间的损失,增强学生对多教师模型的学习能力,通过在知识抽取任务上进行实验,实验结果证明方法的有效性。2.针对分布式客户端模型的异构性与隐私性,本论文提出了基于集成知识蒸馏的联邦学习方法,将集成知识蒸馏技术引入联邦学习框架中,允许分布式客户端选择不同的本地模型结构参与联邦训练,采用客户端-服务器模式来对中央服务器进行联邦蒸馏。通过对不同分布式客户端运算节点的蒸馏性能影响进行分析,证明该联邦学习框架能够有效提高中央服务器学生模型的性能,同时减少学生模型的部署参数量,降低每一轮次联邦训练的数据传输成本。3.本论文在集成知识蒸馏的联邦学习方法的基础上进行工程化实现,设计并实现了分布式联邦蒸馏平台,该平台为分布式客户端提供了便于联邦学习训练的接口,有效提高了联邦训练的便捷性。
其他文献
空间频繁并置（co-location）模式是一组空间特征的子集,这些特征的实例在地理空间中频繁地出现在一起。空间并置模式挖掘旨在从空间数据中提取人们尚未知道但潜在有用的信息从而更好地服务人类活动,它已经驱动了许多社会应用,如基于位置的服务、城市规划等。尽管对频繁并置模式挖掘技术已经开展了许多探索,但仍然存在一些问题:（1）空间实例的邻近关系计算完成后通常存储在内存中,这种方式收集候选模式的表实例具
抚仙湖1米真空太阳望远镜（NVST）受到大气湍流的影响,观测图像通常伴随着模糊或严重退化、更多的噪声和局部细节丢失。虽然近年来深度学习被广泛用于图像重建,但它们通常仅适用于运动、抖动模糊,对于太阳图像的重建依然存在高频细节丢失、生成伪像、边缘轮廓平滑等问题。本文利用生成对抗网络（GAN）与弱监督学习（WSL）相关技术,针对上述问题进行了研究,主要工作如下:（1）提出一种基于双阶段特征金字塔网络（F
脚骨脆（Casearia balansae）,为大风子科（Flacourtiaceae）脚骨脆属植物。在民间,本属植物表现出抗疟、抗感染、抗炎等活性,用于治疗肠炎、胃溃疡、病毒感染、炎症等症状。脚骨脆中富含萜类成分,尤其是克罗烷二萜,为了发现更多有活性的克罗烷二萜,我们对脚骨脆的化学成分进行了深入研究。炎症,尤其是慢性炎症,涉及多种疾病的发病机制。过度的炎症介质是炎症反应的表现,对组织或机体有害,
信息网络普遍存在于现实生活中,如:社交网络、经济合作网络、交通运输网络等。各种网络正改变并重塑着人们的日常生活。而影响力最大化问题作为网络分析中一个重要的研究领域,其目的是在信息网络中寻找最具影响力的种子节点集合作为初始的信息传播源,使得这些种子节点组合在一起的信息扩散范围最大。该问题的研究对于控制舆情、制定营销策略、防范疾病爆发等都具有重要的理论意义和实用价值。目前,大部分影响力最大化的研究都面
图像修复起源于欧洲文艺复兴时期,随着科学技术的发展和日益增长的美好生活需要,图像修复逐渐成为人们生活娱乐和文化保护的重要方式。图像修复主要从图像的三个角度着手:结构、纹理和语义。传统的修复方法主要从破损图像的结构和纹理进行修复,会忽略图像本身的语义。现有的基于深度学习的修复方法能够获得较高质量的图像,但从结构的连续性和语义合理性两方面来看,这些方法仍然存在修复图像不能与真实图像达到高度一致的问题。
随着知识图谱（Knowledge Graph,KG）相关技术的快速发展,领域KG已经成为学界和业界关注的重点。与传统的领域数据管理方法相比,领域KG作为结构化的语义知识库,能够帮助人们有效地获取知识之间的逻辑关系,从而为智能问答、搜索引擎和决策支持等领域应用提供数据支撑。因此,高效的领域KG构建,对领域知识的有效管理、直观展示等具有重要意义。由于领域KG的适用范围较小且更加注重知识的准确度和深度,
社会影响是指个体的意见或行为受他人的行为所影响的现象,主要通过人与人之间的交互活动体现出来。社会影响力的研究在经济社会学与市场学范畴中有着较长的发展史,这给影响力最大化（Influence Maximization,IM）在社会网络中的传播研究奠定了一定的基础。在社会网络中,每个人都不是独立存在的,他们之间相互联系,对彼此都有着或多或少的影响作用,而他们之间的影响深浅,范围大小取决于诸多因素。IM
负荷数据自身存在高维的非线性特征,同时负荷数据也会受到气象,电价等外部因素影响,特别是净负荷数据直接与光伏发电出力相关。因此,负荷数据在预测时,其特征的构建和选择直接影响到模型的精度和预测成本。本文通过数据驱动的方式建立负荷预测短期模型,主要取得以下研究成果:（1）针对负荷相关因素的高维非线性特征影响模型预测精度与训练成本问题,文中设计了一种利用相空间重构（Phase Space Reconstr
图像到图像翻译是计算机视觉和图像处理方向热门的研究课题,它的目标是在不同的视觉域间学习一种映射关系,将源域的数据分布变换至目标域的数据分布,同时保留源域的内容特征。图像至图像翻译包括多种有趣的计算机视觉和图像处理应用,包括图像风格化、图像超分辨率、图像语义生成、图像修复、图像编辑等。总之,图像到图像翻译是一个广泛、有趣且有影响力的研究课题,包括计算机视觉、计算机图形学和数字图像处理中的若干重要问题
声纳是人类探索水下世界的眼睛。伴随着人类社会发展,对各种海洋资源的需求不断增大,声纳也随之成为世界各国都日益重视的研究对象[1]。其中,成像声纳系统可以对水下世界进行实况显示,可对水下资源开采、水下救援、水下打捞等提供重要辅助作用,研究意义重大。本实验室此前研究开发的TKIS-Ⅰ机械扫描成像声纳是一款单波束机械扫描声纳,目前已有20多台成品装备于各海军救援部队,该声纳能满足中远距离探测需求,但也存