面向动态聚合的异步联邦学习系统设计与实现

来源 :郑州大学 | 被引量 : 0次 | 上传用户:yangzdh2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习是一种以隐私保护为前提的分布式机器学习范式,用户首先完成本地模型训练,然后共享本地模型参数并通过聚合的方式得到高精度全局模型。联邦学习通常采用同步聚合方式进行模型聚合,即收集到所有客户端的本地模型后一起完成全局模型的聚合。但实际情况下,客户端之间存在数据量、处理能力等方面的差异,使得训练时间不一致,导致全局模型出现聚合时间长、聚合效率低等问题,从而严重影响联邦学习的性能。为了应对上述问题,相关工作提出可以采用异步聚合方式,即不需要等待全部客户端训练完成,每当有客户端训练完成即可进行全局聚合,从而提升全局模型聚合效率。然而现有的异步联邦学习研究工作在进行全局聚合时每轮仅选择固定个数的客户端,使得部分客户端参与聚合不及时,导致客户端本地模型过时,从而影响联邦学习的全局模型精度。另一方面,尽管联邦学习可以做到数据不出本地,但是其处理过程中还存在一定安全隐患,可能存在恶意服务器识别模型参数来源,甚至可以通过客户端多次提交的模型推测出原有数据信息,进而造成用户的隐私泄露,因此需要为联邦学习过程引入合理的隐私保护机制。基于上述分析,本文设计并实现了一个面向动态聚合的异步联邦学习系统,有效地解决了因聚合客户端数量不合理导致的模型过时问题,以及恶意服务器攻击带来的隐私泄露问题。本文主要贡献如下:(1)设计并实现了基于训练时间聚类的动态聚合方案,根据客户端本地数据和算力预估出其本地训练时间,进而通过K-means聚类算法对客户端进行分类,动态确定聚合客户端个数,解决本地模型过时问题,提升全局模型精度。(2)设计并实现了基于差分隐私的联邦学习隐私保护方案。通过对本地模型梯度添加高斯噪声的方式实现隐私保护,利用差分隐私技术通信开销低、容易部署的特点,解决恶意服务器通过推测客户端模型造成的隐私泄露问题。(3)搭建了面向动态聚合的异步联邦学习实验场景,并对系统进行测试。测试结果表明:与传统异步联邦学习聚合算法FedAsync相比,系统全局模型精度提升5.6%。
其他文献
<正>我国的畜牧业在农业生产中占有的重要地位。一旦暴发疫病,就会造成严重影响。因此,重视养殖的每一个环节,尤其是做好禽流感的综合防制措施,防止禽流感的暴发和传播,确保养殖业更好地发展。
期刊
LiCoO2是锂离子电池中最常用的正极材料之一,因其具有易合成、高质量密度和高体积能量密度、出色的循环稳定性和高压平稳性等特点。虽然LiCoO2正极材料已经得到了很好的发展,但仍有提高倍率能力的空间。掺杂或表面涂层等材料处理方法已经被用来提高LiCoO2的电导率。施加应变是调节电极材料离子电导率的另一种有效方法。本文主要工作内容以及创新如下:(1)基于原子模拟技术准确地重现LiCoO2的实验结构参
学位
受到自然界生物响应性运动现象的启发,近年来仿生智能机器人的设计层出不穷。研究学者设计开发了多种新型仿生智能材料以构造柔性驱动器,该柔性驱动器可以将外部刺激(如光、热、电、磁和溶剂等)转换为机械变形。聚合物因其优异的柔弹性、吸水性以及生物相容性等优点,所以在柔性驱动材料方面得到了快速发展和广泛研究。碳基纳米材料(如碳纳米管)因其制造成本低、易于加工、柔韧性好、稳定性佳、独特的光电性能以及高电导率和热
学位
期刊
期刊
近年来,大数据技术日趋成熟,实践证明了其参与新闻制作的可能性,新闻可视化生产也随之而来。作为传统新闻制作的实践创新,新闻可视化给以往的新闻观念带来了新的挑战。在信息生产和通信向可视化全面转变的现实背景下,海德盖尔曾经预言的“世界被构想并被理解为图像”以可视化的方式广泛传播,全球新闻机构基于技术和概念的成熟性开始彻底的探索和应用。为探寻我国可视化新闻的发展,本文将具有代表性的人民网与重大主题报道“两
学位
目标定位与检测作为一个长期存在的基础性难题,是新一代计算机视觉领域重点研究内容。目标定位与检测的研究目的是从给定图像中快速、准确地判断出是否存在给定类别的目标实例,并对图像中存在的目标实例返回其覆盖范围的位置信息。当仅有图像级标签作为监督信息时,现有基于弱监督学习的目标定位模型在优化图像分类时往往只激活目标部分而忽略完整的目标区域,将激活部分扩展到完整范围又会降低模型分类的能力。本文以“如何在保证
学位
自锂离子电池问世以来,碳材料应用于锂离子电池负极表现出良好的结构稳定性,成为负极材料的主要研究对象,并得到了广泛的商业化应用。但随着近年来新能源车和电子器械等的快速迭代,提高锂离子电池的能量密度成为了主要研究目标,传统石墨负极已无法满足当今社会的发展,因此人们寻找代替传统石墨的具有高能量密度的负极材料的脚步永不停歇。硅氧碳负极材料是硅基负极的一类衍生材料,制备方法多样,原材料价格低廉,电化学循环过
学位
激光因具备有高单色性、高度的相干性等特点而被广泛应用,是当前众多科学家研究的热点和重点方向。不同波段的激光具有众多应用,例如在激光雷达、大气探测等众多领域都有非常巨大的商业应用前景,而在可见光波段,因为处于能够被人眼直接感知的电磁频谱范围,广泛的应用在成像显示、激光照明、生物医疗与诊断、倍频产生紫外激光等诸多与人类日常生活息息相关的领域。其中三价镨离子(Pr3+)因为在可见光波段(480-720
学位
研究旨在评价重组禽流感三价灭活疫苗在临床中的效果。将40 000只三黄肉鸡分为A组、B组、C组,A组20 000只,B组19 900只,C组100只。A组与B组分别免疫疫苗A与疫苗B,C组为不免疫对照组。2周龄首免,颈部皮下注射,0.3 mL/羽份。6周龄进行二免,颈部皮下注射,0.5 mL/羽份。20 000只蛋鸡分为D组、E组、F组,D组10 000只,E组9 900只,F组100只。D组与E
期刊