【摘 要】
:
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器
论文部分内容阅读
随着现代科技的革新与发展,海量的互联网用户数据在网络中产生,然而集中式地将数据收集到数据中心的传统方法具有很高的风险与成本,在机器学习中保护隐私的迫切需求促使了联邦学习技术的诞生。而边缘网络的发展让网络服务得以从云端下沉到边缘,硬件设备能力的提升也促进了边缘计算的普及,这使得联邦学习的分布式架构能够灵活地应用于网络中。然而,尽管这项技术能够协调大量的用户在其设备上完成训练任务。但联邦学习要求服务器与多个客户端进行通信交流,并且在全局任务里不断地迭代这个过程,在边缘计算场景下将带来严重的通信开销,对联邦学习的性能带来了不利的影响。因此,在本文的研究工作中,提出了一种新颖的自适应联邦学习方法,以降低通信开销,提高联邦学习技术的效率。主要的工作内容与创新贡献包括:1)本文从利用计算代价换取通信效率的角度出发,通过对联邦学习的模型训练过程展开分析,研究了如何以恰当的方式合理的为每一轮参与联邦任务的客户端分配更多的计算量,以加快全局的迭代,减少通信轮数。由于在全局迭代的每一轮中对模型的优化幅度并不均匀,为了尽可能地发挥出增加计算量这一举措带来的优势,选择在模型提升速度较快的时候不断地增加分配给客户端的任务。另一方面,由于在模型提升缓慢的时候增加计算量的优势并不明显,并且会给设备造成过于沉重的计算负载,选择在此时减少分配的计算量。2)根据所研究的方法,本文设计了一项独特的自适应衡量指标,来明确在训练过程中应当如何调整迭代的每一轮期间在客户端上实施的任务计算量,该指标量化了模型提升对增加计算量的激励。同时,考虑到边缘计算中有限的资源,该指标也将客户端增加计算带来的开销纳入考量。然后,提出了一种自适应的联邦学习算法,该算法遵循本文的研究思路,能够自适应地调整计算量来减少联邦学习的通信开销。进一步地,在Tensor Flow平台上基于联邦学习的框架进行了算法的代码实现,使用本文所提出的自适应方法来完成联邦学习的任务。3)本文构建了具备代表性的实验设置,来验证所提出方法的有效性与可靠性,针对各种不同的任务与现有工作展开了多组对比实验,通过对实验结果的分析与讨论,证明了本文的研究工作能显著地减少通信轮数,提高联邦学习的效率。
其他文献
图像语义分割作为计算机视觉领域的一个像素粒度核心研究问题,其目标是为输入图像的每一个像素预测一个预先定义的语义类别。图像语义分割作为当前诸多领域的关注重点,对医疗诊断、机器人感知、自动驾驶、视频监控、增强现实等真实应用领域的发展可以提供强有力的支持。当前的图像语义分割模型要想获得足够的分割精度需要大量带像素级标注的样本进行模型的训练。然而由于像素级标注的获取需要耗费大量的人力成本,这导致所需样本不
图像分类识别已经成为了人工智能领域一个重要的组成部分,是人们当下研究的热点话题。卷积神经网络是图像分类识别中的一项关键技术,被大规模应用于GPU、CPU等多种不同平台上。为了满足不同的部署需求,尤其是在嵌入式移动端中,需要综合考虑功耗体积等因素,CPU或GPU便无法胜任这样的工作。而FPGA凭借着高性能、低功耗的特点,成为了卷积神经网络硬件加速的一个重要选择。本文基于FPGA实现了一个卷积神经网络
随着人工智能的蓬勃发展,深度神经网络在图像分类,自动驾驶,场景监控,医疗健康等领域都得到了广泛的应用。在深度神经网络取得巨大成功的同时,其安全性问题也越来越受人关注,当前大量研究表明神经网络易受对抗样本攻击,以图像识别为例,通过在原始图像上添加一些人眼不可识别的微小扰动就能让模型无法正确运作。在人工智能越来越频繁地运用在需要高安全性应用的时代,对抗样本的存在无疑会成为人工智能发展的一大阻碍,因此研
近十余年来,以深度神经网络为主的机器学习技术取得了长足的进步,这得益于高性能计算软硬件和实际应用的不断发展。现如今已有大量组织和企业提供基于机器学习系统向大众提供服务,例如面部、语音识别、照片优化等等。深度神经网络对算力的需求也不同以往,因此对分布式神经网络系统的需求也逐渐增加。另一方面,在边缘计算应用的不断深入,云端、边缘和终端的分层网络日渐成熟,这带来了更丰富的数据来源、计算设备、应用需求和隐
无人驾驶系统是一个非常庞大,复杂的各种高级模块组成的综合性系统,在满足基本驾驶功能的同时,更重要的是作为智能系统,需要和人类进行交互,分析人类的驾驶意图,将人类意图结合到驾驶策略中。同时,为了能够更加安全的确保驾驶过程的安全以及驾驶意图的正确执行,智能驾驶系统需要能够感知并分析驾驶员/乘客的状态,从而确保命令的正确下达与驾驶过程的相对安全,因此本文从两方面出发建立基于深度学习的驾驶决策分析系统,一
近年来,深度学习在许多领域得到了广泛的应用,也有许多针对多任务的深度模型。多任务学习在建模的过程中,既需要考虑任务之间的差别,避免负向的增长,又需要考虑到任务之间的共同之处。多任务学习的优势也正在于此。在现实世界中的有些任务间存在千丝万缕的联系,分解成多个子任务去独立求解是不正确的。而在实际的任务中,通过更多任务的辅助或者对照,可以帮助关注到最重要的特征,提升泛化性,提高性能。但基于深度学习的多任
随着人工智能技术不断发展,当今社会,语音不仅仅是人类之间通信交流的手段,也成为人机交互的重要桥梁。近年来,语音识别技术发展飞速,开始逐渐应用到各个领域。深度学习的加入,使得语音识别的准确率有了质的飞跃,但是伴随而来的是网络模型越来越大,难以在嵌入式设备上移植和使用。而且语音数据存在一定的隐私性,存在收集困难的问题。并且在实际的语音场景中,总是存在各种噪音,包括但不限于环境噪声、设备噪声、发动机噪声
近年来,随着深度学习和计算机技术的快速发展,图像分类技术已逐渐趋于成熟,其应用在日常生活中的各个领域也十分常见。然而,细粒度图像分类作为图像分类的重要的一个分支,相较而言更具有挑战性,还需要进一步发展。普通图像分类一般是区分不同的大类,不同类型图像之间的差异较大;而细粒度图像分类需要在同一个大的类型下区分不同的子类型。因此,细粒度图像不同子类之间的差异很小,具有类间方差较小而类内方差较大的特性。其
人体检测是当前机器学习领域研究的热点,该技术在虚拟现实、自动驾驶等领域有非常重要的意义。随着深度学习的快速发展,人体检测技术已经取得了不错的进展。但当前人体检测算法在复杂场景下仍然面临目标多尺寸、遮挡等问题,检测精度和速度往往顾此失彼,使得该技术在现实应用时受到一定约束。此外,智能安防、人机交互等领域迫切需要对人体提取更高级的语义信息,即人体行为识别。人体行为与人体姿态联系紧密,尽管基于人体姿态的
近年来,图像超分辨率重建算法的研究取得了重大进展。一般情况下,和较低分辨率图像相比,高分辨率图像可以展示更充分的纹路、更明显的边沿架构,使人类从中获取到更多的有助于图像理解的信息。所以高分辨率的图像更有利于后续对于图像进行分解、处理和应用,同时也可以提高人类的视觉享受。图像超分辨率主要是通过低分辨率图像恢复图像细节,生成对应的高分辨率图像。通常来说,网络越深重建的图像效果越好。但是不计后果地增加网