面向高精度需求的边缘网络模型训练研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:UltraSparc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着物联网(IoT)设备数量逐步增多,产生的数据量呈现爆炸式增长。设备通过IoT平台进行互联互通是实现万物互联智能网络的基础,而利用人工智能(AI)技术对物联网所产生的海量数据进行智能分析,可以提高数据处理的效率和产品服务的质量。在实际应用中,最常用的IoT与AI融合模式:物联网设备将所有感知数据都发送至云平台,基于这些海量数据进行模型训练,进而将训练得到的模型对数据进行智能分析与处理。但随着感知数据量的指数级增长,将所有数据聚集于云平台进行模型训练与智能分析,不仅需要极高的通信带宽,同时增加了网络传输时延,因此不适合低时延、低带宽等需求的应用。为此,边缘计算(Edge Computing)技术可以应用到物联网与人工智能的融合中,以降低系统的带宽消耗,提高网络传输的实时性,以及加强对敏感数据的隐私保护。然而边缘网络通常具有资源有限、系统异构、环境动态且数据不均等特性,这严重影响了边缘侧分布式模型训练(或称联邦学习,Federated Learning)的性能,包括测试精度、完成时间等。为了解决上述挑战,本文提出了面向高精度需求的边缘网络模型训练研究,主要研究内容与贡献如下:1.针对网络中交换机流表和服务器处理资源受限的问题,本文提出了一种基于通配符的增量式边缘网络服务器和服务功能部署方法,为分布式模型训练提供基础设施保障。现有的工作侧重于减少服务器部署成本,而忽略了交换机资源约束(如TCAM表大小受限)。因此,当有较多任务或数据流请求在网络中路由时,交换机需要部署大量的流表项(或转发规则),进而导致过高的控制器开销。为了解决该挑战,我们提出了一种增量式服务器部署(INSD)策略来构建可扩展的边缘网络,并证明了 INSD问题是NP难的,且不存在常数近似比的多项式时间算法。此外,我们提出基于贪心背包的近似算法来对问题进行求解,并分析其近似比为2·H(q·p)①,其中q是VNF的类别数,p是通过交换机的最大网络流数。我们基于Pica8实体交换机和OpenvSwitch(OVS)虚拟交换机对所提方案进行了验证,并通过大规模仿真对方案的性能进行了评估。与现有解决方案相比,我们提出的方案虽然增加了约5%的服务器部署成本,但可以减少88%左右的转发规则数目和大约82%的控制器开销。2.针对分布式模型训练中由于同步屏障导致的训练时间过长问题,本文提出了一种自适应异步联邦学习(AAFL)机制。具体地,在每一轮训练中,参数服务器会根据客户端发送的本地更新到达顺序,对α·n个本地模型更新进行全局聚合,其中0<α<1,n为网络中所有的客户端数。然后,我们从理论上分析了 AAFL机制的全局模型收敛速度,得到了一个与α有关的收敛上界。为了很好地适应动态网络环境决策,我们提出使用深度强化学习(Deep Reinforcement Learning,DRL)的方法来决策α值,通过将训练状态和网络资源等作为DRL系统的输入,能够得到每一轮最优的值。大量实验结果证明了我们所提方法的高效性。例如,可以在获得与同步方案相似测试精度的同时减少约69%的训练时间,或者在相同资源开销的约束下,训练模型的测试精度提高约18%。3.针对边缘网络中数据分布不均导致模型测试精度下降的问题,本文提出了一种结合模型迁移的联邦学习机制。由于网络客户端处于不同地理位置,边缘设备收集这些客户端发来的数据也差异明显。因此,每个边缘设备上的数据呈非独立同分布(Non-IID),从而影响全局模型训练的收敛速率和测试精度。为解决该问题,本文提出使用模型迁移的方法,使得本地模型能在逻辑上的更大数据集上进行训练。我们首先分析了该方法的收敛性,证明了其能够减少分布式训练中的全局模型和集中式训练所得模型之间的参数差异。接着,我们形式化定义了结合模型迁移的联邦学习(FLMM)问题,并提出一种基于深度强化学习的模型智能迁移策略。大量实验结果表明,本文的方法与现有解决方案相比,在资源约束下提高约13%的测试精度,并在取得相似精度时减少通信带宽消耗约42%。4.针对边缘参数服务器(Parameter Server,PS)与客户端频繁通信导致PS端网络拥塞的问题,本文提出了一种基于概率通信的去中心化联邦学习(DFL)机制。同时,该方法可以有效解决由于系统异构和数据不均(如质量和数量)造成的模型测试精度下降问题。具体地,为避免服务器端拥塞,我们利用点对点(Peer-to-Peer,P2P)的通信方式来减缓服务器端的通信压力。基于网络节点的资源和数据分布,我们提出一个高效的近似算法给节点间的每条链路分配了一个合适的通信概率。通过大量实验表明,与现有解决方案相比,本方案可以将模型训练的完成时间减少约55%,并在网络带宽约束下将测试精度提高11%左右。通过以上方法,本文可以有效解决由于边缘网络资源受限、系统异构和数据不均等特性导致的模型测试精度下降问题。同时,我们也开发设计了边缘计算分布式模型训练系统,对上述方法进行了验证。
其他文献
红外发射率是材料的一个重要物理性能,其数值高低对物体的红外辐射(热辐射)行为有很大影响。物体的红外辐射主要由其表面层的红外发射率决定,为了改变材料的辐射特性且兼顾该材料的其它性能,通常在其表面涂覆具有特殊发射率的涂层来改变其红外辐射性能,实现材料在特定场合的应用。红外功能涂层主要分为高红外发射率和低红外发射率涂层两类。高红外发射率涂层主要有两个应用领域:一是作为航天器TPS(热保护系统)最外层材料
癌症作为影响人类健康的“头号杀手”,探索持久且有效的治疗方式成为医学界的重要攻关方向。目前癌症的主流治疗方式包括手术、化疗和放疗,但是这些传统治疗方式在治疗效果上都存在固有缺陷。纳米催化治疗作为一种新兴的治疗手段,能够对肿瘤实现精准的杀伤并且不损伤正常组织,正受到广泛关注。亚铜基纳米催化材料在肿瘤微环境(TME)中能够促进羟基自由基(·OH)的生成和抑制谷胱甘肽(GSH)的过表达,进而提高化学动力
随着锂离子电池在电动汽车上的推广应用,重量轻、高续航的车辆需求推动了动力锂离子电池能量密度和尺寸的增加。大幅面高比能软包锂离子电池及其装配而成的电池包因具有能量密度高的优点受到市场青睐。然而,此类电池热失控引起的相关安全问题仍是制约发展的最大阻碍。当前国内外研究多集中于小容量圆柱型或方型电池,采用的研究方法能否适用于大幅面高比能软包电池还需进一步研究;且高比能的高镍电池(LiNi0.8Co0.1M
本文是对黎曼面上奇异双曲度量的研究,主要包含下面两个部分。一方面,我们用两种方法给出了双曲度量在孤立奇点附近的局部模型。即我们证明了在孤立奇点附近存在复坐标z,使得度量的表达式要么为(4α~2|z|2α-2/(1-|z|2α)~2)|dz|~2,其中 α>0,要么为 |z|-2(In|z|)-2|dz|~2。另一方面,我们提出了下述猜想:位势理论意义下的非双曲型黎曼面上的奇异双曲度量的单值化群在P
页岩作为典型的沉积岩广泛存在于自然地层中,受层理和裂隙发育的影响,各岩层力学性能差异大,页岩体中的地下工程结构易发生变形破坏,严重影响着工程结构的稳定性。页岩矿床开采采场围岩的变形规律、应力分布、损伤特征是影响矿床开采安全的主要因素。因此,借助理论分析、物理相似模拟试验和数值模拟试验等手段,研究采场变形特征、应力状态、破坏模式和支护形式,是页岩矿床安全开采的岩体力学关键问题。以某典型缓倾斜页岩矿床
电子显微成像的结果有时不那么直观,通过模拟研究可以从有限的结果中获得更多的信息。本论文就透射电子显微镜成像模拟方法进行了介绍,研究了离焦、像散下电镜的成像。另外,在多层法基础上提出了全空间力学分析,并将其应用在电子束对样品力学作用的研究中。首先,文中给出了一套模拟离焦图像并通过与实验图像定量对比优化参数的研究方案,分析了带电纳米线在大离焦量下的成像机制,为复杂情况下,共轴全息技术在荷电测量上的应用
镁合金是目前密度最轻的金属结构材料之一。其在电子产品、交通运输、航空航天等领域有着广阔的前景。然而目前镁合金的实际应用与其优异的性能所能达到的预期还有较大的差距,这主要是因为镁合金作为结构材料强度仍然较低。而Mg-Gd系合金是镁合金中强度最高的体系之一,对其成分和制备工艺优化是提高性能最有效的方法。基于以上背景,本文选择Mg-Gd系合金作为研究对象,通过添加Sm以及Zn元素,并采取不同的变形和热处
Fogging is always a significant problem for agricultural films,where fog may reduce the light transmission resulting in an adverse effect on the yield and quality of crops.Many reports have been discl
学位
聚酯玻璃钢具有密度低、热绝缘能力优异、机械性能好、成本相对较低以及易加工等特性,被广泛应用于高速列车的墙板和顶板等部位。然而,聚酯玻璃钢的基体材料不饱和聚酯树脂具有较高的可燃性,当列车内发生火灾时,其他内饰材料燃烧产生的高温热辐射会导致聚酯玻璃钢发生热解,着火后火焰会迅速蔓延至整个车厢。此外,高速列车运行环境复杂多变,由于海拔和气压等环境因素的影响,聚酯玻璃钢可能处于高氧或低氧环境。因此,深入认识
本文主要研究如何利用DHOST理论在解决反弹/浮现宇宙学中的不稳定性问题。本文在简并高阶标量张量理论(DHOST)的框架下,利用单一标量场与引力的耦合,研究了一类新的非奇异反弹宇宙学理论。在该类理论中,原本在标量-张量理论和Horndeski/Galileon理论中广泛存在的非奇异反弹宇宙学中的梯度不稳定性被DHOST理论中新算符带来的效应取代,这源自对于扰动色散关系的修正。计算结果表明,当原初扰