论文部分内容阅读
边缘计算技术将云服务能力扩展到靠近业务执行的网络边缘,可弥补现有云计算系统在超低时延和超高可靠性等方面的不足,从而满足新兴物联网业务对服务性能和资源的同步需求。因此,边缘计算已被广泛认可为是实现各种新兴物联网应用场景的支撑性技术之一。然而,考虑到边缘系统资源受限、系统异构性以及业务性能敏感等特点,边缘计算系统中的计算任务与服务调度及资源管理对业务服务性能和边缘系统资源利用率具有关键性影响。因此,本文研究了边缘计算应用场景,从计算卸载数据传输调度、协作计算任务分配与服务放置调度和相关的资源管理调度方面研究提升边缘计算系统服务性能与业务服务质量（Quality of Service,Qo S）的技术和方法。本文主要工作内容和创新点如下:针对采用信道竞争型无线通信协议的集中式单服务器边缘计算系统,从数据传输调度层面提出了一种面向边缘计算卸载的信道预留媒体接入控制（Medium Access Control,MAC）协议,显著提升了接入网内边缘计算卸载过程中的数据传输效率。具体的,针对短数据帧计算结果传输冲突问题,允许接入设备利用数据接收成功确认帧为待传输计算结果预约信道空闲时间,降低了计算结果传输冲突概率和退避等待时延。同时,为提升协议工作过程中信道利用率并避免二次冲突问题,设计了时延约束感知预约准入机制和虚拟退避恢复机制。最后,设计了信道预留MAC协议的跨层实施框架,并基于此框架在ns-3网络仿真环境中实施了信道预留MAC协议。仿真结果表明所提出的信道预留MAC协议可以有效提升系统计算结果成功获得率并降低服务时延。针对多服务器边云协同系统,提出了一种基于深度强化学习的动态任务分配与服务迁移方法,可以在满足大规模用户服务迁移中断时间约束的条件下实现动态计算任务分配和服务迁移以适应用户动态计算需求。具体的,在综合考虑了用户Qo S约束、服务迁移中断时间约束和边缘系统资源约束的基础上,构建了边云协同系统中的动态任务分配与服务迁移问题。然后,将问题分解为计算任务分配子问题和边缘服务器上基于用户资源需求的服务用户选择子问题。之后,将任务分配策略确定后的服务用户选择问题转化为“背包”问题并利用动态规划方法解决。最后,利用深度确定性策略梯度强化学习方法解决了具有超大规模离散动作空间的大规模用户任务分配问题。仿真结果表明所提出的方法可以在满足边缘系统资源和用户Qo S约束条件下,实现边云协同系统中服务连续性动态任务分配与服务迁移,且相较于传统方法具有明显优势。针对多服务器边缘计算系统中的多设备协同作业场景,提出了基于深度强化学习的联合缓存与计算边缘服务放置（Joint Caching and Computing Edge Service Placement,JCCESP）方法,可在底层通信网络先验知识不可知的情况下,优化异构边缘计算系统中多传感器数据驱动型业务的JCCESP。具体的,通过分析,将传感数据驱动型业务的JCCESP需求建模为所请求边缘服务功能链到JCCESP动作的非等长序列到序列映射问题,并将多业务JCCESP实施过程建模为有限步数的马尔可夫决策过程。然后,为解决系统异构性和有限先验知识带来的问题复杂度,设计了基于深度强化学习的JCCESP方法。首先,基于Encoder-Decoder模型构建可实现非等长边缘服务功能链到JCCESP动作映射功能的策略网络模型。然后,分别利用基于REINFORCE和基于深度确定性策略梯度两种强化学习方法训练了JCCESP策略网络。其中,提出了平均孪生Q延迟估计方法,缓解了深度确定性策略梯度方法训练后期由于Q值估计突变误差引起的训练不稳定。仿真结果表明,所提出的方法能够在系统先验知识受限的异构多服务器协作边缘计算系统中满足多传感数据驱动型业务的JCCESP需要,且所获得性能明显优于传统方法。此外,平均孪生Q延迟估计方法能够显著提升训练稳定性。针对分布式边缘计算系统,提出了基于多智能体深度强化学习的分布式任务与计算资源联合分配（Distributed Joint Task and Computing Resource Allocation,DJTCRA）方法,可建立有限先验信息和局部观测状态下的多边缘服务器间分布式协作空间并优化任务与计算资源联合分配。具体的,在考虑用户Qo S和体验质量（Quality of Experience,Qo E）非线性相关的基础上构建了系统Qo E最大化DJTCRA问题,并将问题分解为分布式任务分配子问题和边缘服务器上用户Qo E最大化计算资源分配子问题。然后,利用Sigmoidal Programming优化器获得任务分配策略执行后的Qo E最大化计算资源分配结果。之后,基于多智能体深度强化学习方法提出了在云端集中式训练、在边缘端分布式执行的离线式DJTCRA模型训练和执行框架,并分别利用多智能体深度确定性策略梯度和融合最大熵方法训练了DJTCRA策略模型。仿真结果表明,所提出的方法能够有效优化分布式边缘计算系统中的DJTCRA,且所提出的多智能体融合最大熵方法相比于多智能体深度确定性策略梯度方法,能够显著提升训练效率和模型收敛性能。本文共有图39幅,表6张,参考文献196篇。