基于深度强化学习的边缘任务卸载与资源分配策略研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:icetqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新兴移动应用如虚拟现实/增强现实、车联网、人工智能、高速视频流等往往要求超低的服务延迟,传统的云计算服务架构难以满足日益严苛的用户需求。边缘计算通过将资源和服务向边缘下沉,以就近执行用户任务,可以有效缓解用户设备本地计算资源不足的问题,同时避免与远端云的数据传输,从而极大地降低服务延迟,已被视为未来网络的支撑性技术之一。
  然而与远端云相比,边缘云计算资源仍是有限的。如何合理地选择任务进行卸载,并分配合适的计算资源,以最大化边缘计算的收益逐渐成为研究热点。在这一问题上,传统最优化算法因其执行复杂度过高,在实际场景中的应用往往受到限制。对此,提出一种基于深度Q网络(Deep Q Network, DQN)的任务卸载与资源分配算法。针对任务卸载与资源分配优化问题状态-动作空间维度高的特点,通过考虑有效状态的单用户决策动作设计进行降维,并定义系统势能差作为即时奖励对动作进行评估,以引导智能体学习到最小化延迟、能耗权重和的动作选择策略。为了避免资源分配陷入过饱和状态,算法提出辅助奖励机制以鼓励更均衡的分配方案。仿真实验表明,与其他算法对比,所提算法在收敛性、系统延迟、能耗增益及卸载覆盖率上均有明显提升。
  更进一步,通过在边缘缓存用户任务,当任务再次被请求时,无需与边缘云进行数据传输,可进一步降低延迟与能耗。针对缓存辅助的任务卸载与资源分配问题,提出基于请求模式预测与任务量感知的主动缓存策略。该策略能够有效适应任务流行度的演化,并根据任务量调整缓存优先级,以提高缓存收益。在此之上,提出基于DQN的缓存辅助卸载与资源分配算法,以适应缓存资源引入带来的差异。仿真实验验证了所提算法在请求模式预测、缓存策略有效性及系统延迟、能耗增益上的优越性。
其他文献
在全球数据量呈现爆炸式增长的大数据时代,传统存储系统架构已成为瓶颈。NVM(Non-Volatile Memory)的出现,为解决传统存储系统内外存之间的性能鸿沟、满足数据密集型应用对内存访问的需求带来了希望。在DRAM(Dynamic Random Access Memory)与NVM混合的架构下,由于NVM在不同应用场景下需要满足不同的内存需求,使得传统用户层的动态内存分配器不再适用,需要重新
手绘草图是人类进行思想交流的媒介,在沟通和设计中都扮演着重要的角色。近年来,深度生成模型在光栅图片生成领域迅速崛起,手绘草图的生成也受到了广泛关注。Sketch-pix2seq是目前手绘草图生成领域最受欢迎的一种生成模型,但它无法捕获组件的全局位置关系,当草图组件较多时,这一问题更为严重;同时现有的草图生成模型受VAE(Variational Auto-encoder)框架的影响,很容易生成细节表
随机写请求因I/O尺寸小、存储空间离散引起存储性能下降,F2FS文件系统可将写请求从随机转换为顺序而被广泛使用。而对于具有先擦后写等特性的闪存存储,写单元为闪存页,擦除单元为闪存块,因此基于闪存为存储介质的固态盘(SolidStateDrive,简称SSD)采用异地更新的方式写入数据,并基于垃圾回收对有效数据迁移、无效数据进行回收,增加了额外的读写开销,引起写放大问题。由于F2FS文件系统仅通过简
学位
随着深度学习技术日益成熟,越来越多深度学习解决方案,如人脸识别、语音识别、自动驾驶等,进入人们日常生活。研究人员发现深度学习模型极易受到对抗样本的影响,这些对抗样本只是在原始样本上添加轻微扰动,就能使深度学习模型输出错误结果。对抗样本的存在极大地影响了深度学习解决方案的运用。现有的防御对抗样本方法大多只能防御特定、已知对抗样本的攻击,并且防御成本极高。  针对目前防御对抗样本存在的问题,本文从对抗
学位
随着信息时代快速发展,数据量呈爆炸增长,大数据应用对数据存储的容量、性能和可靠性提出了更高要求。基于闪存的固态盘因具有高性能、低功耗等优点被广泛应用。但闪存采用多位堆叠及缩小制程等方法提高存储密度,致使读操作对闪存内数据的干扰加重,读干扰逐渐成为影响闪存可靠性的主要因素。因此,如何高效地进行读干扰管理以提升固态盘的性能和寿命,成为了研究热点。  读干扰管理的方法是将受读干扰影响严重的数据进行迁移,
学位
与传统磁盘相比,基于闪存的固态盘(SSD)由于高性能、低延迟等特性已被广泛使用在消费类和企业级存储市场。影响固态盘性能的因素之一是盘内完成从逻辑地址到物理地址转换的地址映射算法。随着闪存容量的快速增长,受限于价格、工艺、能耗、体积以及可靠性等多因素影响,固态盘内置RAM的增长速度落后于闪存容量的增长速度,引起内置RAM大小不足,导致地址映射算法中映射缓存不命中和映射条目替换加剧,带来额外的闪存读写
学位
基于闪存的固态盘(NAND Flash-based Solid State Disk/Drive)因其低延时、低能耗、高抗震等特点被广泛应用在便携式设备、个人计算机及企业级存储系统中,并逐渐替代传统磁硬盘,在存储市场占据重要地位。固态盘控制器通过成对的写入/擦除操作改变闪存单元电压以存储数据,每对写入/擦除操作都会对闪存单元造成可累积的磨损。然而,闪存单元能够承受的磨损是有限的,一旦足量的闪存单元
学位
海量小文件会对分布式存储系统的读写性能产生极大影响。在分布式存储系统中,针对小文件读写性能的优化工作主要采用聚合和缓存预取机制,但仍存在以下问题:(1)现有的小文件聚合机制没有充分考虑小文件负载序列的时序特征,造成聚合块内文件关联度较低;(2)固定的聚合块大小不能适应小文件大小范围多变的特点,导致小文件写性能下降;(3)现有缓存替换算法没有综合考虑文件访问时间、访问频率以及缓存价值,导致小文件读取
深度卷积神经网络(Deep convolutional neural network,DCNN)常被用于处理机器视觉的任务,包括目标检测、场景标记等。DCNN具有计算量大、数据量大、模型结构复杂多样的特点,这些特点给异构加速带来挑战。目前,大多数DCNN加速器在有限的片上资源下,使用固化的数据流处理不同的DCNN模型计算,导致性能和能效下降。  针对上述问题,提出了兼顾能耗和性能优化的灵活的可重配
随着互联网的飞速发展,数据库的应用也越来越广泛,推动着数据库性能不断优化。数据库的查询优化是数据库性能优化研究的一个重要分支,其中表连接顺序的优化几乎是所有数据库查询优化器的核心,其目的是尽可能生成执行时间更短的查询计划。由于数据库代价模型、维护的统计数据的不准确,以及连接顺序搜索算法的局限性,现有的数据库管理系统经常会错过执行时间更短的表连接顺序。  针对上述问题,提出了一种基于机器学习和蒙特卡