MEC系统中基于机器学习的资源分配算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:stoudemire21
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着移动智能设备的不断发展,运行于移动设备的应用程序越来越丰富,移动设备的资源和处理能力限制导致了某些应用程序无法满足用户的服务质量要求。克服这一问题的方法就是将移动设备上的计算密集型任务卸载到部署在网络边缘的云服务器上,称为移动边缘计算(Mobile Edge Computing,MEC)。然而,移动边缘云服务器的资源有限,不同的卸载策略和资源分配方式会显著影响用户的服务质量,因此,如何有效地制定资源配置策略,是MEC领域的研究重点。本学位论文围绕MEC系统中多小区多用户的场景,对卸载和资源分配问题展开了深入研究,分别提出了基于可变学习速率的多智能体强化学习的联合卸载和资源分配(Joint Offloading and Resource Allocation based on Multi-agent Reinforcement Learning with Variable Learning Rate,JORA-MV)算法和基于深度强化学习的协作资源分配(Collaborative Resource Allocation based on Deep Reinforcement Learning,CRA-DRL)算法。本学位论文的主要工作如下:(1)提出了基于可变学习速率的多智能体强化学习的联合卸载和资源分配算法。该算法综合考虑了用户的卸载决策以及无线资源和计算资源的联合分配,分别获得本地计算和卸载的开销并进行比较,作为卸载的决策依据,无线资源以子载波的形式分配,定义用户的效用函数包括数据传输速率和开销,通过合理的分配计算资源和子载波,提高用户的任务卸载率,同时最大化用户的效用函数之和。建立基于可变学习速率的多智能体强化学习模型,每个用户作为一个智能体,通过与环境进行交互获取奖励值来学习改善自己的策略。根据比较智能体的当前奖励和预期奖励值自适应地改变学习速度,从而当智能体当前奖励值小于预期奖励值时加快学习速率以适应其他智能体策略变化,当智能体当前奖励值大于预期奖励值时放慢学习速率给其他智能体适应策略变化的时间。仿真结果表明,提出的JORA-MV算法收敛性能表现好。和其他算法相比,时延和能耗更低,并且卸载率更高。(2)提出了基于深度强化学习的协作资源分配算法。该算法不仅考虑了面向移动端的资源分配问题,还通过多小区服务提供商(Service Provider,SP)之间的协作和计算资源共享,提高资源的有效利用率。该算法包括资源分配和资源共享两个模块,资源分配模块包括用户基站选择和SP子载波分配,首先根据信噪比最大原则得到用户基站连接矩阵,然后使用深度强化学习以最大化系统总容量为目标得到载波用户连接矩阵;资源共享模块首先计算SP的平均时延,低于时延阈值的SP对其他SP进行资源借用,以最小化系统时延和资源共享的代价之和为目标,使用深度强化学习建模。仿真结果表明,提出的CRA-DRL算法能够有效地提高计算资源的利用率。
其他文献
随着现代机器学习与深度学习算法的发展,现有环境感知技术对理想环境中的人员、车辆等目标识别的准确率不断提升,但是,对实际很多特殊场景(例如雨天、夜晚等光线昏暗的低辨识度环境)的检测准确率却不尽如人意。因此,突破对低辨识度目标检测的精度水平,是环境感知技术实际应用的关键。低辨识度目标的特点包括:目标与周围环境的对比度较低或者目标没有明显且完整的轮廓特征或者目标像素占整张图像像素比例低于30%等。本文针
相比轮式或履带式机器人,四足机器人能够借助腿足结构在非平坦路面上实现行走,对复杂环境具有很强的适应性。这些优点使得四足机器人具备广大的潜在应用前景,尤其用于工程勘察、抢险救灾和反恐防暴等场合。本文针对四足机器人行走稳定性,从结构设计和运动规划两个方面着手,完成机器人机构设计,研究不同环境下机器人步态和位姿调整策略,分析末端运动误差并设计跟踪算法,通过相应的仿真实验对结果进行验证。主要研究工作如下:
随着汽车保有量的迅速增加,交通安全和交通拥堵成为了一个亟待解决的难题。在人工智能创新科技的不断推动下,自动驾驶关键技术突飞猛进。自动驾驶汽车排除了驾驶员因素的干扰,可以很好的解决了交通安全等问题,加之自动驾驶汽车网络的全局可控性,可以很大程度上避免交通拥堵。由于稳定且可靠的路径跟踪控制系统和自主避障控制系统是车辆实现自动驾驶的必要条件,因此本文针对自动驾驶汽车路径跟踪控制和自主避障控制问题进行了深
近些年来,随着人工智能技术的发展,卷积神经网络在计算机视觉领域得到了广泛应用,它在图像分类、目标检测等任务中表现优异。但卷积神经网络计算量较大,此特性使其难以直接在边缘端或移动设备上部署,因为此类平台通常算力有限,且对功耗敏感。为了使卷积神经网络在这种平台上运行,通常使用轻量级的网络模型,或使用专用的电路对其进行计算。根据这两个理念,本文提出了基于So PC平台的轻量级卷积神经网络加速器,可进行M
近年来,各种智能设备和蜂窝网移动用户数量快速增长,移动数据流量也随之激增,而由于当前通信网络无线资源有限,重复传输大量相同的内容导致资源浪费,回程链路拥塞,通信时延增加甚至通信中断。而雾无线接入网这一新兴的网络架构可以解决当前通信网络面临的上述问题。在雾无线接入网中,边缘节点具备一定的计算和存储资源,通过将流行内容存储到用户附近的边缘节点,即可避免用户从云端反复下载重复内容,进而有效降低链路负载与
随着无线通信技术的发展,天线设计也面临着小型化、宽带化、多频化等多方面的设计需求,天线与阵列设计日趋复杂,设计自由度提升。传统的全波仿真计算虽然仿真结果相对精确,但计算成本较高,不利于需要大量重复仿真计算的优化过程或敏感性分析。本文针对机器学习辅助优化技术及其在天线设计中的应用开展深入研究,具体成果如下:首先,在研究电磁优化领域被引入的常用机器学习代理模型及相关优化算法基本原理的基础上,对比人工神
随着移动互联网的迅速发展以及智能移动终端的普及,越来越多的用户从传统的PC端上网逐渐转换到基于移动智能终端的移动互联网上。各种应用软件在颠覆用户生活习惯的同时,涉及到了用户的个人隐私,不可避免的带来了移动信息安全泄露的威胁。因此,基于移动终端的信息安全也成为了当下的热门研究方向。人脸识别技术主要是基于人的面部特征信息来进行身份识别,综合了人工智能、机器学习、图像处理等众多技术,其识别准确率也逐渐提
传感器节点的能量受限问题是无线传感器网络(WSNs,Wireless Sensor Networks)中的一个重要问题,它关乎到WSNs的使用寿命。近年来,利用无人机(UAV,Unmanned Aerial Vehicle)对节点进行充电引起了国内外学者的广泛关注。本学位论文重点研究了UAV辅助的WSNs充电策略,根据传感器节点的剩余电量和无人机的机载能量,在保证WSNs正常工作的情况下,优化UA
近年来,随着人工智能的兴起,无人驾驶技术逐渐成为研究的热门领域。无人驾驶汽车通过传感器感知周围环境,而环境感知主要包括目标的跟踪与识别。因此高精度的跟踪算法以及高准确率的识别算法对无人驾驶车辆的研究具有较大的推动作用。在目标的跟踪过程中,由于回波信号的非视距传播以及环境噪声干扰等因素导致观测信息中出现奇异值,从而影响算法的跟踪精度。此外,在目标识别过程中,传统的识别算法对类别不平衡问题较为敏感。然
大规模机器类通信(massive Machine Type Communication,m MTC)作为第五代(the Fifth-Generation,5G)移动通信系统的三大关键场景之一,广泛应用于智慧交通、城市大脑、健康监测等领域,为人类的生产和生活提供了极大的便利。与此同时,巨大的用户数、庞大的数据量以及复杂的业务场景,也对通信领域技术的革新提出了严峻的挑战,其中就包括对无线网络接入的控制