基于深度强化学习的无线资源动态分配算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:m200997
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无线通信技术的快速发展,促使了各类新型应用的产生,运营商提供的服务类型也在飞速的扩展,如短视频、在线直播等等,此时服务类型由传统的“以连接为中心”的服务转变为了“以内容为中心”的服务。这些服务需求不仅有高数据传输效率、低传输时延的要求,同时也需要大量的计算能力和持续的数据处理能力。要想最大化利用有限的无线频谱资源,优秀的资源分配算法是提高整个网络性能的关键,而传统的资源分配算法很难同时满足这些需求。深度强化学习算法不仅拥有非常强的感知能力,可以实现对高维数据的处理,同时也拥有决策能力,使得模型可以针对各种复杂的通信场景做出快速的最优调节,从而降低各种时延,提高网络性能。有鉴于此,本文通过深度强化学习算法来研究以下三种无线通信网络场景下的资源动态分配问题。首先在多小区网络场景下,小区之间同频干扰是影响网络性能的主要原因之一。本文提出了多智能体Q学习算法,通过构建深度强化学习和多小区无线网络的映射关系,提出状态动态添加策略,同时采用深度神经网络加快模型的收敛,从而获得多小区资源分配的次优策略。其次在小型异构网络场景下,资源动态分配问题变得更加复杂。本文采用深度Q网络(Deep QNetwork,DQN)算法,同时结合负载耦合的情况分析了网络的资源动态分配问题,本文论证了 DQN应用在复杂无线网络环境下的可行性,并通过该算法获得小型异构网络场景下的最优资源动态分配策略。最后在多目标异构网络场景下,本文采用多智能体深度强化学习方法来解决异构网络中多目标联合资源动态分配问题。该算法不仅考虑了家庭基站数量的不确定性、分布的任意性问题,同时也考虑了当网络存在多个目标函数时的均衡问题。本文通过该算法获得了在多目标下的最优资源动态分配策略。
其他文献
自我国实行校长负责制以来,校长成为学校的第一责任人,校长的教育理念、领导风格等综合素质对学校的发展具有重大意义。学校管理的效能很大程度上取决于校长领导力,有关于校长领导力教育理论和教育实践的研究也是近年来探索的重要课题。本研究选取H县的公办初中的校长及教师作为调查对象,以托马斯·J·萨桥万尼(Thomas J.Sergiovanni)和郑燕祥关于校长领导力的研究理论为理论基础,运用文献综述法、问卷
在万物互联的新时代背景下,智能家居、智慧医疗、自动驾驶和智慧城市等新应用场景快速涌现,随之而来的是持续增加的算力需求以及爆炸式增长的数据规模。这对于终端设备的计算能力、存储性能、续航性以及中心网络提出了更高的要求。为满足这些激增的需求,边缘计算模式应运而生,其核心功能是将原本属于云中心的功能和服务下沉到网络的边缘,对于实现低延迟、高带宽和灵活的服务至关重要。但边缘计算模式为终端设备和用户带来了多样
高分子水凝胶,由大量的水和通过共价键或非共价键交联而成的三维网络构成。由于独特的性能,水凝胶在组织支架、软骨修复、药物释放、可穿戴设备、智能器件等领域受到越来越多的关注。但是,力学性能和生物相容性方面的缺点限制了它的实际应用。近年来,物理交联双网络水凝胶由于出色的力学性能和优异的自恢复能力而吸引了较多注意。但是制备方法的复杂性和水凝胶结构调整的繁琐性限制了它们在很多领域的实际应用。本文通过冻融循环
Patent Troll是指那些从来不实施专利,而是通过购买专利从而寻求目标企业以获取专利许可费,并以专利侵权诉讼为最后手段以获取赔偿金的企业或个人。Patent Troll的运营成本低
区域是地理学研究的中心问题之一,从区域煤矿角度考虑一个地区的煤矿安全态势,有助于信息集合并最大化利用。本论文以各煤矿安全监察分局所辖范围内的煤矿为研究对象,分析区域煤矿安全态势及预警指标体系,构建多源信息融合安全态势分析及预警模型,并提出事故预警技术和管理体系。首先,收集国内外煤矿事故统计数据,分析出煤矿事故存在区域性差异,从区域视角对安全态势进行研究具有重要意义。研究分析区域煤矿灾害机理,并用鱼
随着国民经济发展,越来越需要建设深井以开发深部的固体矿产资源,而竖井掘进机法是深井建设的重要发展方向。采用竖井掘进机法进行深井建设时,洗井排渣技术是最大的难点。空气洗井具有节约水资源、降低工程造价、钻进效率较高等明显优势,而且随着我国西部干旱缺水地区固体资源开采及凿井工程的增多,采用空气洗井的竖井掘进机法,将显示出突出的优势。在此背景下,本论文综合采用数值分析、模型试验方法,开展了竖井掘进机空气洗
伴随我国社会经济的发展,建筑的空调系统(供热和供冷)占到社会总能耗的25%~30%,传统能源存在环境污染等弊端,清洁能源的开发迫在眉睫。在各种新能源和可再生能源中,地球地表下包含存储的地热能源能有效应用于空调系统。本文基于地热开发的能源桩技术提出了一种新型的深层埋管式能源桩技术,该技术不仅充分利用桩内埋管式能源桩的优点,并且可利用更深层地热来提高单根能源桩换热量。新型能源桩的结构形式灵活,能够根据
21世纪初,中国的城市化进程呈逐年递增趋势,截止2019年,中国的城市化率已达五成以上,这意味着中国的城市化迈入了一个新的历史阶段。2015年牡丹江市对A社区进行了初步网格化,
太赫兹波位于微波段和光波段之间,当前没有大规模的应用,本文主要以太赫兹波的应用为背景,通过理论计算和实验测量两种方式对目标太赫兹散射特性进行研究,揭示太赫兹频段目标散射特性的影响因素。针对常见算例利用不同的计算方法,由于太赫兹频段的特殊性,主要从电磁方法和光学方法两个方面对其散射特性进行研究,为太赫兹频段目标电磁散射提供仿真和测试两方面的数据支持,具有一定的理论和应用价值。本文创新性的给出太赫兹频
现代移动通信以第一代移动通信技术的发明为标志,在经历爆发式增长后,对人们的生活方式产生巨大的影响。如今,移动通信渗透到生活的方方面面,成为推动社会发展的重要因素之一。5G作为新一代移动通信技术,将广泛应用于增强移动带宽(enhanced Mobile BroadBand,eMBB)、高可靠低时延通信(Ultra-reliable and Low Latency Communication,URLL