基于深度强化学习的无线局域网络参数调优

来源 :东南大学 | 被引量 : 0次 | 上传用户:jners08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信技术的高速发展,第五代移动通信技术(5th generation mobile networks或5th generation wireless system,5G)技术从国家发展战略中的名词,一步一步变成现实生活的一部分[1]。5G技术为实现万物互联构想奠定了坚实的基础,极大提升了无线网络在社会中的使用价值。而无线局域网络(Wireless Local Area Network,WLAN)可以作为5G的补充,在很多场景都有广泛的应用。当前802.11协议标准的发展趋势,无线接入点(Access Point,AP)的高密度覆盖已经成为提高无线局域网络服务质量与速率的关键。由于高密度覆盖的AP之间会产生相互的干扰,这一点严重影响了无线局域网络的使用价值。因此本文提炼了高密度AP分布网络这一场景,针对AP相互干扰严重这一问题,提出以下解决方法,全文的主要工作如下:1、针对无线局域网络饱和吞吐量估计困难的问题,本文研究了基于Bianchi[2]关于单AP饱和吞吐量估计的建模,并在此基础上构建可以估计无线局域网络整体饱和吞吐量的模型。本论文提出的模型通过对Bianchi提出的单AP行为模式进行推广,将其引申到高密度AP分布的场景下,然后将对Bianchi模型进一步推导计算,得到符合高密度AP分布场景下无线局域网络饱和吞吐量的估计方法。但需要注意的是,该模型估计的是高密度AP网络场景的下行传输饱和吞吐量。2、高密度AP分布的无线局域网络动态场景,它受到用户行为的影响很大,具有很强的马尔可夫性。针对这一状况将空闲信道评估阈值与AP信号发射功率的控制问题建模成马尔科夫决策过程(Markov Decision Process,MDP)[3],并利用深度强化学习算法中的确定性深度策略梯度(Deep Deterministic Policy Gradient,DDPG)来找到整个网络的最佳解决方案。传统的方法往往是基于规则或者模型对空闲信道评估阈值和AP信号发射功率进行调整,但对于高密度AP分布的无线局域网络这一场景下,传统的方法往往会耗费大量的人力物力,但不能得到很好的决策方案。强化学习的优势在于解决决策问题(Decision-Making),因此强化学习非常适合用于解决无线局域网络参数设计的问题,本文的仿真实验结果也进一步证实了这一结论。3、针对高密度AP分布的无线局域网络,参数调优方案的设计难度随着AP数量的增加以指数级别增加。提出根据AP间的干扰关系,可以将AP分布情况建立为图模型G(ν,ε)。将DDPG中策略网络和评价网络的传统神经网络替换为图卷积神经网络(Graph Convolutional Network,GCN)与传统神经网络的结合,通过这一方法,决策成本可以进一步降低,使得DDPG算法可以更快的收敛到一个稳定的状态。这样一来,不仅降低了训练成本,并且提高了算法的实时性,这样算法便可以在更为复杂的环境下降低网络的同频干扰,提高网络的饱和吞吐量值。
其他文献
随着我国BDS的快速发展、Galileo的建设推进以及GPS、GLONASS的改进完善,全球导航卫星系统(GNSS)已被应用到各个行业。GNSS在实际应用中容易受到各种观测误差的影响,通常采用站间/星间差分或绝对误差改正方法以消除或削弱星端、接收机端、电离层和对流层等误差。但多路径误差由于与卫星位置、接收机周围环境以及天线的反射特性有关,具有很大的随机性和复杂性,常规的差分方法并不能有效的抑制,且
学位
实体链接和关系链接是知识库问答场景下的两个重要任务,目的是将自然语言问句中提及的实体和关系映射到知识库中对应的目标实体和目标关系上。实体及关系链接效果极大地影响问答的准确性,是制约知识库问答方法提升的瓶颈之一。在缺少上下文信息的问句场景中下进行实体及关系消歧是当前面临的巨大挑战。现有的研究方法大多将实体链接和关系链接作为两个独立的任务来解决,导致错误传播以及信息利用不充分等问题。本文的研究目标是将
随着智能移动终端的不断普及和社交网络的急剧增长,无线通信网络中的多媒体业务也呈现出爆炸式的提升,这使得前传链路面临着前所未有的数据流量压力和安全威胁。为了应对这一挑战,雾无线接入网络可以通过将存储资源和计算资源分配给部署在网络边缘的雾无线接入点(Fog Radio Access,F-AP)来有效地解决这一问题。一方面,由于F-AP受限制的存储容量和计算资源,考虑F-AP之间的社交关系在降低传输延迟
随着导航技术的快速发展,其应用范围也越来越广泛,不管是在民用领域,还是在军事领域都备受关注。其中惯性/视觉组合导航以其良好的互补性和自主性逐渐成为导航领域的重要发展方向之一。惯性导航利用惯性器件感知载体自身的运动信息,不需要引入外界信息,自主性高,但是解算误差会随时间积累。大量的生物学实验表明,蜜蜂和蚂蚁等昆虫能够利用视觉信息来执行精确的导航任务。当昆虫在环境中运动时,视网膜上的图像运动会产生光流
加速度计是与MEMS技术结合最为成熟、分类最广泛的传感器之一,MEMS加速度计主要有电容式、压阻式、压电式、隧道电流式、谐振式、热对流式等等。而最近几年随着TMR应用的研究兴起,新型TMR式加速度计开始进入MEMS加速度计的研究领域。这种新型的加速度计以TMR为信号转换结构,通过不同的方式产生磁场,并通过质量块调制磁场,从而将加速度信号转化为磁场信号,再转化为电信号,能够将TMR器件的高阻值变化率
学位
阵列信号处理技术在整个信号处理领域中至关重要,它在通信、雷达、地震勘测以及射电天文等多个领域中应用极广。阵列信号处理通过拥有特定形状的传感器阵列,对来自空域的信号进行接收和处理,从而获得信号的信源数、功率、到达角等多个参数信息,其最主要的研究方向包括波束赋形技术和信号到达角(Direction of Arrival,DOA)估计。然而,对于非圆信号来说,传统算法的性能被证明不是最优的,按照非圆信号
舰船在进行海上作业时处于复杂的海洋环境中,在海浪作用下被动地产生沿着半固定坐标系垂向轴的升沉运动。升沉运动的高精度测量在军用、民用领域有非常重要的意义。本文从满足舰船高精度升沉测量的实际需求出发,探索自适应能力强,实时性好,且易于实现的升沉运动测量方法,为工程应用提供备选方案。论文具体研究了如下问题:1.在海浪模型的基础上建立了升沉运动的基本数学模型。介绍了捷联惯导系统的工作原理,在此基础上分析了
全球卫星导航系统反射信号技术(GNSS-R,Global Navigation Satellite SystemReflection)是一种新型的遥感技术,具有无源探测、全天候、无需发射机、重量轻、低功耗、低成本等优势,在海面测高、海面风场反演等领域都有着广泛的应用。海洋重力场的精确测量是海洋测绘的主要内容之一,基于卫星反射信号数据反演海洋重力场是海洋遥感领域中新的研究方向。本文开展了基于GNSS