论文部分内容阅读
随着移动互联网的飞速发展,无线通信网络中的接入设备越来越多,移动用户对数据业务的需求也日益增长。相应地,无线频谱资源的紧缺已经成为了当前通信系统发展亟待解决的一大问题。如何利用有限的无线频谱资源为急剧增长的移动用户提供高速可靠的服务是当下移动通信领域研究的重要方向。近年来,随着4G(4th Generation)网络的大面积商用和5G(5th Generation)技术的深入研究,许多新兴技术被提出并应用到无线通信系统中,如大规模多输入多输出(Massive Multiple Input Multiple Output,MIMO)天线、极化码(Polar Code)、稀疏码分多址接入(Sparse Code Multiple Access,SCMA)、设备与设备(Device-to-Device,D2D)通信技术等。在这些技术中,D2D通信在长期演进(Long Term Evolution,LTE)Release 12中引入,通过两个移动设备间的直接通信,可以有效地提升蜂窝通信系统的频谱利用率,减轻基站的负荷,增大系统容量,延长移动设备使用寿命。然而,由于D2D通信用户通常会复用蜂窝用户的频谱资源,包括上行链路和下行链路的频谱资源,这会导致D2D用户和蜂窝用户之间产生不可避免的干扰。因此,如何减小D2D通信中产生的干扰成为了D2D通信研究中的一个热点问题。与此同时,大数据(Big Data)、机器学习(Machine Learning,ML)和人工智能(Artificial Intelligent,AI)技术在近几年的发展,为计算机领域的各种实际应用问题带来了突破性的进展,包括图像处理(Image Processing)、语音识别(Speech Recognition)、自然语言处理(Natural Language Processing,NLP)等。由于机器学习方法侧重于学习数据中的相互关联,具有降低系统复杂性、不受限于原有模块化结构、可以借助已有的专业芯片来提高运算性能等优点,越来越多的机器学习方法被应用到无线通信领域中,如频谱分配、信道编码与解码等。目前,对于D2D通信共享蜂窝用户频谱资源所带来的干扰,主要有三种解决方案,即频谱资源分配、功率控制和模式选择。本论文主要研究蜂窝网络中D2D通信的频谱分配和功率控制问题,并且提出了基于机器学习算法的频谱分配与功率分配算法。论文首先针对D2D通信中的功率控制问题,研究并提出了两种基于Q学习(Q Learning)的功率控制算法,即基于集中式Q学习的功率控制(Centralized Q Learning based Power Control,CQLPC)算法和基于分布式Q学习的功率控制(Distributed Q Learning based Power Control,DQLPC)算法。这两种算法通过让每个D2D用户迭代地选择发射功率并更新系统吞吐量的方式,使算法收敛到最优的发射功率,其中CQLPC中多个D2D用户对共同学习,同时选择自身的发射功率,而DQLPC中每个D2D用户相互独立,分别选择自身的发射功率。仿真结果表明,在使用相同奖励函数的情况下,CQLPC和DQLPC可以收敛相同的最优值。与传统的功率控制算法相比,CQLPC和DQLPC算法可以获得更高的系统吞吐量。然后,论文针对D2D通信中的频谱分配和功率控制问题,在研究CQLPC和DQLPC算法的基础上,研究并提出了一种基于Q学习的联合频谱分配与功率控制算法(Q Learning based joint Spectrum Allocation and Power Control,QLSA-PC)算法,综合考虑D2D频谱资源块(Resource Block,RB)的分配和发射功率的选择。QLSA-PC算法采用分布式Q学习的建模方式,将每个D2D用户视为一个独立的智能体,通过在Q学习的过程中选择RB和功率来寻找最优RB和发射功率。仿真实验表明,联合频谱分配与功率控制比单一的频谱分配或功率控制具有更好的性能,且与传统的频谱分配与功率控制算法相比,QLSA-PC可以获得更高的系统吞吐量和蜂窝用户满意度。最后,针对Q学习算法对每一个系统场景都需要重新学习、计算代价较高的问题,论文提出了一种基于深度神经网络(Deep Neural Network,DNN)的频谱分配与功率控制算法。该算法首先将前两部分中Q学习得到的结果作为训练数据,通过特征工程(Feature Engineering)将小区内蜂窝用户和D2D用户的相对位置关系处理为可以训练的数值特征,作为输入,并将D2D用户的最优RB和发射功率作为标签(Label)。然后采用神经网络作为训练模型,设计激活函数、损失函数等参数,并使用处理后的输入和标签训练神经网络。最后使用训练好的神经网络来预测未知D2D用户的最优RB和发射功率。实验结果表明,基于深度神经网络的频谱分配与功率控制算法可以逼近Q学习算法的性能。与此同时,采用神经网络模型只需一次训练,与采用Q学习算法相比,能够大大节省处理时间与计算资源。