论文部分内容阅读
随着5G技术的飞速发展和全球汽车持有量的快速增加，将超可靠低延迟通信服务(Ultra-Reliable Low-Latency Communication Services,URLLC)系统与车联网系统(Vehicle to Everything,V2X)联合已经逐渐成为世界各国解决现代交通问题的有力手段。车联网系统是时间敏感型系统，具有网络规模庞大且拓扑结构瞬息万变的特点，易受复杂多变的外界环境的影响。一方面，车辆环境中信道条件的快速变化给资源分配带来了很大的不确定性；另一方面，如何保证车联网中信息传输的时效性也成为难题。
本文针对车联网中超可靠低延迟、实时信息收发的需求，对车联网系统频谱资源的合理分配问题和信息年龄(Age of Information,AoI)优化问题展开研究。为了解决车联网中的频谱分配问题，提出了使用强化学习的车联网频谱分配分析方法。首先建立了一个基于蜂窝的车辆通信网络，并在此基础上建立了系统的频谱资源分配问题的数学模型。利用多智能体强化学习工具对该问题进行求解。最后，通过仿真计算验证基于多智能体强化学习的车辆网络资源共享方案的可行性。结果表明，基于多智能体强化学习的方法可以协调车辆网络中具有良好信道条件的部分V2V链路，为信道条件较差的链路提供支持，显著提高了V2V有效载荷传输的成功概率。
随后为了解决车联网中传输信息的时效性问题，提出了基于强化学习的车联网AoI优化算法。基于车载传感设备和路边单元控制器建立了通信系统模型，在该模型下提出了一个带有整数(非凸)约束的随机优化问题，即考虑了AoI超过阈值概率的整体AoI最小化问题。采用A3C(AsynchronousAdvantage Actor-Critic)强化学习算法来从实际观测中找出调度策略，提出了基于强化学习的信息年龄优化算法。最后在研究了基于A3C网络的信息年龄算法后，选用最早截止日期优先策略(the Earliest deadline First,EDF)和最优平稳随机化策略(Optimal Stationary Randomized Policy,OSRP)两种算法作为基线，对其进行了相应的仿真验证和比较分析。结果表明，在设定AoI阈值在小于70ms时基于A3C算法可以在最小化每个用户的平均AoI时实现最小化阈值冲突。
本文的研究能够优化车联网系统中频谱资源的分配，提高通信过程中的信息新鲜度，保证了信息的时效性，对超可靠低延迟的车联网系统的稳定运行具有重要意义。
本文针对车联网中超可靠低延迟、实时信息收发的需求，对车联网系统频谱资源的合理分配问题和信息年龄(Age of Information,AoI)优化问题展开研究。为了解决车联网中的频谱分配问题，提出了使用强化学习的车联网频谱分配分析方法。首先建立了一个基于蜂窝的车辆通信网络，并在此基础上建立了系统的频谱资源分配问题的数学模型。利用多智能体强化学习工具对该问题进行求解。最后，通过仿真计算验证基于多智能体强化学习的车辆网络资源共享方案的可行性。结果表明，基于多智能体强化学习的方法可以协调车辆网络中具有良好信道条件的部分V2V链路，为信道条件较差的链路提供支持，显著提高了V2V有效载荷传输的成功概率。
随后为了解决车联网中传输信息的时效性问题，提出了基于强化学习的车联网AoI优化算法。基于车载传感设备和路边单元控制器建立了通信系统模型，在该模型下提出了一个带有整数(非凸)约束的随机优化问题，即考虑了AoI超过阈值概率的整体AoI最小化问题。采用A3C(AsynchronousAdvantage Actor-Critic)强化学习算法来从实际观测中找出调度策略，提出了基于强化学习的信息年龄优化算法。最后在研究了基于A3C网络的信息年龄算法后，选用最早截止日期优先策略(the Earliest deadline First,EDF)和最优平稳随机化策略(Optimal Stationary Randomized Policy,OSRP)两种算法作为基线，对其进行了相应的仿真验证和比较分析。结果表明，在设定AoI阈值在小于70ms时基于A3C算法可以在最小化每个用户的平均AoI时实现最小化阈值冲突。
本文的研究能够优化车联网系统中频谱资源的分配，提高通信过程中的信息新鲜度，保证了信息的时效性，对超可靠低延迟的车联网系统的稳定运行具有重要意义。