物理层安全是实现无线通信安全的一个关键技术,也可用于实现无人机（unmanned aerial vehicle,UAV）通信的信息传输安全。以无人机为空中移动基站,可以实现远距离通信更稳定的信息安全传输,同时也可以提高无线通信系统的通信质量和覆盖范围。然而无人机基站在和地面合法接收者通信时,由于无线通信具有广播开放的特性使得通信质量提高的同时也提升了窃听者接收到信息的强度,增加了通信过程中的安全隐患。相对于传统的信息加密技术,物理层安全技术利用无线通信自身信道等物理特征,提供了一种实现安全通信的技术方案。已有的研究对无人机飞行轨迹的优化一般采用离线的方法,因而得到的轨迹是固定的,导致了保密传输缺乏应对通信环境变化的能力,也限制了系统的通信性能。针对该问题,本文基于强化学习提出了无人机基站通信系统的飞行轨迹在线优化策略,使无人机基站可以根据环境变化重新规划飞行轨迹,实现无人机基站传输机密信息的安全性。本文根据不同系统模型所需要的无人机基站数目的不同,分别研究单无人机基站通信和多无人机基站通信两种情况。1.对单无人机基站通信系统的无人机飞行轨迹的优化研究。在该系统中,无人机基站在地面存在窃听者的情况下向合法接收者发送机密信息,通过对无人机飞行轨迹的在线优化使得机密信息能够被安全传输,实现无人机飞行过程中通信平均保密率最大化。具体而言,无人机以飞行区域中所在位置的瞬时保密率为引导选择不同飞行方向的动作,最终收敛为最优轨迹以达到平均保密率最大的优化目标。无人机起飞前,由于通信环境对其而言是未知的、不可预料的,所以无法像离线算法一样直接求解最优飞行轨迹。为了解决这个问题,本文采用了强化学习中的时序差分算法,通过无人机与通信环境自主交互从而达到对环境的“探索”和“利用”,最终探寻出一条最优飞行轨迹。仿真结果表明,相比于基准算法,本文提出的算法能够有效提升通信过程中无人机的平均保密率,实现无线通信系统的安全。2.对多无人机基站通信系统的无人机飞行轨迹和功率的优化研究。在通信范围较大和地面接收者较多的情况下,上述第一种方案不满足对通信质量的要求。因此,本文采用强化学习的Q-learning算法对多无人机的飞行轨迹和传输功率进行联合优化,从而实现最大化多无人机基站在飞行过程中平均保密率之和的优化目标。通信环境对无人机而言是未知的,上述算法使无人机可与环境自主交互,最终可以得到优化的飞行轨迹以实现无线系统的通信安全可靠性。根据仿真结果可知,相比于基准算法,文中提出的联合优化算法可行且更加有效。