无人机以其成本低、部署灵活的特性,已成为当前无线网络的关键组成部分。而如何对其进行轨迹规划,来提高无人机通信系统的性能,是无人机提供通信服务所面临的重要问题。目前已有大量工作研究无人机在不同通信场景的轨迹规划问题,而现有工作主要面临着以下挑战:1)大多工作采用传统基于优化理论的方法,该方法在充分掌握通信系统参数的基础上进行建模求解,但实际应用中,用户位置、信道参数等用户侧信息可能难以获得或者无法被准确测量;2)部分工作采用基于强化学习的方法,但所求解轨迹大多是建立在离散动作空间上较为粗糙的轨迹;3)由于多无人机会带来碰撞、训练环境不稳定等问题,并且需要考虑多个无人机之间协作的问题,现有的研究难以直接扩展到多无人机辅助通信场景。针对以上挑战,本文提出了基于深度强化学习的多无人机连续动作空间的轨迹规划策略,考虑不同场景,研究了在用户侧信息未知的条件下多无人机轨迹规划问题。主要包括:1)首先考虑简单的上行传输场景,研究最大化传输任务完成率的连续动作空间的轨迹规划问题,提出了多智能体双延迟确定性策略梯度（MA-TD3）算法,采用集中训练,分布执行的思想,对多无人机连续轨迹进行规划。仿真结果表明该算法能够有效地在未知用户侧信息的情况下进行合理的轨迹规划,并与现有工作所采用的连续轨迹规划策略对比,验证了所提算法在多无人机场景有着更优的性能;2)其次由于实际通信场景通常对时效性有较高要求,进一步考虑最小化信息年龄的轨迹规划问题,研究了多无人机协同轨迹规划策略（CO-MUTD）,提出了分布式传输协议,并联合优化轨迹和无人机-地面节点连接策略,将混合策略的联合优化问题转化为连续动作空间问题,并利用强化学习方法求解。仿真验证了其可行性和有效性。