无人机(Unmanned Aerial Vehicle,UAV)是由使用者远距离操控或嵌入式系统操纵驾驶的飞机。无人机因为其体积小,灵活性高,部署方便等特点被广泛的应用。无人机在无线通信领域的应用主要被分为两类:一方面,无人机被认为是接入蜂窝网络进行通信的新型空中用户。另一方面,无人机被用作新的空中通信平台,如基站和中继等,通过提供数据访问来协助地面无线通信。随着无人机制造成本的不断降低和通信设备的小型化,在无人机上安装小型基站或中继设备使飞行的空中平台能够辅助地面无线通信变得可行。这些基站适合安装在具有中等有效载荷的无人机上。与传统的地面通信基站相比,无人机作为基站提供通信服务有很多优势,比如更好的信道条件,更灵活的部署方式等等。无人机基站的轨迹优化是无人机通信系统中的一个重要问题,因为无人机的位置直接影响信道环境以及与地面用户的相对距离。在实际情况中,无人机在部署时很难精确地知道移动用户的确切位置。此外,由于无人机所能携带的能量有限,无人机通信系统的表现通常大打折扣。因此,本文在没有地面用户准确位置信息的情况下对无人机基站的轨迹优化问题进行研究分析,并在此基础上提出并解决基于能量效率最大化的无人机基站轨迹优化问题。本文首先研究了无人机通信系统并对无人机基站的轨迹优化问题进行建模。在研究了强化学习相关算法后,本文基于栅格法和Q-learning算法解决了在没有用户准确位置信息的情况下的无人机轨迹优化问题。在此基础上,我们提出了基于能量效率最大化的无人机基站轨迹优化问题。由于Q-learning算法的局限性,本文使用深度强化学习算法对该问题进行求解。仿真结果表明本文所提出的无人机轨迹优化算法能提高机载能源能量的利用效率。