空中管制的智能化发展使得对智能飞行控制提出了更高的要求。目前为解决终端空域繁忙、结构复杂等问题,智能空管系统一般使用移动时隙对飞机进行调度。这意味着当飞机进入终端区域接收到加入时隙命令时,飞机应具备自主寻找路径加入时隙的能力。然而在空域结构较为复杂的终端区域内,传统的飞行控制方法依赖于已有的航程数据、精确的数学模型,当飞机的连续运动发生突变时,不能达到飞行目的,给时隙的调整和加入造成困难。在这种情况下基于机器学习的智能飞行控制成为了研究热点。强化学习是在智能飞行领域内应用较广泛的一种机器学习算法,它的发展给智能飞行技术带来了新的研究思路。基于此,论文尝试使用强化学习对终端区域内飞机自主加入移动时隙问题进行探索和实现,将这一飞行过程建模为马尔可夫决策过程,使其可以运用强化学习进行求解。该项研究可应用于终端区时隙优化分配和智能化排序上,具有一定的学术价值和实际意义。论文首先对终端区域进行研究和分析,主要包括飞机着陆的具体过程及终端区域内飞行排序的基本原则与限制条件。在此基础上研究了终端区域内时隙的产生、更新以及建模。然后对飞机的飞行动力学仿真模块进行研究,使飞机所产生的数据尽可能与实际飞行接近,提高实验的准确性。之后,在强化学习的理论基础上,对飞机加入终端区域时隙的过程以及模型进行了分析,整个过程符合马尔可夫决策。由于考虑到飞机动作和环境的变化是连续的,因此采用了稳定性较好的近端策略优化算法（Proximal Policy Optimization,PPO）对飞机进行训练。接着对算法的设计思路、强化学习模型的构建、模型的学习、飞行训练约束的构建以及奖励函数的设定进行了具体的说明。最后通过空中交通仿真系统进行实验和验证。将该算法与其他算法结果进行比较,发现该算法在收敛速度和稳定性上面优于其它算法。