本文研究了小型无人直升机的航迹规划，建立了基于滚动时域控制和混合整数线性规划（RHC-MILP）的航迹优化算法。这种算法特别适用于环境事先未知，需要在线逐渐探测的情形。本文利用数学规划建模语言AMPL以及采用高性能的商业优化求解软件CPLEX进行计算机仿真验证。仿真结果表明，对于一个复杂环境下的航迹规划问题，基于RHC-MILP的航迹优化算法能够实时求解出满足飞行器动态的最优航迹。本文从以下几个方面进行了研究。首先，本文研究了飞行器在城市环境中飞行的航迹规划。讨论了三维建筑物作为障碍物的障碍物回避。建立了基于RHC-MILP的航迹规划算法。通过引入逻辑变量和连续变量的混合形式的线性约束来描述障碍物回避约束，对飞行器的动态特性进行线性近似，以最小时间和其它性能指标作为代价函数，建立混合整数线性规划，并采用滚动时域控制策略求解，仿真结果显示此算法能够实时规划最优航迹。第二，本文研究了飞行器在山地环境中飞行的航迹规划。讨论了飞行器实现地形回避和地形跟随的方法。建立了基于RHC-MILP的航迹规划算法。本文提出一个新的方法—结合不规则三角网（TIN）和MILP描述地形回避。通过在代价函数中增加一项高度代价，选取适当的权因子，实现地形跟随。采用滚动时域控制策略，以及在地形回避约束中只考虑优化时间窗口范围内的局部地形，极大地减少求解时间。基于随机地形的仿真验证了算法的实时性和有效性。第三，本文研究了直升机三维机动飞行的航迹规划。把飞行器在悬停，前飞等飞行模态之间的切换和各机动动作建模为混合自动机，把航迹最优化问题看作一个序列决策过程。用连续决策变量实现各飞行模态的连续优化，模态选择、模态切换和机动动作的触发通过逻辑决策变量来实现。此决策问题可以采用基于混合整数线性规划的优化算法解决。最后本文研究了多飞行器的协调飞行航迹规划。建立了基于DRHC-MILP的航迹规划算法。采用分布式滚动时域控制策略，把多飞行器组成的飞行编队的航迹规划问题，分解成多个单一飞行器的航迹优化子问题。飞行编队中的每一个飞行器在线求解一个小规模的优化子问题而规划其自身的飞行轨迹，各单个飞行器作出的规划轨迹除了满足地形回避，还满足碰撞回避。各优化子问题通过分组可以并行计算。