本文以火星探测为背景，研究了基于不变流形的小推力地-火轨道转移的优化设计问题。首先将轨道转移分为地球停泊轨道到日-地Halo轨道转移和日-地Halo轨道到日-火Halo轨道转移两个阶段。然后主要从轨道转移过程中流形入口和出口的选择、小推力轨道转移的快速设计方法以及轨道的进一步精确优化等方面进行了研究，具体内容包括：针对小推力轨道优化模型非线性强，传统优化算法收敛存在困难的特点，提出了逆多项式形状算法结合遗传算法的小推力轨道转移快速设计方法，可作为进一步精确优化的初始值选择方法。首先基于不变流形理论，给出了轨道转移中流形入口和出口的选择方法，然后采用逆多项式形状算法简化小推力轨道优化模型，最后采用遗传算法对相关轨道设计参数进行寻优。将该方法应用于本文的轨道设计任务，实现了大范围的快速轨道搜索。针对形状算法考虑的模型不够精确，提出了基于直接配点法的小推力轨道转移非线性规划方法,以提高轨道设计优化精度。首先采用直接配点法将最优轨道转移问题离散化为非线性规划问题，然后给出了采用形状算法的优化结果计算非线性规划初始值的具体计算方法。最后采用该方法对本文的轨道任务进行了进一步的精确优化，并将优化结果与逆多项式形状算法的设计结果进行了比较，结果表明：直接配点法能够得到比形状法更优的性能指标，且直接配点法得到的非线性规划问题，采用形状算法提供的初始值具有初始约束误差小，收敛速度快的特点。针对配点法对初始状态敏感的优化问题收敛速度较慢，提出了基于Gauss伪谱法的最优小推力轨道转移优化方法。将最优轨道转移问题在一系列Gauss点处离散化为非线性规划问题，并将优化结果与直接配点法进行比较得出：对初状态敏感的最优控制问题，Gauss伪谱法较直接配点法具有更快的收敛速度，对初状态不敏感的最优控制问题，直接配点法较Gauss伪谱法收敛速度快。此外Gauss伪谱法所得到的控制量更加平滑。