航天器编队在完成诸如在轨服务,空间观测等快速响应复杂任务时,需要进一步研究更先进的控制方法来获得预期的控制性能,保证任务的高质量完成。同时随着航天事业的高速发展,在轨服务的卫星数量逐渐增加,航天器编队轨道控制中的飞行安全问题日益突出。基于以上背景,本论文针对运载火箭到达预定轨道并释放多颗微纳卫星后的构型初始化和构型保持两个阶段,考虑微纳卫星编队轨道控制性能的提升,燃料消耗等性能指标优化,防碰撞制导以及快速机动响应等背景需求,主要研究内容如下:针对滑模抖振影响控制精度和控制器性能的问题,本文对比标准的SuperTwisting(ST),引入线性补偿项得到改进的Super-Twisting(AST)二阶滑模控制器,提高控制器动态性能。进一步考虑到微纳卫星燃料优化问题,提出了将逆最优控制与二阶滑模控制相结合的逆最优二阶滑模控制器,优化控制过程中的燃料消耗指标。基于自适应控制理论设计了新的二阶终端滑模控制器(SOTSMC)解决微纳卫星系统存在不确定性时的控制问题。然后将人工势函数制导与自适应二阶终端滑模控制相结合,设计控制器使编队在实现目标追踪、构型初始化和构型重构等任务的同时具有障碍规避的能力。结合预设性能方法分别给出了基于齐次理论的鲁棒自适应二阶滑模控制器(SOSMC)和基于反步法(Backstepping)的鲁棒控制器,使航天器编队中的相对轨道动力学系统的跟踪误差具有期望的动态性能和稳态精度。本文进一步综合考虑位置跟踪误差和速度跟踪误差两个状态量,采用二阶滑模方法实现全状态预设性能约束控制。最后利用三轴台进行实物试验,验证并分析以上所设计的部分控制器性能。结合数值仿真对比分析得知,AST控制器和基于反步法的鲁棒预设性能控制器具有较好的工程实用性和可靠性,传统一阶滑模可以实现避障导航。而其余两个自适应二阶滑模控制器由于硬件条件限制,以及控制器中自适应环节,积分环节带来的控制量误差积累等问题,实际应用到工程中还需进一步改善。