航天器在轨服务包括卫星燃料加注、在轨维修和故障部件更换、在轨组装、报废卫星离轨操作和空间碎片清除等。服务航天器在抓捕非合作目标后形成了一个新的空间组合体―组合航天器。由于非合作目标的重量、几何形状等信息无法预先准确知道,组合航天器姿态的稳定与控制首先要解决质量、质心和转动惯量未知不确定性带来的控制鲁棒性问题。本文从组合航天器动力学建模与分析入手,重点研究了转动惯量不确定性、角速度操作约束、控制饱和约束和外部干扰条件下的组合航天器姿态稳定控制问题。论文的主要研究工作和成果如下:建立了含转动惯量不确定性、角速度操作约束、控制饱和约束的组合航天器姿态控制动力学模型。以动量轮力矩控制为条件,将组合航天器抽象为由多个子体和航天器本体组成的多体系统,基于动量矩定理推导了组合航天器一般姿态动力学模型。对比分析了组合前后姿态动力学特性,得出航天器转动惯量不确定性和控制力矩输入干扰的产生机理。在一定的假设下对组合航天器姿态动力学方程进行了简化,并给出了多约束条件下组合航天器姿态控制问题描述。对含转动惯量不确定性、外部干扰和控制饱和约束的组合航天器姿态控制问题,提出了基于约束自适应反步法的姿态控制方法。该方法由反步法和命令滤波法组合而成,命令滤波器不仅可以实现状态和控制量的饱和约束要求,同时还能避免反步法对虚拟控制量的微分问题。为了抑制转动惯量不确定性和外部环境形成的复合干扰力矩,采用径向基神经网络对干扰项进行估计并进行补偿。仿真结果表明,对连续光滑姿态参考输入,约束自适应反步法在满足控制饱和约束条件下能够准确跟踪姿态控制输入。对角速度操作约束的姿态控制问题,提出了约束输入到状态稳定的内外级联式姿态控制方法。约束自适应反步法对突变参考输入会产生很大的姿态角速度,难以满足角速度操作约束要求;径向基神经网络自适应干扰估计也存在常值误差。级联式控制方案有利于消除姿态控制系统外环对内环的不利影响,降低姿态角速度幅值达到满足角速度约束的目的。采用扩张状态观测器对复合干扰进行估计,满足了常值干扰补偿的精度要求,通过观测器增益调整也能够显著减少时变干扰的补偿误差。扩张状态观测器和姿态控制的内外环是相互独立的,形成级联式控制、估计补偿结构,基于输入到状态稳定的理论证明了整个闭环系统是稳定的。仿真表明,该方法解决了约束自适应反步法控制中突变参考输入引起的角速度超限问题,能够同时兼顾对干扰的鲁棒性和精度要求。为了提高姿态控制系统对执行器带宽的鲁棒性,提出了约束双环姿态控制方法。不管是约束自适应反步法姿态控制还是约束输入到状态稳定姿态控制,当执行器带宽降低时会导致闭环系统出现振荡甚至无法稳定的问题,同时采用时变增益的扩张状态观测器的稳定条件比较严格。为了克服这些问题,基于约束自适应反步法提出约束双环姿态控制方法。由于控制器设计不需要递推,消除了控制回路环与环之间的相互耦合影响;对扩张状态观测器时变增益问题,采用浸入与不变性理论设计干扰估计器,能够实现对复合干扰项的准确估计,且结构简单,设计参数少。对比仿真验证结果表明,约束双环姿态控制方法不仅可以保证姿态控制过程中角速度和控制力矩约束,而且提高了系统对执行器带宽的鲁棒性。