随着航天技术的不断发展,航天器在轨服务技术逐渐向无人自主在轨服务这一方向发展,而航天器相对位置和姿态的耦合控制是实现在轨服务的关键技术基础。本文针对服务航天器对目标航天器进行近距离操作时的相对位姿耦合控制问题,研究了一体化的动力学建模方法以及相应的相对位置和姿态的耦合控制算法。论文的主要内容如下:研究了基于对偶四元数描述航天器运动的方法,说明了该描述方法对应的物理意义。基于对偶四元数这一数学理论工具,建立了基于对偶四元数的航天器相对位姿耦合动力学模型。针对一些控制理论在推导时普遍采用矩阵运算形式的情况,通过取对偶四元数矢量部分为系统状态,建立了矩阵乘法表示的系统方程。采用此系统方程,基于非线性系统理论中的反步设计法和模型参考自适应控制理论设计了自适应Backstepping控制器。为了与其进行对比,采用基于对偶四元数建模所得到的系统方程设计了包含可建模摄动力、干扰力矩和非线性耦合项前馈的位姿一体化PD控制器。通过理论分析说明了自适应Backstepping控制器对质量特性偏差具有较强鲁棒性,并通过仿真进行了验证。采用变结构控制的思想,设计了基于对偶四元数的滑模变结构控制器,并将其与模型参考自适应控制相结合设计了自适应滑模变结构控制器。分析了以上两种控制器的稳定性。并在理论上说明了自适应滑模变结构控制器能更好地补偿干扰项,从而对转动惯量不确定性较大的情况具有更强的鲁棒性。通过数学仿真,验证了两种控制器的有效性,并说明了自适应滑模变结构控制器鲁棒性更强。