本文对基于反作用飞轮的卫星大角度姿态机动控制系统的非线性方法进行了研究和实验仿真。根据卫星大角度姿态机动控制非线性的特点以及对控制系统的要求,通过非线性理论设计了三种控制器:基于Lyapunov的反馈控制器、变结构控制器和自适应鲁棒控制器,并通过仿真验证了控制律的实效性。首先,用四元素方法代替欧拉角方法描述卫星运动学模型的思想,进一步引入了误差四元素描述卫星姿态运动学模型,同时对卫星姿态的转化关系进行了推导说明,为本文进一步的研究打下了模型的基础。然后,通过经典的Lyapunov方法设计了控制律,从理论上严格缜密的证明了控制系统的全局稳定性。在Matlab环境下对不同的参数值和考虑惯量不确定性方面进行仿真验证,最后得出控制律不依赖于参数值且具有良好的鲁棒特性的结论。其次,研究了基于变结构理论的控制律设计方法。在选择切换面时,选用二次型最优法,它保证了滑模运动在欧拉参数和角速度二次型性能指标方面最优。同时将滑动模态的稳定性进行了证明,设计了基于一般趋近律的滑模控制律并进行了鲁棒性分析;为了获取飞行器大角度机动控制问题更好的性能,在喷气控制辅助的条件下,进一步设计了以等效控制方法为基础的滑模控制律。最后对所设计的控制系统进行了仿真分析,从仿真结果看出,控制系统具有全局稳定性和较好的鲁棒性。等效控制方法设计的变结构控制有比基于趋近律方法设计的变结构有更好的性能。最后,设计了一种自适应鲁棒控制器,先是设计了控制律保证了系统运动的稳定性,然后再根据自适应反步设计法,以非线性阻尼算法作为航天器控制的未建模与干扰力矩的补偿。最后通过对卫星控制系统的仿真验证了所设计控制器的可行性。该控制器的优点在于既实现了卫星惯量参数的估计,又克服了外干扰力矩的不确定性的影响,设计思路简单,控制器易于实现。因此该控制器在实际应用中具有很大的工程价值,符合工程实际。