三自由度直升机系统是非线性、强耦合、多变量和自然不稳定的系统，在控制过程中能有效的反映许多控制中的关键问题，例如可镇定性、鲁棒性、随动性以及跟踪等，此系统是检验各种控制理论的理想模型。本文以三自由度直升机模型作为研究对象进行控制算法及理论的研究。首先对直升机系统以数学建模的方式分析了其动力系统原理，然后根据各个自由度运动特性进行系统近似数学建模，并选取适当的状态变量推导出系统的状态方程。针对被控对象难以获得精确数学、强耦合的特点，主要提出以下控制方法进行研究。模糊神经网络控制，其是将模糊和神经网络结合提出的一种智能控制算法。模糊神经网络汲取模糊控制和神经网络优点，具有强大的自学习和自整定功能，且有很强的辨识能力和跟踪控制能力。本文采用粒子群算法来优化模糊神经网络实现参数的快速、全局寻优。最后又提出一种新颖的变结构模糊神经网络用于逆系统控制中。针对三自由度直升机系统的强耦合性提出逆系统控制方法，其可实现对一般非线性系统的线性化解耦控制，且控制结构简单，易于工程实现。它的基本思想是对于给定的系统，首先用动态神经网络构造原系统的逆系统，将对象反馈补偿成为具有线性传递关系的且已解耦的一种规范化系统，即伪线性系统，再设计线性闭环控制器获得高性能控制。但采用逆系统方法因严格求其解析逆是很困难的，甚至是不可能的，使得基于微分几何理论的逆系统控制方法真正用于实际还有一定的距离。为此将模糊神经网络的非线性逼近能力与逆系统方法结合，应用模糊神经网络来构造逆系统，则可以避免解析逆系统存在求逆的困难，使其成为可能。由于直升机系统本身具有的复杂性和实时性的高要求，为了实现控制要求和检验控制算法在实时运行中控制的效果需要付出庞大的开发量。基于MATLAB的硬件在回路中仿真技术是实现现阶段满足这一需要的合理方法。ATLAB RTW（Real Time Work-shop）技术能够直接将Simulk生成的仿真模型下载到目标实时内核中运行，驱动外部硬件设备，在线调整参数，能够较容易的对提出的控制算法进行验证。最后编写S函数，在MATLAB RTW控制平台下进行实时控制仿真研究，实验结果表明控制算法的可行性，控制效果良好。最后用VC++编写控制，实现基本的控制。