近年来,小型无人直升机以其机动性高,灵活性强的优势,在民用和军事领域得到了广泛的应用,但是小型无人直升机的结构复杂,具有强非线性和耦合性且开环不稳定,同时它容易受到不确定因素的影响,导致机身产生振荡。课题组基于小型无人直升机的数学模型分析了其动力学特性,发现直升机在配重失当的情况下,角速度会产生混沌振荡,在实际中会导致机体发生剧烈抖动,最终失控坠机。本文主要研究小型无人直升机的控制,尤其是系统产生混沌振荡状态的控制问题。通过对系统方程的合理简化,构建了直升机悬停和低速飞行时的数学模型,并分析了直升机的动力学特性,得到直升机的角速度混沌振荡状态会导致机体极度不稳定,因此本文分别设计滑模变结构控制器(SMC)和高阶微分反馈控制器(HODFC)对直升机的角速度混沌振荡进行控制。本文采用滑模变结构控制策略,逐步设计了小型无人直升机各个子系统的滑模控制律,实现了直升机位置和姿态的跟踪控制。对角速度能够产生混沌状态的直升机进行控制研究,得到以下结论:对尚未出现角速度混沌状态的系统,加载控制器可有效镇定混沌振荡的发生;对已出现角速度混沌状态的系统,加载控制器无法镇定混沌振荡,通过加载重新设计的角速度控制器,呈现混沌状态的角速度逐渐稳定。滑模控制依赖准确的数学模型,控制角速度混沌状态趋于稳定时存在一定的稳态误差。采用不依赖精确数学模型的高阶微分控制策略,该方法较好地解决了滑模控制的缺点。同样地,逐步设计了直升机各个子系统的控制器,实现了直升机位置和姿态的跟踪控制。通过与滑模控制进行对比分析,说明了高阶微分反馈控制对机身结构变化有更强的适应能力,对外界干扰有更强的鲁棒性。通过控制能够产生角速度混沌状态的直升机,得到了与滑模控制相似的结论。直升机已出现角速度混沌时,加载重新设计的角速度控制器,角速度逐渐稳定且消除了稳态误差。搭建了小型无人直升机的实验平台和电子系统,利用实验平台完成了手动飞行测试,运用无人四旋翼飞行器实现了高阶微分控制器的飞行控制实验,验证了高阶微分控制器的强适应性和鲁棒性。