目前，已有不少科研机构以小型无人直升机为平台，开展视觉伺服以及飞行控制技术的研究。本文针对小型无人直升机的特点，完成对平台系统总体设计、建模、视觉定位以及鲁棒控制器设计等研究工作。论文主要工作如下：首先，给出了小型无人直升机系统总体结构，其包括飞行控制系统、地面控制站以及视觉定位系统，以及系统各硬件设备的型号、性能以及配置方法。制定了系统工作状态的描述方法，针对可能存在的系统故障提出了检测方法以及应对措施，并定义了空地通信协议。其次，利用机理分析法对直升机机体、旋翼、平衡杆、电机等各部件进行受力分析，建立了直升机的非线性模型，利用小扰动理论将其线性化得到带未知参数的状态空间模型。在对黑箱系统未知参数辨识过程中进一步将状态空间模型化简为四通道结构，减少未知参数个数。同时以子空间法辨识结果作为迭代初值，运用最小二乘法得到四通道模型，通过合并四通道并辨识剩余未知系统参数得到完整的模型参数辨识结果。随后，针对全球定位系统（GPS）在室内环境难以精确定位问题，设计了基于光学图像的定位系统。为了提高定位精度，首先对摄像头进行标定，并进行畸变校正。利用OpenCV实现图像的特征提取与特征匹配。根据相邻两帧图像的特征点对，求出相邻两帧图像的仿射变换，并综合利用卡尔曼滤波方法融合传感器数据，求解出直升机的三维空间位置以及运动状态。最后，通过对多组数据进行参数辨识的方法得到系统的摄动边界，并对传感器数据进行傅里叶变换，确定出系统的工作频段与噪声频段。在此基础上，以抑制高频噪声以及消除中低频跟踪误差为目标，利用方法为小型无人直升机设计了控制器。为了使控制器更具实用性，对控制器进行降阶，并利用相似变换将其标准化处理，大幅度减少运算量。为了验证其稳定性以及控制效果，对闭环系统进行频域分析以及时域仿真，结果表明控制效果达到要求。