近年来,旋翼无人机凭借灵活的机动性,能够实现垂直起降、定点悬停等功能成为当前无人机领域的一大研究方向。无论在军用还是民用领域,当旋翼无人机执行任务时,都要求无人机具备较好的定位能力。为便于在室内环境下验证自主定位的方法,一般选用体积较小,运动更为灵活的四旋翼无人机作为验证载体。同时,无人机系统一般难以建立精确的动力学模型,且系统具有非线性、强动态耦合、静不稳定性的特点。为保证无人机飞行的安全稳定性,又对无人机的飞行控制能力提出了很高的要求,而目前对于四旋翼无人机的控制问题研究已较为成熟,而对结构复杂的单旋翼无人机的控制问题研究较少。因此,本论文主要研究基于激光雷达定位的四旋翼无人机系统以及基于强化学习的单旋翼无人机非线性控制。具体内容可分为:1)针对旋翼无人机飞行姿态变化容易导致二维激光同时定位与建图（Simultaneous Localization and Mapping,SLAM）不准,以及传统激光SLAM算法匹配耗时长的问题,本文提出了一种基于图优化理论的激光SLAM算法。首先结合激光数据与IMU数据,通过最小二乘优化算法以及一个运动滤波器来进行位姿估计与局部子地图构建的优化。同时在闭环后端优化中引入分支定界法,加快了搜索最优解的效率,最后通过实验验证了定位算法的精度和实时性。2)基于上述算法,搭建了一套基于激光雷达定位的四旋翼无人机系统实验平台,该系统可以实现旋翼无人机的室内与走廊环境下悬停飞行、轨迹跟踪以及半自主飞行控制,并能够通过Wi Fi通信,在地面站软件系统中实时监测无人机地图构建情况。实验结果表明,室内和走廊环境下无人机的飞行控制精度达到0.1m,且地图构建效果较好,无明显重影与偏移现象。3)针对单旋翼无人机精确动力学模型难以获取以及其姿态控制易受未知外界风扰影响的问题,本文设计了一种基于强化学习与Super Twisting控制方法相结合的非线性控制算法。利用无人机在线飞行数据,训练执行-评价（Actor-Critic,AC）网络以逼近系统建模不确定部分。为了抑制未知外界风扰,提高系统鲁棒性,同时补偿AC网络逼近误差,设计基于Super Twisting控制方法的鲁棒控制算法。然后,利用基于Lyapunov法的稳定性分析方法,证明了单旋翼无人机姿态误差能在有限时间内收敛到零。最后对该算法进行实时实验验证了所设计算法具有良好的控制效果,并对系统不确定性和外界扰动具有良好的鲁棒性。