在近十年间,微型飞行器(Micro Air Vehicle,MAV)的技术和应用得到了快速发展。目前,MAV在军事侦查、灾难搜救、高危环境作业、安全监控等领域已有良好的应用。随着传感器技术、自动控制技术、通信技术、新材料和新能源技术的进步,MAV将更广泛地走进民用领域,特别是在空间狭窄、障碍较多的室内环境中,MAV体积小、集成度高、机动灵活等优点,将使其具有不可替代的应用优势。随着MAV在军事、民用和商业领域的应用范围越来越广,对MAV的智能化也提出了更高要求。特别是MAV的飞行定位、自主导航和路径规划等科学问题,是真正实现MAV应用实例的基础和关键,也是该领域极富挑战的研究热点。在飞行器的室内应用中,由于环境空间受限、卫星定位系统(Globe Positioning System,GPS)信号失效,定位和路径规划面临巨大挑战。另一方面,由于MAV尺寸小、重量轻、载荷有限,飞行器的续航能力问题也一直是制约MAV实际应用的主要瓶颈。因此,本文以微型飞行器的室内应用为研究背景,针对室内应用所面临的高精度、实时性需求以及飞行器的负载及能量动力有限、容易受到干扰等问题,研究基于多角度视觉传感器网络的高精度三维定位和基于能耗最优原则的路径规划技术,具有良好的科学意义,在工业、生活、社会保障、安全监控等领域也具有广泛的应用前景和现实意义。本文的主要工作和创新点如下:(1)提出了一种基于多角度三维视觉传感器网络的室内全景环境重建方法。不同于现有的大多数基于机载视觉的飞行器同步定位和地图构建(Simultaneous Localization and Mapping,SLAM)方法,布置在监控环境中的视觉传感器网络能够突破摄像机拍摄角度的限制,提高对环境的覆盖能力,提供更丰富、精准的环境信息;同时能够检测环境的实时变化,更好地适应于多变的动态环境。本文提出的方法采用多个微软Kinect三维视觉传感器从不同的角度采集彩色图像序列以及对应的深度图像序列,先通过单一视觉传感器实现对自身视角场景的三维重建,然后通过多角度场景配准方法,实现360°全景三维重建。本文提出的三维全景重建方法主要包括坐标建立和摄像头标定,图像采集与深度图像的修复,特征提取与匹配和多场景点云配准四个部分。坐标建立和摄像头标定:在了解摄像头的标定原理及Kinect彩色深度相机对的标定过程的基础上,首先建立了图像坐标系、成像平面坐标系、摄像头坐标系及世界坐标系四个参考坐标系,并推导出四个坐标系之间的转换关系;采用Kinect Calibration Toolbox标定软件完成摄像头对内部参数和外部参数的获取,获得Kinect相机的几何模型,求解出二维图像中的像素与三维世界空间中的点之间的映射矩阵。图像采集与深度图像的修复:在简要介绍了Kinect视觉传感器的物理构造及深度信息获取原理后,采用基于OpenNI框架的方法,通过Kienct获取彩色图像序列和深度图像序列;针对获取的原始深度图像中存在部分深度信息缺失的现象,提出一种基于背景深度图像和k邻域颜色匹配原则的空洞填充算法,先通过背景深度图模版对存在于背景和前景交界处的空洞进行初步填充,再利用深度信息的局部颜色聚集特性,对前景区域内少量空洞进行二次匹配填充;针对修复后的深度图像在修复区域引入噪声的问题,通过对比了中值滤波、高斯滤波以及联合双边滤波等常用滤波算法的特点和性能,提出了一种改进的联合双边滤波的方法,在实现滤除噪声的基础上,保证了深度图像边缘的清晰,并达到快速修复图像的目的。特征提取与匹配:通过与SUSAN、SIFT特征提取方法对比,采用计算速度更快、鲁棒性更好的SURF角点检测方法进行彩色图像特征关键点提取。在构建图像多尺度空间时,用近似的盒状滤波器代替高斯核与像素点亮度值进行卷积,对积分图像进行操作,卷积只和前一幅图像有关,提高了算法中Hessian矩阵的行列式的计算效率;采用基于kd-tree的邻近点聚类的方法进行特征归并,减少数据冗余,提高算法效率。多场景点云配准:多场景三维点云匹配的实质就是求解具有一定重合的不同角度三维点云数据之间的位置关系,这种位置变换关系可用3×3的旋转矩阵和3×1的平移矩阵来表示。本文采用RANSAC算法与ICP算法相结合的方式,首先利用RANSAC算法,根据inlier数据求解出合适的模型参数,基于该模型参数得到不适合该模型的异常点,即错误的特征匹配点,予以剔除,再将对应点对映射到三维点云数据中,得到可靠的初始变换矩阵,为后续多场景点云配准提供一个好的初始对应点集;在此基础上采用基于ICP算法的多场景点云精确配准方法,通过不断迭代计算点云数据间的偏移误差代价函数,使其最终更新至最小值,求解出不同角度点云之间的旋转和平移矩阵,完成点云之间的配准,能够大幅度提高三维场景重建的成功率和精度。为了验证本文所提出的三维全景环境重建方法,在室内空间中部署了一个具有视觉感知、数据处理以及通信功能的视觉传感器网络实验平台,主要由MAV四旋翼飞行器、多个Kinect视觉传感器、数据处理主机和用户交互界面构成。实验结果表明本文所提出的基于三维视觉传感器网络的室内全景环境重建方法能够实现多个场景之间的准确拼接,得到一个完整的、连续度较好的室内环境三维模型地图,为后续MAV的高精度室内定位和全局路径规划提供了基础。(2)提出了一种基于分布式估计算法与多视觉传感器数据融合的高精度全局一致性定位方法。在视觉传感器网络中,不同视角的传感器会出现视野重叠,提供了大量的冗余信息,这种设置可以使得目标定位具有更好的鲁棒性,但同时也由于传感器的硬件差异及定位算法的计算误差,即使在构建视觉传感器网络时对每个传感器都进行了全局标定,每个传感器得到的目标的三维定位并不会完全重合。因此,本文提出一种基于分布式估计算法和多视觉传感器的数据融合的定位方法,提高目标的定位的精度和全局一致性。本方法主要包括目标检测和多视觉传感器数据融合定位两个部分。目标检测:根据MAV四旋翼平台的尺寸和颜色特点,同时利用Kinect传感器输出的彩色图像与深度图像,提出一种前景图像分割与颜色识别相结合的目标检测方法。利用深度图像的阈值图像分割的方法得到前景目标区域;将RGB彩色图像转换到HSV色彩空间,根据MAV颜色特点,滤出目标颜色所在区域;针对图像分割后的目标模版不完整的问题,采用形态学滤波的方法,对分割后的目标模版进行先腐蚀再膨胀的操作,滤除目标模版内部噪声,得到目标完整轮廓;通过检测目标区域轮廓,计算目标区域的二维中心坐标,将彩色图像与深度图像进行对齐,得到该单一视角下的目标的局部三维定位坐标。多视觉传感器数据融合定位:在简要地介绍了卡尔曼一致性滤波(Kalman Consensus Filter,KCF)算法的特点和原理的基础上,采用基于KCF算法的多传感器数据融合方法,得到具有全局一致性的高精度定位。在本系统中,任何时刻都保证有一个以上的视觉传感器捕获到目标,这种冗余设计可以用于提高目标定位精度,并有效改善障碍物遮挡带来的目标丢失问题。首先应用图论对视觉传感器网络网络拓扑结构进行建模,定义视觉传感器节点之间连通关系;每一个捕获到MAV目标的视觉传感器进行局部最优定位估计;将各自视觉传感器的定位信息与相邻传感器进行信息交换并进行一致化处理,通过融合多个传感器的位置估计值,计算目标的卡尔曼一致性定位估计值和先验估计误差,更新滤波器的状态,生成一个更精确的具有一致性的全局三维定位信息。该方法能够减少不同视觉传感器局部估计值之间的差异,取得更优的全局估计效果,同时对于网络规模的变化有很好的鲁棒性。实际MAV飞行实验和软件仿真实验结果表明本文所提出的基于分布式估计算法与多视觉传感器数据融合的高精度全局一致性定位方法能够快速、准确地识别出目标位置。与单一视角的局部三维目标定位结果相比,基于多视觉传感器数据融合的定位在三个坐标轴方向上的位置估计精度均有大幅提高,连续的位置估计结果也更加平滑,更接近MAV真实的飞行路线。(3)针对特定的微型四旋翼飞行器平台,结合实际能耗测量结果,本文构建了一个合理、准确的能耗模型,用于描述飞行器能耗与特定飞行路线、飞行动作之间的关系。一般在路径规划时,通常只考虑路径是否无碰撞、是否符合运动学约束并且路径长度最短,但在MAV的实际飞行中,最短路径并不一定就是能耗最低的路径,因为MAV的能耗不但与飞行时长有关系,还与飞行器具体的飞行动作、飞行速度等因素有关。因此,本文在MAV能耗分析和实际测量的基础上,构建了一个合理、准确的微型四旋翼飞行器能耗模型,作为评价最优路径的标准。能耗模型的建立主要包括飞行器能耗分析、最优航速推算和飞行器能耗建模三个部分。飞行器能耗分析:针对本文中所采用的特定的微型四旋翼飞行器平台Crazyflie Nano Quadcopter,测量其在不同飞行状态下的微处理器模块、传感器模块、无线通信模块、电机驱动模块及其他模块的能耗占比,结合各模块的能耗计算公式,总结MAV各个模块的能耗特点。分析结果表明Crazyflie Nano Quadcopter的电机驱动的能耗占到总能耗的85%以上,应当首先对其进行优化以节约能耗。最优航速推算:根据微型四旋翼飞行器匀速直线飞行时的受力分析和动能定律,建立飞行器能耗与飞行速度之间的函数关系,计算飞行器能耗的偏导数,得到四旋翼飞行器的最优航速,即当四旋翼飞行器以这个速度匀速直线定高飞行时,飞行器用于电机驱动的动力能耗最小。在后续路径规划中,飞行器在每个路径关键点之间将以最优航速匀速飞行。飞行器能耗建模:在了解飞行器能耗特点的基础上,研究能耗与飞行器速度、加速度、具体的飞行动作之间的关系。考虑到MAV的飞行速度与飞行时间和能耗直接相关,MAV的上升、下降和转弯等动作往往伴随着加速和减速,因此,本文中所建立的能耗模型由路径长度、四旋翼上升/下降速率、飞行器转弯角三个因素组成,采用飞行器的三维路径在水平面上的投影长度作为路径长度的评价标准;将飞行器在单位时间内的垂直高度变化作为四旋翼上升/下降速率;采用飞行器三维路径的最小转弯角在水平面上的投影角的角度作为飞行器转弯角的评价标准;最终的功耗模型为三者的加权和,最优路径即为使该能耗模型最小的路径。该能耗模型将作为目标函数用于后续基于能耗最优原则的最优路径规划方法中,实现能耗最优化。(4)提出了一种基于能耗最优原则的全局路径规划策略,用二维高斯分布模型模拟飞行器的位置不确定性,利用启发式路径优化算法以微型四旋翼飞行器的能耗模型为目标函数进行优化。在实际飞行过程中,MAV容易受到各种气动干扰或出现方向随机的位置漂移而偏移原来规划好的路径,若依然强行严格按照事先规划好的路径运动,需要实时不间断地调整飞行器的位姿,其结果将导致实际飞行时间变长,飞行器用于无线通信、位姿调整及电机动力上的功耗变大。针对这一问题,本文提出了一种基于能耗最优原则的全局路径规划策略,利用二维高斯分布模型来模拟飞行器的位置不确定性,在通过视觉传感器网络重建得到的全景三维地图中,以能耗模型为目标函数对MAV路径进行全局优化,采用改进的启发式路径优化算法,规划出一条从任意起点到任意终点的能耗最小的最优路径。该方法主要包括三维空间抽象建模,坐标系建立,位置不确定性的模拟、改进的蚁群算法四个部分。三维空间抽象建模:采用栅格法对三维环境进行建模,将三维地图抽象成均分的网络单元格,单元格的顶点作为路径规划中的路径关键点,将整个规划空间离散化为一个三维点集,集合中的任意一个点对应着相应的三维坐标;对规划空间中的点进行可用性标记,在障碍物内部的点为不可用点,即不能作为搜索路径的关键点,在障碍物外部的点为可用点,可以作为搜索路径的关键点;MAV的三维路径可以用一个从起始点到目标点的三维坐标点的序列表示。坐标系建立:在了解六自由度微型四旋翼飞行器的机体结构、飞行原理的基础上,根据系统需要建立两个坐标系:位于机体质心的机体坐标系和地面惯性坐标系,并给出了用欧拉角表示的从机体坐标系到地面惯性坐标系的坐标转换矩阵;根据空气动力学知识以及牛顿欧拉定理推导出了六自由度四旋翼飞行器的全状态非线性动力学方程,并在忽略弹性形变、空气扰动等外部干扰的情况下对飞行器动力学系统进行了适当的简化;在实际飞行中,控制MAV在飞行过程中始终保持同一个朝向不发生旋转,即控制飞行器不发生偏航运动,降低飞行器的自由度,简化其动力学方程。位置不确定性的模拟:将MAV受到气动干扰或者随机漂移看成是随机事件,根据反复实验,对该事件进行统计学建模,由于飞行器运动是连续的,不会出现剧烈的偏离点,因此本文利用高斯统计模型来量化飞行器的随机偏移事件,提出一种用二维高斯分布函数来模拟飞行器位置不确定的方法。启发式路径优化算法:对传统蚁群算法进行改进,提出一种融合了二维高斯分布的启发式路径优化算法,在精度允许的范围内,以能耗模型为目标函数对非飞行器路径进行优化,计算能耗模型的最优解,即为路径关键点。本文从三个方面对蚁群算法进行改进:一方面不同于传统的蚁群算法,只能将规划空间栅格的顶点作为下一个路径关键点,改进后的蚁群算法可以选择以栅格顶点为圆心、以R为半径的圆周上的任意点作为下一个路径关键点,关键点的选择取决于圆周上的信息素浓度分布;另一方面在进行信息素浓度的全局更新时,信息素以一个对称的二维高斯分布的形式在留在圆周上,信息素浓度的幅值与目标函数的大小成反比;此外在蚁群算法的启发函数中加入上升/下降率、路径转弯角等因素使得蚁群算法趋向于选择能耗更小的路径关键点,同时使用之前建立的能耗模型作为算法优化的目标函数,计算得到能耗最小的路径最优解。改进后的蚁群算法能够模拟飞行器的位置不确定性,同时消除了算法在进行路径关键点路由选择上的限制,从而使得规划出的路径更加灵活、平滑。通过多组仿真对比实验验证了本文提出的基于能耗最优原则的路径规划策略的有效性,改进后的算法所规划的路径具有更低的能耗,最大上升/下降率有所下降,最小转弯角变大,路径更加平滑。此外,本文还通过实验探究并讨论了栅格划分的精细度对算法性能的影响。本论文针对微型飞行器的室内应用所面临的高精度、实时定位需求,结合视觉传感器网络和微型飞行器的优势,提出了一种基于视觉传感器网络的室内三维环境重建方法,通过构建多角度三维视觉传感器网络感知复杂环境信息,重建室内三维全景模型;利用多视觉传感器信息融合方法和图像处理算法实现了飞行器目标检测和高精度的三维全局一致性定位;针对特定的微型四旋翼飞行器平台,构建了一个合理、准确的能耗模型,并在此基础上提出了一种基于能耗最优原则的全局路径规划策略,用二维高斯分布模型模拟飞行器的位置不确定性,利用启发式路径优化算法以微型四旋翼飞行器的能耗模型为目标函数进行优化。此外,通过构建真实的视觉传感器网络系统平台,验证了本文所提出的方法的可行性和有效性。MAV飞行实验和仿真测试结果表明,本文所提出的方法能够有效提高微型飞行器室内应用的定位精度和鲁棒性,所规划的路径具有更低的能耗,也更加平滑。论文最后对所提出的方法和构建的系统中需要改进的地方进行了分析,并对未来研究方向进行了展望。