近年来,随着虚拟现实技术(VIRTUAL REALITY)的飞速发展,利用其先进技术研发的轻型模拟器替代传统大型飞行模拟器的实际需求显得非常迫切。虚拟现实飞行模拟器具有体积小、成本低,便于移动和拓展等优点,改变了以往大型飞行模拟器成本高、物理设备连接繁琐、体积大等劣势。南京航空航天大学飞行模拟与先进培训工程技术中心是国内较早利用虚拟现实技术研发轻型飞行模拟器的机构之一,成功研发了“轻型飞行模拟器原型系统---轻舟一号”,并提出增强半虚拟现实飞行座舱的概念。座舱内的视景采用1:1的真实设备计算机生成,座舱外的变换视景由三维建模软件计算生成并实时输入沉浸式头盔中。但是,该系统对操作者的视觉头盔定位采用电磁跟踪器等物理设备,具有一定的线缆约束,电磁也对舱内的其它设备造成干扰,影响人的沉浸感和使用效果。为此,本文主要研究“以人为中心”的视觉交互方案,利用颜色标记点和红外标识的视觉跟踪获取三维坐标替代电磁跟踪方案,能够满足正常光照和低照度环境下增强半虚拟现实飞行座舱中的视觉定位交互方案,实现一种全新的基于计算机视觉技术的飞行模拟器视觉跟踪定位系统。本文主要的研究内容:1、构建基于视觉跟踪定位技术的增强半虚拟现实飞行座舱技术方案。传统虚拟现实飞行模拟器中物理设备过多,对头部和手部的定位分别采用电磁跟踪器和数据手套等影响交互和谐性的物理设备,同时由于物理设备的束缚造成体验者不能享受到真实环境中的视觉、触觉、力觉等反馈信息。针对以上情况,提出一个基于视觉交互的头部跟踪定位系统,构建了一个采用计算机视觉方案的增强半虚拟现实飞行座舱技术方案,可明显降低软硬件的使用成本,能够更加广泛的推广。2、针对增强半虚拟现实飞行座舱物理介质可控等特点,采用颜色标记物作为跟踪点,提出了一种融合低维主题颜色空间的快速CSK跟踪算法。由于光照变化会对标记物颜色的稳定性产生显著影响,因此尝试多光照条件下,利用大量实验得出增强半虚拟现实飞行座舱内颜色标记的恒常规律,获得稳定的颜色标记。由于传统方法在时效方面的不足,引入快速CSK跟踪算法,针对该算法只是针对灰度图的特点,提出一种与低维主题颜色空间相结合的快速CSK跟踪算法。首先建立原始颜色域选取的图像到特征空间的映射关系,选取跟踪标志点最相近的主题颜色来替代原始观测颜色,实现时间效率上对颜色特征抽取的高效性,提升跟踪算法的鲁棒性。最后,对获得的目标位置进行多摄像机立体标定下三维空间坐标获取。3、针对环境光噪声干扰影响目标跟踪的稳定性问题,提出局部动态感知、忽略非受限区域补偿的环境光照感知策略,并结合正交摄像机头部位置三维注册方法实现空间定位。首先建立动态局部光照模型,探测环境光的变化阈值,结合先验知识和光源信息提出了一种能够实现局部精准检测忽略非受限区域的局部-整体联合环境光照感知方法。在人工进行光照干预模拟环境下,跟踪鲁棒性和准确率进一步提升。精准补偿结合实际场景的参数训练,提升了飞行员体验的流畅度与沉浸感,满足了系统的高可靠性要求。4、针对飞行员头部运动范围在不同的座舱环境中头部运动差异问题,提出了完全摄像机视野模式下的冗余摄像机正交定位方案。研究了座舱约束的飞行员头部运动范围,为了使运动范围完全纳入阵列摄像机的视野范围,建立了科学的头部运动范围仿真方案,解决由于模拟舱驾驶员的坐姿、身高不同带来的在进行各种飞行操作动作时头部标记点的初始坐标原点变化问题。构建了一套科学定量的头部运动范围实验方案,搭建以波音737座舱环境为约束参照的冗余摄像机正交定位方案,进一步完善了方案的可靠性和完整性。5、针对完全沉浸或增强半虚拟现实飞行座舱中光干扰条件下,基于颜色的方案无法完全满足定位需求时,设计一种适应低照度环境下的红外目标跟踪方案,提出了多特征提取的加权红外光和可见光融合跟踪算法。根据LED光源具有不受外界光源干扰的特点,设计了十字架红外光源外加辅助红外标志的跟踪方案。通过红外LED光源的几何分布特征实现不同身份顺序的稳定识别,同时结合光源方向和电路的控制找到最典型成像光斑。通过实验研究了多种质心提取算法,获得较为理想的目标中心点坐标,提出的多特征提取的加权红外光和可见光融合跟踪算法可以提高目标跟踪的准确性。本课题利用计算机视觉方案构建一个完整的增强半虚拟现实飞行座舱人机交互系统,对系统进行软硬件集成测试。从操作者的主观体验上,能够达到沉浸感、无约束等体验效果。从客观上讲,在时间效率和鲁棒性方面均能满足要求。利用计算机视觉的轻型飞行模拟器,不仅具有操作灵活、成本低、沉浸感强烈等优点,同时还能推广到其它行业。