增强现实(Augmented Reality,简称AR)是一种新型的人机交互技术,它通过计算机模拟仿真,能够将虚拟世界信息叠加到现实世界,从而被人类感官所感知,达到对现实世界的补充和增强。由于AR技术具有同时展现现实世界信息和虚拟世界信息的能力,因此近年来被越来越多的应用到以航空航天为代表的复杂机械产品的装配引导过程。基于AR的装配引导技术通过将计算机生成的零部件装配位置、装配过程、注意事项等虚拟装配引导信息以三维模型、动画、文本注释等形式叠加到现实装配环境中,能大大提高操作人员对机械产品装配过程的理解,提升装配效率。其中虚实融合技术是实现虚拟引导信息和装配现场“无缝”集成的核心。但目前大多数面向机械产品装配的AR引导系统只是简单地将虚拟提示信息叠加到摄像机拍摄到的现实装配环境图像中,并未对真实物体和虚拟信息之间的虚实融合关系进行处理。这不仅会降低场景的真实感,使用户产生视觉疲劳,而且还会导致装配人员对装配位置的理解产生歧义,降低装配效率,增大出错几率。虽然有部分学者针对装配过程中的虚实融合问题提出了相应的解决方案,但仍然存在虚实注册方法面向机械装配环境的适用性和鲁棒性差、装配交互过程中的虚实融合难以有效处理等问题。针对上述问题,本文详细分析了机械产品装配环境特点,围绕虚实融合过程中虚拟引导信息在装配环境中的虚实注册(配准)和装配交互过程中的虚实遮挡等技术展开深入系统的研究。旨在消除虚拟引导信息的空间位置歧义,强化虚拟引导信息在机械产品AR装配环境中的真实感,提升系统的实用性。本文主要研究工作如下:(1)基于边界捕捉的深度图像高精度修复方法。高质量的深度图像是基于点云的虚实注册的基础。本文充分考虑了机械产品装配环境中零部件表面特性、材料属性等对深度图像的影响。首先结合彩色图像信息,利用联合双边滤波器对深度图像进行降噪,在降噪过程中引入噪声核函数和从属核函数,抑制噪声向非噪声图像区域扩散。其次利用彩色图像与深度图像具有相似物体边界的特性,通过深度图像物体边界对深度图像物体边界进行捕捉,并利用改进的快速行进法修复空洞区域,使深度图像恢复良好的边界特性。与现有深度图像降噪修复方法相比,本文方法深度图像质量更好、物体边缘精度更高,为点云的生成打下良好的基础。(2)基于点云和视觉特征融合的虚实注册方法。虚实注册是虚实融合的首要条件。为了提高虚实注册方法面向机械产品AR装配系统的适用性和鲁棒性,提出一种点云和视觉特征融合的虚实注册方法。该方法针对机械产品装配环境特点,首先利用参考模型点云对虚实注册绝对坐标系进行定义。然后在ICP(Iterative Closest Point)点云配准的基础上,结合深度传感器彩色图像信息,引入视觉特征匹配,提高深度传感器快速移动时的跟踪注册过程鲁棒性。为了提高无纹理装配场景中视觉特征匹配点对的提取数量,提出了一种基于方向向量一致性的视觉特征匹配策略。最后在跟踪注册过程加入基于关键帧的回环检测和全局位姿优化,提高了虚实注册方法面向机械产品AR装配引导的适用性和鲁棒性。(3)基于LINE-MOD模板匹配的刚性物体虚实遮挡处理方法。虚实遮挡是实现虚实融合的关键指标。交互过程中刚性物体的虚实遮挡处理是本章的研究重点。首先,离线阶段在CAD环境中采集装配对象不同视角下的参考图像并记录相机采集位姿。其次,在在线阶段,利用改进的LINE-MOD模板匹配方法获取与当前视角图像最相似的关键帧,并获取相机粗略位姿。然后,根据关键帧的空间拓扑关系,采用插值的方法对相机位置和姿态进行精确估计。最后,根据跟踪结果在待装配对象表面叠加相应CAD模型,通过模型之间空间位置的判断实现刚性待装配对象与引导信息的虚实遮挡。实验结果表明,该方法实时性好,虚实遮挡处理精度较高。(4)基于主动表观模型的非刚体虚实遮挡处理方法。针对机械产品装配交互过程存在非刚性物体(人手)的情况,借助主动表观模型轮廓跟踪算法,设计了一种基于深度计算的非刚性物体与引导信息的虚实遮挡处理方法。在准确跟踪非刚性物体轮廓的同时,获取非刚性物体轮廓区域内每一个像素点的深度值,通过轮廓区域内深度值和虚拟装配引导信息深度值的比较,获得正确的虚实遮挡关系。该方法与现有的基于深度计算的虚实遮挡方法相比,避免了在整幅深度图像上进行深度值比较带来的运算量大的问题,提高了系统的实时性和实用性。基于以上研究成果,研制了一个具有虚实融合处理能力的机械产品AR装配引导原型系统(CPILab-AAPS(Cyber-Physical Interaction Lab-Assembly Assistance Prototype System),并给出了相应的实验结果,验证了本文提出的理论、方法的可行性和有效性。