论文部分内容阅读
近年来,随着科学技术的发展,各种崭新的人机交互方式开始出现在人们的日常生活中,其中混合现实技术有望改变人们与外部世界进行交互的基本形式。本文主要研究基于视觉定位的混合现实框架。本文采用基于特征点法的ORB-SLAM算法为基础的相机空间定位算法,对视觉里程计的图像特征点和相机位姿估计部分进行改进,实现混合现实框架中虚拟物体的三维注册,并完成三维场景的虚实融合渲染。本文对一些常用的SLAM算法和三维渲染技术进行了研究,取得的主要研究成果如下:(1)改进ORB-SLAM系统中的图像特征点提取与匹配算法。为了在相机拍摄的图像上实时提取分布均匀、数量准确、响应相近的图像特征点,首先,本文采用基于多阈值的FAST角点提取算法,依据分块图像纹理丰富程度调整FAST角点的阈值,多阈值的设定保证各角点之间相应值相近,提取到过量的,分布均匀的FAST角点。然后,本文采用基于四叉树的Shi-Tomasi角点筛选算法获得数量准确的角点集合。此外,采用基于查找表的相似度度量算法,转移图像特征点匹配过程中的运算量,提高视觉里程计中图像特征点匹配的实时性能。(2)改进ORB-SLAM系统中的相机位姿估计算法。在ORB-SLAM中,采用EPnP算法解决3D-2D下的相机位姿估计问题。由于EPnP算法通过计算三维空间点在当前相机坐标系下的坐标值,将问题转化为3D-3D下的相机位姿估计问题,算法的计算效率受到影响。本文提出的RANSAC-AP3P算法避免了问题的转化,借助图像空间中的二维图像点坐标与世界坐标下的三维空间点坐标之间的几何位置关系,恢复出相机的三维运动结构。本文通过实验证明,RANSAC-AP3P算法在实时性能方面优于EPnP算法,同时在相机位姿估计精确度上,二者误差在同一数量级范围内。(3)结合视觉定位算法和三维渲染技术构建混合现实框架。本文通过改进后的ORB-SLAM算法获取相机实时位姿,以实现三维场景的虚实融合渲染,构建了基于视觉定位的混合现实框架。虚拟物体的三维模型在模型空间中创建,预先放置在世界坐标系中,依据现实相机的实时位姿变换到当前相机坐标系,投影到二维屏幕空间。采用基于深度缓冲的三角形光栅化技术获取三维模型在当前视角下的二维投影图像,并叠加于现实场景图像之上,呈现出虚实融合的渲染效果。