论文部分内容阅读
随着增强现实应用场景的不断拓展,水面场景作为一种户外常见的自然景观具有一定的开发价值。水具有复杂的物理光学属性、无规则性,提升此场景的虚实融合呈现效果需要增强现实系统具备对真实场景的认知和识别能力,实时地提供场景信息,使用计算机技术进行仿真模拟并注册到相应位置,从而完成与周围场景光照一致的虚拟物体表面的渲染效果。随着移动设备软件和硬件性能的不断提升,移动增强现实由于其便携性更适合在户外使用。为了提升户外水面场景的增强现实效果,本文提出了一种适用于户外太阳光照条件下水面场景的增强现实系统实现新方法,并移植到移动端使用。实现过程中针对三维注册跟踪与虚实融合这两个关键模块存在的相关问题,以及最终在移动设备应用的目标,本文开展了以下内容的研究与创新:(1)提出了实时且鲁棒的三维语义地图优化建图方法。选用同步定位与地图构建(SLAM)技术作为三维场景构建的基础,然后采用多线程并行结构将深度学习语义分割网络ICNet与之融合,实时地构建三维语义地图。在此过程中使用了贝叶斯方法进行三维地图语义标签的优化更新。采用了自建数据集用于语义分割网络的训练。实验证明,结合了语义信息的三维跟踪注册技术使增强现实系统具备了场景理解能力,准确限制了虚拟物体在真实场景的放置位置,也为虚实融合模块中场景信息的实时获取提供了帮助。(2)实现了户外水面场景下实时的虚实融合呈现效果。首先结合虚实融合的要求对增强现实系统在水面场景下的应用需求进行总结。其次,进行水面反射的模拟。采用结合最小二乘法的RANSAC平面拟合算法,对分属不同类别的特征点进行平面拟合,将虚拟物体注册在水面上。然后模拟水面的菲涅尔效应,计算反射折射比例。最后通过分析水体本身颜色对倒影颜色的影响,提出倒影颜色混合算法,通过结合虚拟物体自身颜色数据以及所检测到的周围水面的颜色数据进行计算,最终渲染出虚拟物体相应的倒影。随视角改变和周围水域的颜色的不同,虚拟物体的倒影颜色发生相应变化,达到虚实一致的效果。(3)实现了一款面向户外水面场景的移动增强现实应用。首先将系统在PC端进行实验测试,对系统及各部分算法实现的可行性、有效性进行验证。然后使用Android Studio开发平台结合JNI、Opencv4Android、Open GL等技术以及Socket模块,实现向移动端的移植。过程中针对移动端处理能力的缺陷,对移动端进行一系列的优化。最后通过一些性能测试和体验感评估完成对最终研究成果的检验。