论文部分内容阅读
利用影像密集匹配重建城市场景高精度、高密度的三维几何结构是智慧地球、智慧城市等建设不可或缺的重要基础数据设施，也是城市规划管理、灾害防治与应急、资源环境监测、文化遗产保护以及无人驾驶等应用的前提。近年来，随着传感器硬件技术以及倾斜摄影技术的快速发展，基于影像密集匹配三维重建技术在大尺度城市场景三维建模中得到了广泛应用。精准、高效重建城市场景三维几何结构一直以来都是摄影测量和计算机视觉领域研究的热点问题。相比于LiDAR以及结构光等主动三维数据采集手段，影像密集匹配手段具有成本低和获得物体表面纹理信息等优势，并且能够得到与LiDAR相比拟的三维点云数据。目前，影像密集匹配技术在三维重建的精度、效率、完整性以及自动化程度上仍然面临许多挑战，特别是对于影像中的噪声、弱纹理、重复纹理及遮挡区域常常出现大量的误匹配。
城市场景几何结构复杂，传统密集匹配算法中的平行平面假设(Fronto-parallel)难以适用，从而导致密集匹配难以获得高质量的深度重建结果。城市场景蕴含大量倾斜平面结构目标，即使非平面结构目标，尽管其局部区域也可通过局部平面进行表达，但传统密集匹配算法并未有效顾及这一先验信息。
尽管连续性密集匹配方法通过引入倾斜平面几何模型有效地克服了以上问题，但是其匹配精度和效率仍然有待进一步被改善。首先，连续性密集匹配通过随机初始化策略为每个像元随机分配初始平面，难以保证足够数量的像元获得接近真值的初始平面，因此需要进行大量的迭代开销保证算法收敛，同时容易造成深度重建结果陷入局部最优解；其次，弱纹理以及重复纹理区域匹配(代价函数)的鲁棒性仍然有待进一步提高；而且，当前能量函数最优化框架对平滑项惩罚因子十分敏感，容易造成物体的细节信息丢失，并且能量函数最优化效率较低，难以进行并行加速。
本文针对影像密集匹配深度重建过程中存在的上述问题进行了深入的研究，探讨了密集匹配中的关键技术难点，并提出了倾斜平面约束的密集匹配方法，从而为城市场景三维模型重建提供高精度、高密度的三维几何信息，具体研究内容概括如下：
(1)针对城市场景物体表面存在大量倾斜平面结构目标，提出树动态规划(Tree dynamic programming, TDP)的层次PatchMatch密集匹配方法HMP-TDP。HMP-TDP引入倾斜视差平面几何模型克服传统密集匹配方法对平行平面假设依赖，有效避免倾斜物体表面深度重建结果出现明显的“阶梯”效应；提出HPM能量函数最优化框架，以克服传统离散密集匹配算法难以求解连续能量函数最优问题的缺陷，显著提升全局能量函数最优化精度和效率。HPM-TDP方法首先对输入的立体影像构建金字塔立体像对，并对金字塔中各层参考影像进行超像素分割，确保各超像素内部像元在视差空间具有相同的倾斜视差平面标签；接下来通过HPM(Hierarchical PatchMatch)策略，利用低分辨影像匹配得到的视差平面图作为先验信息，进行高分辨影像视差平面的初始化，以减少超像素层次PatchMatch迭代开销，并避免视差平面结果陷入局部最优；为了提高图像中噪声、弱纹理及重复纹理区域的深度重建精度，集成多层次的代价聚合策略以及自适应多点过滤技术(CLMF)到超像素层次空间以提高这些挑战区域匹配(代价函数)的鲁棒性，从而显著减少深度重建误匹配结果；最后利用超像素层次的PatchMatch策略，将全局能量函数最优化问题分解成一系列以超像为单元的能量函数最优化问题进行求解，并提出基于树动态规划(Tree dynamic programming, TDP)的局部扩张运动(Local expansion moves,LEM)的能量函数最优化策略LEM-TDP，能够避免深度重建结果对能量函数惩罚因子的敏感性，从而保留更多物体细节特征。
(2)针对双目深度重建算法对图像遮挡敏感以及难以并行加速的缺陷，提出倾斜平面约束的半全局层次PatchMatch多视密集匹配方法MHPM-SGM。通过引入多视平面几何模型，有效地克服传统多视密集匹配方法对平行平面条件的依赖；将HPM框架引入多视密集匹配深度重建过程中，有效提高全局能量函数最优化精度与效率，并避免深度重建结果陷入局部最优解；提出一种适用于并行加速的超像素图结构，利用四色定理将超像素分成多个子集，确保每个子集内超像素间不存在邻接关系，然后对同一子集内所有超像素的能量函数执行并行最优化，显著提升能量函数最优化效率；同时提出LEM-SGM策略的超像素层次能量函数最优化，利用SGM优化器各方向代价累积相互独立特性，通过并行加速进一步加快能量函数最优化效率。
(3)利用不同类型的测试数据集，从城市场景大尺度航空影像、倾斜影像到地面高分辨率近景影像数据集，对本文提出的两种影像密集匹配方法性能进行验证。通过对不同类型数据集的实验结果进行定量评价和定性分析，验证了本文所提出密集匹配深度重建方法的有效性和可靠性。通过三个不同类别数据集：Middlebury3.0、KITTI2015以及Vaihingen数据集测试提出的HMP-TDP性能，实现结果表明HPM-TDP在所有数据集中都能获得好的性能，对于Middlebury3.0和KITTI2015数据集,四个评价指标(“Out-Noc”，“Avg-Noc”，“Out-All”，“Avg-All”)分别为(15.45%，4.16px，24.26%，12.14px)和(15.45%，4.16px， 24.26%，12.14px)，对于Vaihingen数据集，指标(“Out-All”，“Avg-All”)为(26.32%， 4.04px)。通过三个不同类别数据集：Fountain-P11、Vaihingen以及Zurich数据集测试提出的MHMP-SGM性能，实现结果表明MHMP-SGM在所有数据集中都能获得好的性能，对于Fountain-P11数据集，MHPM-SGM方法小于2cm以及10cm的像元百分比分别为82.9%和98.7%。对于Vaihingen数据集，MHPM-SGM方法对于两个子区域的高程均方根误差以及平均高程误差分别为(0.982m ， 0.659m)以及(0.871m，0.531m)。同时，利用设计的并行超像素图结构以及OpenMP技术进行并行加速，能够显著提升MHPM-SGM方法的运行效率4~5倍。
城市场景几何结构复杂，传统密集匹配算法中的平行平面假设(Fronto-parallel)难以适用，从而导致密集匹配难以获得高质量的深度重建结果。城市场景蕴含大量倾斜平面结构目标，即使非平面结构目标，尽管其局部区域也可通过局部平面进行表达，但传统密集匹配算法并未有效顾及这一先验信息。
尽管连续性密集匹配方法通过引入倾斜平面几何模型有效地克服了以上问题，但是其匹配精度和效率仍然有待进一步被改善。首先，连续性密集匹配通过随机初始化策略为每个像元随机分配初始平面，难以保证足够数量的像元获得接近真值的初始平面，因此需要进行大量的迭代开销保证算法收敛，同时容易造成深度重建结果陷入局部最优解；其次，弱纹理以及重复纹理区域匹配(代价函数)的鲁棒性仍然有待进一步提高；而且，当前能量函数最优化框架对平滑项惩罚因子十分敏感，容易造成物体的细节信息丢失，并且能量函数最优化效率较低，难以进行并行加速。
本文针对影像密集匹配深度重建过程中存在的上述问题进行了深入的研究，探讨了密集匹配中的关键技术难点，并提出了倾斜平面约束的密集匹配方法，从而为城市场景三维模型重建提供高精度、高密度的三维几何信息，具体研究内容概括如下：
(1)针对城市场景物体表面存在大量倾斜平面结构目标，提出树动态规划(Tree dynamic programming, TDP)的层次PatchMatch密集匹配方法HMP-TDP。HMP-TDP引入倾斜视差平面几何模型克服传统密集匹配方法对平行平面假设依赖，有效避免倾斜物体表面深度重建结果出现明显的“阶梯”效应；提出HPM能量函数最优化框架，以克服传统离散密集匹配算法难以求解连续能量函数最优问题的缺陷，显著提升全局能量函数最优化精度和效率。HPM-TDP方法首先对输入的立体影像构建金字塔立体像对，并对金字塔中各层参考影像进行超像素分割，确保各超像素内部像元在视差空间具有相同的倾斜视差平面标签；接下来通过HPM(Hierarchical PatchMatch)策略，利用低分辨影像匹配得到的视差平面图作为先验信息，进行高分辨影像视差平面的初始化，以减少超像素层次PatchMatch迭代开销，并避免视差平面结果陷入局部最优；为了提高图像中噪声、弱纹理及重复纹理区域的深度重建精度，集成多层次的代价聚合策略以及自适应多点过滤技术(CLMF)到超像素层次空间以提高这些挑战区域匹配(代价函数)的鲁棒性，从而显著减少深度重建误匹配结果；最后利用超像素层次的PatchMatch策略，将全局能量函数最优化问题分解成一系列以超像为单元的能量函数最优化问题进行求解，并提出基于树动态规划(Tree dynamic programming, TDP)的局部扩张运动(Local expansion moves,LEM)的能量函数最优化策略LEM-TDP，能够避免深度重建结果对能量函数惩罚因子的敏感性，从而保留更多物体细节特征。
(2)针对双目深度重建算法对图像遮挡敏感以及难以并行加速的缺陷，提出倾斜平面约束的半全局层次PatchMatch多视密集匹配方法MHPM-SGM。通过引入多视平面几何模型，有效地克服传统多视密集匹配方法对平行平面条件的依赖；将HPM框架引入多视密集匹配深度重建过程中，有效提高全局能量函数最优化精度与效率，并避免深度重建结果陷入局部最优解；提出一种适用于并行加速的超像素图结构，利用四色定理将超像素分成多个子集，确保每个子集内超像素间不存在邻接关系，然后对同一子集内所有超像素的能量函数执行并行最优化，显著提升能量函数最优化效率；同时提出LEM-SGM策略的超像素层次能量函数最优化，利用SGM优化器各方向代价累积相互独立特性，通过并行加速进一步加快能量函数最优化效率。
(3)利用不同类型的测试数据集，从城市场景大尺度航空影像、倾斜影像到地面高分辨率近景影像数据集，对本文提出的两种影像密集匹配方法性能进行验证。通过对不同类型数据集的实验结果进行定量评价和定性分析，验证了本文所提出密集匹配深度重建方法的有效性和可靠性。通过三个不同类别数据集：Middlebury3.0、KITTI2015以及Vaihingen数据集测试提出的HMP-TDP性能，实现结果表明HPM-TDP在所有数据集中都能获得好的性能，对于Middlebury3.0和KITTI2015数据集,四个评价指标(“Out-Noc”，“Avg-Noc”，“Out-All”，“Avg-All”)分别为(15.45%，4.16px，24.26%，12.14px)和(15.45%，4.16px， 24.26%，12.14px)，对于Vaihingen数据集，指标(“Out-All”，“Avg-All”)为(26.32%， 4.04px)。通过三个不同类别数据集：Fountain-P11、Vaihingen以及Zurich数据集测试提出的MHMP-SGM性能，实现结果表明MHMP-SGM在所有数据集中都能获得好的性能，对于Fountain-P11数据集，MHPM-SGM方法小于2cm以及10cm的像元百分比分别为82.9%和98.7%。对于Vaihingen数据集，MHPM-SGM方法对于两个子区域的高程均方根误差以及平均高程误差分别为(0.982m ， 0.659m)以及(0.871m，0.531m)。同时，利用设计的并行超像素图结构以及OpenMP技术进行并行加速，能够显著提升MHPM-SGM方法的运行效率4~5倍。