论文部分内容阅读
三维重建是计算机视觉领域的核心内容。基于双目立体视觉的三维重建是最常用的三维重建手段。近年来许多学者提出了由单视点折反射全景相机与普通透视相机相结合的异构立体视觉系统。比起常规的同构双目立体视觉系统，该类视觉系统的主要优势包括：能够获得被监控区域的全景图像，同时又能够获得局部的高分辨率信息。可以通过两个相机的协同工作获得场景的深度信息，两个相机也可以独立工作。为了利用这种优势，本文将三维重建任务拓展到异构立体视觉系统中。全景图像能够为三维重建任务提供360度视场角的像素信息，普通图像能够为三维重建任务提供局部视角高分辨率的像素信息。因此，使用异构立体视觉系统来实现三维重建任务十分有利于在监控领域及场景理解领域等方面的应用。本文旨在对异构立体视觉系统三维重建过程中的关键问题进行研究，着重研究了异构立体视觉系统的自动标定、全景图像的质量增强、深度图修复以及前景目标分割。本文的具体研究工作和成果如下：
首先，针对动态的异构立体视觉系统提出了一种自动标定算法，以解决折反射相机和传统透视相机之间相对位置不固定的问题。不同于传统的基于八点法的Hartley立体标定算法思路，本文算法首先将全景图像进行透视展开，以统一异构图像对的成像方式，然后采用基于零填充的分辨率归一化算法将异构立体图像对进行分辨率归一化。接着通过使用遥感图像中常用的特征点检测算法来检测特征点对，以解决全景图像和普通图像之间的强度映射差异，增加匹配准确率。然后通过提出的归一化矩阵优化算法来求解归一化矩阵，以提高基础矩阵的准确性。最后，通过经过奇异值分解求得旋转矩阵R和平移矩阵T。通过真实环境下和仿真环境下的对比实验验证了本文算法的准确性和有效性。实验结果表明，该算法实现了动态异构立体视觉系统的自动标定。与Hartley标定算法相比，该算法的标定精度提高了34.78％。
其次，由于全景图像和普通图像之间存在质量上的异质性，会使立体匹配的成功率降低。为了提高全景图像的质量来降低这种异质性，分别提出了全景图像去散焦模糊算法和异构立体图像的超分辨率重建算法。首先提出了全景图像去散焦模糊算法，本文直接学习散焦模糊图像和去散焦模糊图像之间的端到端映射。实验表明，提出针对全景图像提出的去散焦模糊算法能够避免振铃效应并且正确恢复图像的高频信息，去散焦模糊后的图像峰值信噪比PSNR平均提高了2.89dB。针对全景图像分辨率低的问题，本文提出了变分贝叶斯超分辨率重建算法。该算法的主要目的是基于视角有限的高分辨率普通图像对低分辨率的全景图像进行重建。该算法的关键技术在于使用改进的全变分先验分布建立局部高分辨率图像和对应视角的局部低分辨率图像之间的先验关系。接着通过使用该先验关系建立高分辨率全景图像的先验模型，然后使用Kullback-Leibler散度对高分辨率图像的后验分布进行估计，最后通过后验分布的均值求得全景高分辨率图像的表达式。实验表明，上述算法改善了全景图像的质量，比起现有的单一图像的超分辨率重建算法，本文的异构立体图像超分辨率重建算法峰值信噪比PSNR提高了1.39dB，结构相似性SSIM提高了0.003。并且在全景图像的质量提升后，立体匹配成功率平均增加了25.67%，从而提升了使用异构立体视觉系统进行三维重建的准确率和获取点云的成功率。
再次，立体图像对之间存在视差，有些区域存在遮挡，且因此少量像素点无法成功地进行立体匹配。这通常会导致半密集的深度图，该深度图对于某些像素具有准确的深度，而对于其他像素则没有深度，造成深度图存在孔洞。因此本文提出了改进的二阶平滑度先验算法对深度图进行修复。该算法是基于原始二阶平滑度先验的方法从三个方面进行改进的。首先，在填充之前对彩色图像进行边缘检测，目的是为了对图像中的像素分成两类进行处理，分出的两个类别分别是图像的边缘和内部结构。并将边缘检测获得的边缘通过相似度判断方程又分为内部结构的边缘和不同区域之间的边缘。内部结构中的缺失像素使用原能量函数进行求解填充。属于不同区域之间边缘的缺失像素使用重新定义的能量函数进行求解。能量函数从两个方面进行重新定义。第一，能量函数对平滑项中的权重进行重新定义，使用边缘检测结果中的像素梯度来定义权重。第二，在新的能量函数中添加了正则项。将能量函数进行重新定义的目的在于加强深度图中边缘像素的细节保留，从而提高深度图估计的准确性。实验表明，修复后的深度图能够很好地保留边缘结构和细节，且与其他算法相比，本文算法的填充像素中值误差减小了5.1%，均方根误差减小了11%,平均绝对误差减小了12%。通过对深度图的修复和填充，使得异构立体视觉系统在三维重建后能够获得完整的三维点云数据。
最后，为了提高异构立体视觉系统的适用性，本文提出了前景分割算法，从而使异构立体视觉系统能够对前景目标进行单独地三维重建和分析。该算法结合了基于区域生长的分割算法和基于边缘检测的分割算法，比起现有的目标分割算法，主要优势在于能够实现完整的自动分割，无需用户的交互式行为和复杂的背景模型。算法首先通过形态学操作和边缘检测获得前景和背景的种子，然后根据种子建立目标函数，通过将目标函数最小化来求取图像的最优前景分割。实验表明，该算法可使异构立体视觉系统实现对动态前景目标从背景准确地分离出来，实现对动态目标进行单独的三维重建。并且本文通过在室内环境和室外环境中使用异构立体视觉系统的全景三维重建实验系统地验证了以上算法的有效性。
首先，针对动态的异构立体视觉系统提出了一种自动标定算法，以解决折反射相机和传统透视相机之间相对位置不固定的问题。不同于传统的基于八点法的Hartley立体标定算法思路，本文算法首先将全景图像进行透视展开，以统一异构图像对的成像方式，然后采用基于零填充的分辨率归一化算法将异构立体图像对进行分辨率归一化。接着通过使用遥感图像中常用的特征点检测算法来检测特征点对，以解决全景图像和普通图像之间的强度映射差异，增加匹配准确率。然后通过提出的归一化矩阵优化算法来求解归一化矩阵，以提高基础矩阵的准确性。最后，通过经过奇异值分解求得旋转矩阵R和平移矩阵T。通过真实环境下和仿真环境下的对比实验验证了本文算法的准确性和有效性。实验结果表明，该算法实现了动态异构立体视觉系统的自动标定。与Hartley标定算法相比，该算法的标定精度提高了34.78％。
其次，由于全景图像和普通图像之间存在质量上的异质性，会使立体匹配的成功率降低。为了提高全景图像的质量来降低这种异质性，分别提出了全景图像去散焦模糊算法和异构立体图像的超分辨率重建算法。首先提出了全景图像去散焦模糊算法，本文直接学习散焦模糊图像和去散焦模糊图像之间的端到端映射。实验表明，提出针对全景图像提出的去散焦模糊算法能够避免振铃效应并且正确恢复图像的高频信息，去散焦模糊后的图像峰值信噪比PSNR平均提高了2.89dB。针对全景图像分辨率低的问题，本文提出了变分贝叶斯超分辨率重建算法。该算法的主要目的是基于视角有限的高分辨率普通图像对低分辨率的全景图像进行重建。该算法的关键技术在于使用改进的全变分先验分布建立局部高分辨率图像和对应视角的局部低分辨率图像之间的先验关系。接着通过使用该先验关系建立高分辨率全景图像的先验模型，然后使用Kullback-Leibler散度对高分辨率图像的后验分布进行估计，最后通过后验分布的均值求得全景高分辨率图像的表达式。实验表明，上述算法改善了全景图像的质量，比起现有的单一图像的超分辨率重建算法，本文的异构立体图像超分辨率重建算法峰值信噪比PSNR提高了1.39dB，结构相似性SSIM提高了0.003。并且在全景图像的质量提升后，立体匹配成功率平均增加了25.67%，从而提升了使用异构立体视觉系统进行三维重建的准确率和获取点云的成功率。
再次，立体图像对之间存在视差，有些区域存在遮挡，且因此少量像素点无法成功地进行立体匹配。这通常会导致半密集的深度图，该深度图对于某些像素具有准确的深度，而对于其他像素则没有深度，造成深度图存在孔洞。因此本文提出了改进的二阶平滑度先验算法对深度图进行修复。该算法是基于原始二阶平滑度先验的方法从三个方面进行改进的。首先，在填充之前对彩色图像进行边缘检测，目的是为了对图像中的像素分成两类进行处理，分出的两个类别分别是图像的边缘和内部结构。并将边缘检测获得的边缘通过相似度判断方程又分为内部结构的边缘和不同区域之间的边缘。内部结构中的缺失像素使用原能量函数进行求解填充。属于不同区域之间边缘的缺失像素使用重新定义的能量函数进行求解。能量函数从两个方面进行重新定义。第一，能量函数对平滑项中的权重进行重新定义，使用边缘检测结果中的像素梯度来定义权重。第二，在新的能量函数中添加了正则项。将能量函数进行重新定义的目的在于加强深度图中边缘像素的细节保留，从而提高深度图估计的准确性。实验表明，修复后的深度图能够很好地保留边缘结构和细节，且与其他算法相比，本文算法的填充像素中值误差减小了5.1%，均方根误差减小了11%,平均绝对误差减小了12%。通过对深度图的修复和填充，使得异构立体视觉系统在三维重建后能够获得完整的三维点云数据。
最后，为了提高异构立体视觉系统的适用性，本文提出了前景分割算法，从而使异构立体视觉系统能够对前景目标进行单独地三维重建和分析。该算法结合了基于区域生长的分割算法和基于边缘检测的分割算法，比起现有的目标分割算法，主要优势在于能够实现完整的自动分割，无需用户的交互式行为和复杂的背景模型。算法首先通过形态学操作和边缘检测获得前景和背景的种子，然后根据种子建立目标函数，通过将目标函数最小化来求取图像的最优前景分割。实验表明，该算法可使异构立体视觉系统实现对动态前景目标从背景准确地分离出来，实现对动态目标进行单独的三维重建。并且本文通过在室内环境和室外环境中使用异构立体视觉系统的全景三维重建实验系统地验证了以上算法的有效性。