论文部分内容阅读
复杂多变的光照环境是制约相机成像质量的主要因素之一,给计算机视觉算法的应用与发展(如物体识别与跟踪、场景理解)带来诸多不利影响,降低了其算法的鲁棒性及环境自适应性。该问题的解决,将会促进计算机视觉和相关学科的发展,具有广阔的应用前景。不同于目前主流的基于机器学习或基于数学的方法中单纯采用数据驱动的研究方式,本文从物理成像的基本原理和深度学习两个方面开展了图像光照建模与处理算法研究,主要研究内容包括光照建模、光照不变图像、阴影去除及光照处理算法在计算机视觉中的应用。论文中主要创新点如下: 1.以局部光照变化阴影为研究对象,对几种常用的阴影特征进行了综合考核和评估。该项评估表明,有效的阴影特征是影响图像阴影识别、去除及恢复等算法性能的关键因素。通过特征分析和实验对比,我们发现,目前数据驱动的阴影特征具有二义性或多义性,无法有效表征阴影的独有特性。基于此,我们对目前通用的图像阴影特征,给出了性能排序、局限性及其有效应用的场景范围。这是目前图像处理领域首次开展的评估阴影特征的工作,为后续的光照建模和阴影处理算法等问题的解决提供了重要的指导意义。 2.针对室外光照环境,以现有的线性阴影模型为研究基础,为图像的每个像素建立一个线性方程组,并对该线性方程组的解进行正交分解,建立了具有原创性的图像光照像素级正交分解模型。不同于目前主流的纯数据驱动的光照处理算法,该模型将物理成像机理、图像数据及数学线性代数理论相结合,具有合理的物理解释和严格的数学推导。该数学推理与物理成像机理结合的方式为突破现有方法歧义性强、实时性差和缺乏物理解释的瓶颈问题,提供了一种有效的理论模型。 3.针对室内室外两种光照环境,以局部光照变化阴影为研究对象,结合阴影形成机理和深度学习技术,建立了一种基于深度学习的光照模型。该模型将阴影检测以多上下文神经网络的方式隐式嵌入到阴影去除中,解决了现有阴影去除算法过渡依赖阴影检测和人工特征的问题。该模型首次实现物理成像机理与深度学习技术的融合,无需依赖先验知识和经验假设,稳定性强、普适性好,且不受光照环境和天气影响,为光照处理领域的其他问题及底层图像处理算法提供了新的研究思路。 4.在物理光照模型基础上,提出了具有光照自适应能力的物体颜色恒常算法。针对目前物体颜色恒常算法依赖空间域一致性假设或者光照变化平缓假设,以本文物理光照模型基础,计算场景内光照变化比率和转移向量,建立了基于正交分解模型的多光源下的物体颜色恒常算法;该算法不依赖经验假设也无需复杂的特征检测等,实时性强、可移植性高,能直接应用到后续的物体识别和跟踪算法等任务上,提高相关算法的性能。 5.在深度光照模型的基础上,提出了具有光照自适应能力的RGBD图像显著性区域检测算法。该算法借助深度学习的强大学习能力,将低层光照不变的图像显著特征组合形成为更加抽象的高层表示,结合深度光照模型过滤误判区域,解决了底层特征表示受光照变化影响的局限性及各特征之间相互作用机制不明朗等问题。理论分析和实验结果均验证了该算法的有效性和先进性。