论文部分内容阅读
图像重上色是计算机视觉、图像处理领域的一个重要研究方向,在老照片修复、视频特效制作、照片美化、平面设计等方面有着广泛的应用。尽管已经有很多图像处理软件和方法可以实现图像的色彩编辑,但是无法兼顾功能性和便捷性,因此设计一款使用快速、操作简单,且生成的重上色图像细节完整、配色和谐的色彩编辑工具,仍然极具挑战。针对当前存在的问题和缺陷,本文利用深度学习方法设计了一套基于色板分解网络的图像和谐化重上色方法。基于主色板的图像重上色方法大多数都将主色板提取与颜色分解分开解决,无法达到端到端的联合优化求解,并且计算效率较低,生成的重上色图像存在色彩伪影和噪声问题。针对上述问题,本文提出了一种轻型卷积神经网络模型对图像进行端到端的重上色。在主色板提取网络中,采用全1×1的卷积核、像素打乱策略和多尺度特征表示方法,将连续的色彩空间映射到离散的主色板空间,运行速度快,主色板颜色代表性强。在颜色分解网络中,提出一种区域感知损失来实现图层的稀疏分解。实验结果表明,本文提出的基于色板分解网络的重上色方法,能快速实现高质量的重上色效果,解决了现有方法存在的求解速度慢、颜色失真、伪影和噪声等问题。除此之外,本文还基于色彩和谐理论,对重上色的图像进行色彩和谐化,帮助用户生成配色更加符合人类视觉感知的美化图像。首先提出色彩和谐化的模板匹配算法,并在模板匹配过程中加入对图像显著性的分析,使得优化后的图像色彩分布可以尽量保持显著性区域颜色不变,而通过改变其他区域颜色来达到图像配色的和谐性。然后,基于匹配的和谐模板,对图像进行色彩和谐化,本文采用两种方法来解决现有方法存在的色调转换不一致的问题。第一种是加入超像素分割,对超像素块内像素进行统一的色调转换,这样可以达到局部区域颜色的连续自然过渡。第二种方法是基于主色板和谐化的方法,这种方法是在本文提出的基于色板分解网络的重上色系统中实现的,通过对主色板基础色进行和谐化,就可以将和谐化后的主色板颜色应用到本文提出的重上色方法中,这种方法不仅可以大大减少计算时间,而且可以生成全局和局部一致的色彩和谐化,细节保留完整,颜色过渡自然。实验结果表明,本文提出的图像色彩和谐化算法,可以十分便捷的帮助用户实现更加流畅和谐的配色效果。