论文部分内容阅读
基于样图学习的图像编辑将具有某种风格的参考图像作为学习对象,把学习到的视觉特征用于改变目标图像的色彩和纹理属性,使得输出图像表现出和参考图像相似的视觉效果,在艺术图像风格化处理、颜色传输、图像内容编辑、超分辨率细节合成等领域都有广泛的应用。本文从编辑图像的纹理和颜色入手,通过分析纹理特性,学习图像区域的语义特征,挖掘出参考图像所包含的丰富信息,以图像特征的理解、提取、再次运用为研究主线,将抽取得到的特征信息传输给目标图像,结合基于GPU的加速技术实现快速高质量的图像编辑,完成了图像内容编辑、艺术图像风格化、颜色传输三个图像编辑任务。本文所做的具体工作与贡献如下:(1)提出纹理适应性的内容编辑算法,根据图像的纹理特征,整合不同的邻域搜索策略,快速灵活地对不同的纹理区域采用相适应的搜索策略查找最相似邻域。该算法用基于GPU的全局精确邻域搜索和基于k-coherence的一致性搜索实现邻域匹配过程,快速地学习样图对的映射关系,并用合成放大快速生成高质量高分辨率的图像。实验表明,算法大大加快了邻域匹配过程,能便捷地调整参数,在一定程度上提高了编辑质量。(2)为了进一步提高内容编辑的质量,提出了一种基于全局优化的快速内容编辑方法,通过定义度量图像相似性的能量函数将内容编辑问题表示成一个全局离散优化问题来处理,采用改进的基于GPU的全局优化算法迭代求解。该方法用基于chamfer准则和区域生长的初始化过程生成初始化样图,作为全局优化的输入,加快优化算法的收敛速度,提高合成质量;针对不同纹理区域定义的优化度量准则,捕获结构性的纹理细节特征,使合成结果符合人类的视觉感知;利用CUDA架构实现的算法大大提高了合成速度,使合成趋于实时。实验结果表明,算法在学习样图纹理和颜色特征的同时,保持图像区域间的平滑过渡,实现高质量的内容编辑。(3)针对现有艺术图像风格学习方法易用性差、灵活性不高的问题,提出支持多样图的快速艺术图像风格化方法,不仅能学习多张艺术样图的风格特征,实现层次化的绘制,而且为用户提供了一种根据参考样图设计艺术图像简单可行的途径,满足了艺术风格学习多变性的要求。提出基于流场的自动风格传输算法,以图像方向场为引导,采用改进的非等轴纹理合成快速学习艺术风格样图的纹理和笔刷信息,提高合成质量;基于GPU平台设计的算法解耦了以往风格传输算法中合成时像素/块的依赖关联,能并行地对不同区域传输不同的笔刷,解决风格学习耗时过长的问题;在自动合成的基础上,本文提出用户交互的艺术图像设计方法,使用户可以对自动合成的图像进一步优化,使风格学习更灵活,得到更丰富的风格传输效果。(4)针对以往颜色传输时仅考虑区域底层的颜色统计信息,忽略对图像高层内容分析的问题,本文提出了基于语义的颜色传输方法,不仅减少了自动映射计算不准确导致的传输结果的瑕疵,而且无需过多的用户交互。首先改进了原有的Normalized Cut分割方法,生成较为完整的同质图像区域作为语义学习过程的输入;然后采用基于MPEG-7描述符的区域语义标记方法,建立高层语义特征和底层图像特征之间的关联,提高语义标记准确率;最后根据学习得到的参考图像和目标图像的区域语义词来建立映射关联,得到更精确智能的颜色传输效果。