论文部分内容阅读
中国书法是一种以汉字为载体的美学艺术,吸引了大量的书法爱好者。然而,书法作品容易损毁或丢失,而且随着汉字的发展,很多书法家的作品集可能无法涵盖完整的汉字库。当爱好者们需要根据某种风格创作新作品,或者修复损毁作品时,可能会找不到对应的书法字进行临摹和参考,只能通过大量的鉴赏和练习来深入理解风格,创作新的作品。
因此,利用人工智能技术来对书法字图像的风格建模,并自动创作出新的作品,是很有意义和挑觇陛的工作。以往传统的书法字生成方法一般需要人工干涉且生成效率低。近年来,大量基于深度学习的方法在图像理解和生成任务上都有着优越的表现。
本文利用CADAL数字图书馆中的书法资源,对书法字图像的风格生成技术进行研究。首先在书体风格分类任务上验证了CNN风格提取能力。然后,在书体风格生成任务上对基于神经风格迁移、VAE和GAN的方法进行了预实验,证明基于GAN的图像转换模型更适用于书法风格生成。因此,本文将书法风格生成任务定义为书体风格转换任务,即在保证输入书法字内容不变的同时,对骨架结构、笔画形状等风格属性进行转换。
然而,在很多情况下难以搜集到足够书法风格图像对来训练有监督的转换模型。而无监督的转换模型一般存在以下问题:(1)参数量大,因每两种书体间的转换均需要训练两个GAN模型;(2)生成的书法字图像质量比较差,因无法直接从风格图像对中学习。针对上述问题,本文主要进行如下两方面的研究并取得如下成果:
1.多书体的无监督书法图像转换模型研究。本文提出了一个具有条件控制能力的转化框架CalliGAN,使用单个GAN模型来实现多种书体风格图像间的转换。为了在无训练对的条件下训练CalliGAN,本文还提出了内容编码损失函数,结合对偶学习和对抗学习进行联合训练,让模型中的Encoder学会提取书法字内容特征,以及让Decoder学会根据条件转换风格。实验证明,CalliGAN能有效地在等线体、楷书、隶书、篆书等字体间相互转换。
2.基于骨架转换和笔画渲染的无监督转换模型研究。本文提出了一个三阶段(骨架提取、骨架转换和笔画渲染)的无监督书体转换框架ChiroGAN。在该框架中,本文主要提出了一个快速骨架提取算法(ENet),一个有监督的笔画渲染网络(RNet),以及基于CalliGAN的骨架转换网络(TNet)。为了提升TNet的生成质量,本文还提出利用预训练的RNet的联合训练方法。实验证明,生成的书法字笔画清晰准确,达到接近于有监督转换方法的效果。
因此,利用人工智能技术来对书法字图像的风格建模,并自动创作出新的作品,是很有意义和挑觇陛的工作。以往传统的书法字生成方法一般需要人工干涉且生成效率低。近年来,大量基于深度学习的方法在图像理解和生成任务上都有着优越的表现。
本文利用CADAL数字图书馆中的书法资源,对书法字图像的风格生成技术进行研究。首先在书体风格分类任务上验证了CNN风格提取能力。然后,在书体风格生成任务上对基于神经风格迁移、VAE和GAN的方法进行了预实验,证明基于GAN的图像转换模型更适用于书法风格生成。因此,本文将书法风格生成任务定义为书体风格转换任务,即在保证输入书法字内容不变的同时,对骨架结构、笔画形状等风格属性进行转换。
然而,在很多情况下难以搜集到足够书法风格图像对来训练有监督的转换模型。而无监督的转换模型一般存在以下问题:(1)参数量大,因每两种书体间的转换均需要训练两个GAN模型;(2)生成的书法字图像质量比较差,因无法直接从风格图像对中学习。针对上述问题,本文主要进行如下两方面的研究并取得如下成果:
1.多书体的无监督书法图像转换模型研究。本文提出了一个具有条件控制能力的转化框架CalliGAN,使用单个GAN模型来实现多种书体风格图像间的转换。为了在无训练对的条件下训练CalliGAN,本文还提出了内容编码损失函数,结合对偶学习和对抗学习进行联合训练,让模型中的Encoder学会提取书法字内容特征,以及让Decoder学会根据条件转换风格。实验证明,CalliGAN能有效地在等线体、楷书、隶书、篆书等字体间相互转换。
2.基于骨架转换和笔画渲染的无监督转换模型研究。本文提出了一个三阶段(骨架提取、骨架转换和笔画渲染)的无监督书体转换框架ChiroGAN。在该框架中,本文主要提出了一个快速骨架提取算法(ENet),一个有监督的笔画渲染网络(RNet),以及基于CalliGAN的骨架转换网络(TNet)。为了提升TNet的生成质量,本文还提出利用预训练的RNet的联合训练方法。实验证明,生成的书法字笔画清晰准确,达到接近于有监督转换方法的效果。