论文部分内容阅读
汉字的风格迁移是一项复杂、具有挑战性的研究问题。与英语不同的是,汉字在结构、笔画、风格都较为复杂。监督学习的生成对抗网络需要大量的对称数据,这对于很多的手写汉字字体收集和整理来说是非常困难的。另外,无监督学习的生成对抗网络生成的汉字字体会出现较多的笔画错误,甚至无法辨认。而且在以往的研究中,风格迁移生成对抗网络只注重生成的汉字字体风格,而忽视了生成汉字字体的分辨率。为此本文提出SR-Cycle GAN,来改善生成字体的完整性、提高生成字体图像的分辨率。无监督生成对抗网络使用非匹配数据进行训练,能节省大量的汉字字体图像收集与整理工作。但是无监督学习的生成对抗网络进行风格迁移时,生成出笔画缺失、错误、模糊等问题字体。归一化操作能加快网络的训练速度和网络训练的稳定性,但是批归一化操作会丢失较多的图像细节信息。对此,减少或者更改批归一化层的使用,能让生成网络学习到更多的风格细节信息。本文引入TV loss来约束噪声和降低两个像素之间的差距,通过降低TV loss使生成网络能生成笔画较为完整的手写汉字字体。由于原始的Cycle GAN并不能生成较高分辨率的图像。因此,本文对原始Cycle GAN网络进行改进,在解码网络中通过增加上采样的层数进而使得生成网络能生成像素更高的图像。原始Cycle GAN使用转置卷积来进行上采样,转置卷积在超分率重建中表现的并不好,对此,将转置卷积改为亚像素卷积进行上采样。这时,正向映射生成的汉字字体图像像素比原来大n倍,反向映射生成的汉字字体图像像素也是大n倍。根据算法的循环一致性原理,经过一个循环后,原始字体像素将被放大为n的平方倍,从而达到超分辨率的效果。本文用HWDB1.1中的240个训练集训练Tensorflow与中文手写汉字识别模型,60个测试数据集测试模型,得到Top-1 84.6%和Top-3 93%的识别准确率。用兰亭字体和HW-1252作为风格字体,楷体和黑体作为转换字体,训练SR-Cycle GAN,得到生成的风格字体和超分辨率重建字体。分别在3755个生成和重建的手写汉字字体中随机选取部分样本,尽量保证选取的样本中既要有结构简单的字体,又要有结构复杂的字体。选取的样本输入到训练好的中文手写汉字识别算法中,原始Cycle GAN平均识别率为33.4%,SR-Cycle GAN平均识别率为92%。生成和重建的兰亭字体也有较好的表现,重建的兰亭字体Vollath增加了455144262,brenner增加了25153766,SMD增加了413252,variance增加了482932680。重建后的手写汉字图像Vollath增加了67953839,brenner增加了1178850,SMD增加了137866,variance增加了76186361。可以得出,SR-Cycle GAN在手写汉字字体风格迁移和超分辨率重建上有较好的表现。