论文部分内容阅读
人脸画像合成是通过机器学习的方法将人脸照片转换成画像的过程。人脸画像合成在现实生活中有着广泛的应用,如刑侦破案和数字娱乐等。以刑侦破案为例,自动搜索犯罪嫌疑人的照片可以辅助办案人员缩小搜索范围。在获取不到犯罪嫌疑人正面清晰照片的情况下,画家可以根据受害者或者目击证人的描述或者监控视频中不清晰的画面绘制出犯罪嫌疑人的画像。在这种情况下,我们可以借助人脸画像合成技术将刑侦数据库中的人脸照片转换成人脸画像,再与画家描绘的人脸画像进行比对。由于刑侦人脸画像的数据量庞大,并且这些画像可能出自于不同画家之手,具有不同的绘制风格,需要先确定画像的风格,再将数据库中的照片快速合成为具有相同风格的画像,进而实现比对。但是,现有人脸画像合成方法的效率较低,并且关于人脸画像风格分类的研究至今少见,不能满足上述需求。为此,本文致力于研究人脸画像的快速合成方法和风格分类算法,主要创新点可以概括为: 1.提出一种基于双迁移学习的人脸画像合成算法。现有的人脸画像合成方法假设人脸画像和照片在低维流形下结构相近,首先学习出测试照片和训练照片的结构信息,然后将该信息从照片空间映射到画像空间,从而合成人脸画像。但是画像和照片中人脸的局部结构相近的假设过强,当一些特有的信息存在于测试人脸照片中,而不存在于训练人脸照片-画像对中时,它们将很难被合成出来。针对该问题,提出了一种基于双迁移学习的人脸画像合成算法:第一步为域间迁移学习,将训练照片和测试照片的关系从照片域迁移到画像域,得到训练画像和待合成画像的关系;第二步为域内迁移学习,在照片-画像联合域,将训练照片和画像的关系域内迁移到测试照片和待合成画像的关系;第三步为高效实现,使用核范数正则化目标函数,使其解满足低秩特性,进而获得闭式解。实验表明所提方法相较于现有的人脸画像合成方法,可以更快更好的合成测试集中特有的信息。 2.提出一种基于组合模型的人脸画像合成算法。现有的人脸画像合成方法先将人脸图像分成等大小均匀且有交叠的方块,然后逐块进行人脸画像合成,最后使用加权平均的方法处理画像块的交叠部分,得到最终的画像。这样基于块加权平均的方法会抑制边缘和高频信息,会造成交叠区域的纹理模糊。针对上述问题,仿照画家根据照片描绘人脸画像前的观察和思考过程,提出了一种基于组合模型的人脸画像合成方法:第一步为模版生成,将人脸划分为七个部件,每个部件生成不同的模板,替代传统方法中将人脸划分成等大小均匀且有交叠的图像块,保证了每个部件的完整性;第二步为部件合成,根据每个部件设计特征,并使用分类方法为测试照片部件找出最相似的画像模板,有效地将训练和测试阶段分开,将训练阶段放在线下学习,从而提高了算法线上测试的速度;第三步为部件形变和融合,采用多层的B样条估计的方法,使所选画像模版的形状与测试照片的形状尽可能相似,并使用泊松融合形变后的部件,避免传统加权平均融合方法带来的边缘抑制和模糊问题。实验表明所提方法相较于现有的人脸画像合成方法,不仅合成速度快,而且合成人脸画像的纹理清晰生动,实现娱乐领域的三个应用。 3.提出一种基于画风部件与特征的画像风格分类算法。现有关于风格分类的方法主要针对中国山水画和西方油画,而它们与人脸画像存在一定的差异,无法直接使用现有方法解决人脸画像风格分类的问题。针对该问题,提出一种基于画风部件与特征的画像风格分类算法:第一步为设计画风部件,借鉴艺术评论家通过观察人脸画像不同部件的细节信息来区分人脸画像画家的方法,设计了五个画风部件;第二步为设计画风特征,借鉴画家使用不同的绘画技巧表现出他们独有的人脸画像风格,设计了四个画风特征;第三步为利用基于支撑向量机的选择性集成方法进行人脸画像的风格分类,增强机器学习系统的泛化能力,提高分类问题的准确性。实验表明所提方法可以快速有效地区分不同画家的绘画风格。 4.提出一种基于多核学习的画像风格分类算法。不同的特征具有不同的数据结构,这些异构的结构信息使得输入到分类器的数据存在高维空间分布不平坦的问题。针对上述问题,提出了一种基于多核学习的画像风格分类算法:不同的核函数把异构数据对应的不同特征分量映射到不同的特征空间中,使得异构数据在不同特征空间组合而成的组合空间中得到更好的表示,提高分类准确率。多核学习相较于交叉验证、特征选择和选择性集成在解决画像风格分类问题上具有一定的优越性。实验表明所提方法不仅可以有效地区分不同画家的绘画风格,并且可以辅助画像合成方法合成出不同风格的人脸画像。