论文部分内容阅读
计算机视觉的美学研究工作,可看作对人类审美意识进行可靠的物化处理过程。利用图像、模型等众多视觉媒介丰富的颜色外观和几何结构等信息,借助计算机对数据一定程度上的视觉抽象特征提取能力,对相应美学任务进行建模学习。其中,人脸美化作为最热门研究问题一直深受研究者们的广泛关注。除此之外,各类图像美化研究也在不断发展。这些研究被广泛落实到众多工业应用当中。本文第一项工作主要是人脸的几何美化调整任务,即通过对人脸五官等面部比例的调整提升人脸美感。大部分现有的人脸几何结构美化调整多采用传统机器学习方式。本方法提出一种基于深度学习的人脸几何美化调整方法,解决人脸几何美化任务。实际上,人们为得到一张满意的人像照片,除了对图像进行后期编辑,前期拍摄时也会选择性的找最佳拍摄角度。不仅人脸图像需要考虑视点方位,其他图像的拍摄亦是如此。对于建筑物图像而言,视点不同也直接影响着建筑物图像的呈现效果。在另一项工作中,本文提出了一种建筑物图像视点评估推荐方法,从图像获取的源头考虑,探寻不同视点对于图像视觉美感优劣的影响。具体来说,本文工作主要包括以下两个方面:1.针对人脸的几何美化调整方法。本方法提出一种基于深度学习的GAGANs网络,用于人脸几何美化调整任务。该方法以生成对抗网络为框架,对人脸几何美化调整任务进行建模,旨在让网络学习普通人脸几何特征到高颜值人脸几何特征的映射方法,进而提升人脸美感。本方法采用多特征联合学习训练思想,模型内包含两个生成网络分支用于学习多视图特征间的互补信息。在特征选用上,本文选用人脸关键点、其三角化后的几何距离向量这两类特征,送入相应网络分支协同学习,最终GA-GANs两分支可独立进行人脸几何美化调整操作。本文在公开人脸数据集SCUT-FBP5500基础上进行了数据扩充,部分人脸图像取自网络收集。由大量用户标注并去除歧义性样本后得出,保证一定的审美稳定性。与现有基于机器学习的人脸几何调整方法进行对比,实验中展现了本方法的有效性和视觉显著性。2.针对建筑物图像的视点美学推荐方法。本方法提出了一种建筑物图像视点美学推荐方法。本文沿用上一项工作的多特联合学习思想,采用多视图联合学习方法。将常用图像美学规则和专业性经验技巧进行综合考虑,利用同一视点下二维图像特征和三维几何特征的同源异构性,将这两类特征组联合学习,辅助获取建筑物图像的视点美感偏好。最终训练的多视图学习器能有效的给出图像视点推荐。本模型在仅有建筑物的二维图像特征或建筑物模型的三维几何特征的情况下也能使用,符合现实中两类特征很难一并获得的情况。增强了模型的鲁棒性。在多视图学习方法的选择上,本文选用典型相关性分析(CCA)和核典型相关性分析(KCCA)这两种算法进行比较。相较于仅使用单个图像特征、几何特征或不采用多视图学习的特征集进行各项实验,对比结果验证了这两种模型算法的有效性和适用性,其中基于KCCA的方法在各类特征输入下表现最优,均取得了仅逊色于人类真实判断的评判结果。