论文部分内容阅读
计算摄影学是一个融合了计算机视觉、图形学等其他学科的研究领域,也因数码拍照越来越普及而备受关注,并在现实生活中被广泛应用于图像融合、图像质量增强、照片风格化等。随着摄影设备的普及,普通民众对高质量照片的需求越来越旺盛,而众多用户拍摄的照片中,建筑物照片和人像照片占据了相当高的比例,尤其是当游客们在著名场景中旅游时,往往会拍一些以建筑物为背景的人像照片留作纪念。本文通过建立多视图约束的学习方法着重研究了计算摄影学领域中的建筑物视点评价推荐和人脸照片美化工作,旨在为用户提供拍照前视点选择的指导和拍照后人脸美化的功能。具体来说,本文主要包含如下几个方面:1.提出了大规模建筑物照片视点标定以及视点偏好性分析的方法。对于同一个建筑物的大量照片,该方法首先通过运动恢复结构(Structure from Motion,Sf M)技术探索照片与照片之间的相对位置关系,并恢复粗糙的点云模型,点云模型和网格模型之间的配准以及变换迁移实现了照片在网格模型下对应视点信息的求解,并且具有较高的准确度。对比单张照片视点标定算法,该方法极大地减轻了视点标定的人工负担,我们以大本钟、凯旋门和巴黎圣母院等15个世界著名场景建筑物为例高效地恢复了这些建筑物照片的视点信息。本文进一步通过定义在李代数空间上的距离实现了视点的聚类,高效地将建筑物照片通过视点加以区分,验证了人们拍照时视点偏好性的存在。同时,这样的视点聚类也为用户提供了一种迅速发掘著名建筑物常见视点的方法。2.提出了多视图学习的建筑物视点评价和推荐方法。建筑物视点的好坏和建筑物照片以及该视点下所呈现出的3D几何特征是相互关联的。该方法提出了一系列包含视点信息和图像质量的2D图像特征以及一系列描述视点好坏的3D几何特征,并通过多视图学习方法中的典型性相关分析(Canonical Correlation Analysis,CCA)、核典型性相关分析(Kernel Canonical Correlation Analysis,KCCA)和SVM-2K建模这两视图特征之间的关系,实现视点的评价和推荐。该方法首先验证了结合两视图特征的有效性,并验证了用多视图学习方法会得到更好的结果。本文通过探索不同视图特征之间的相关性,实现了用其中一个视图的特征表征另一视图的特征,并解决了某一视图特征缺失时依然可以用另一视图特征实现视点的评价和推荐的问题,并且基于多视图学习算法提出了多种建筑物视点相关问题的应用。对于给定的建筑照片,多视图学习可以仅用照片所展现出来的2D图像特征实现视点评价,也可以通过照片恢复出3D模型来实现视点推荐;对于给定的3D模型,该方法可以进行视点采样并结合该视点下渲染的照片,进行视点评价和推荐。对于著名的建筑物场景,用户可以只提供少量照片来获得视点推荐的效果。3.提出了多视图约束下的人脸照片美化方法。该方法借助于生成对抗网络的结构提出了FA-GANs(Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces)来实现人脸美化。人脸颜值的提升往往包括人脸几何结构的调整和人脸妆容的调整,FA-GANs借助于当前生成对抗网络强大的图像生成能力,通过挖掘高颜值人脸的特征空间,实现了在人脸几何和人脸妆容两方面约束下的颜值提升。具体来说,多视图约束下的人脸照片美化方法包括人脸的几何调整和容貌调整两个分支,每个分支都具有生成对抗网络的结构,并可以分别实现对应的人脸调整。容貌分支中同时嵌入了人脸颜值分类的网络,使得判别器可以从粗粒度到细粒度的判别所生成的人脸是否符合高颜值人脸类别。对于容貌分支所生成的人脸,在几何结构上应与几何分支的调整结果一致,因此FA-GANs引入了多视图约束来实现人脸在几何结构和妆容上的同时调整。充分的实验验证表明,多视图约束下的人脸照片美化方法可以有效的实现人脸美化,取得了非常好的效果。