论文部分内容阅读
面部美化是一种新颖的计算摄影技术,用来改善人像的视觉感知效果,已被广泛应用到广告设计、短视频直播和社交分享平台等领域。在实际使用面部美化技术时,为了达到理想的视觉效果需要不断调整技术参数,这个过程耗时耗力且无法适用于环境时刻动态变化的视频直播中,然而面部美化图像的美学质量评价仍未获得广泛关注。基于此,本文首先研究了面部美化图像的主观质量评价;然后从人类对人像美感的认知心理学、艺术学等学科研究结论和面部美化技术原理出发,提出了两种有效的无参考质量评价方法;最后基于本研究提出的质量评价方法设计了基于图像质量评价的面部美化系统。论文的主要研究工作如下:一、为了弥补面部美化图像质量数据库的空白,本文构建了一个面部美化图像(Facial Beautification Images,FBI)质量数据库。首先收集25幅无遮挡、无浓妆和美丽程度相对一致的面部图像;然后采用六种常用美化方法,每种方法参数设置四个等级对每幅图像进行美化操作;接着30位实验者在基于MATLAB构建的GUI界面上进行主观评价实验;最后利用置信区间剔除主观数据中的异常值,将剩余数据的均值作为图像的主观平均意见值(Mean Opinion Score,MOS)。根据对MOS值的标准差分布和直方图的分析结果可知,FBI数据库的MOS值具有很好的离散性,符合建库标准。二、提出了一种基于人像美感认知心理学的面部美化图像无参考质量评价方法。根据心理学、艺术学和社会学等学科对人脸美感研究的结论可知,脸部五官的属性是截然不同的,对它们的审美标准也存在较大差异。面部美化正是依据这些结论借助图像处理手段改变脸部属性以提高人像视觉质量的技术。基于此,本文提出了基于人像美感认知心理学的面部美化图像质量评价方法。该方法通过分解脸部图像得到皮肤区域、眼睛区域和嘴巴区域;然后依据人像心理学先验量化这些区域的美感特征,包括皮肤美感三大属性:颜色、光照和光滑度,眼睛、嘴巴和周围区域皮肤之间灰度差所引起的审美差异以及图像清晰度;最后采用支持向量回归(Support Vector Regression,SVR)函数训练面部美化图像质量预测模型。在构建的FBI质量数据集上的测试结果显示,本方法预测的质量分数和图像MOS值在单调性和准确性上保持高度的一致性,且优于现有主流的七种无参考评价方法。三、提出了一种基于深度学习的面部美化图像无参考质量评价方法。鉴于人类视觉系统对面部美化图像质量存在主观性,以人像美学和艺术学为依据,采用提取脸部美感特征的方法虽然取得了一些成果,但是提取的特征一般都是低层次的,对量化抽象概念的面部美感心有气而力不足,在预测精度上很难再次突破。而深度学习通过模拟人类神经网络,组合低层次特征形成更高层次的抽象特征,能够显著提高对图像的表达能力。基于此,提出基于了深度学习的面部美化图像质量评价方法。该方法首先将面部图像分解为纹理图层、亮度图层和颜色图层;然后在SCUT-FBP5500数据库上将这些图层依次输入到级联优化卷积神经网络(Cascaded Fine-tuning CNN,CF-CNN)中进行预训练,最后在FBI数据库上采用微调(Fine-tuning)的方式优化网络。实验结果表明本方法能更加有效的评价面部美化图像质量。四、设计了一个基于图像质量评价的面部美化系统。本文的研究初衷旨在指导美化技术参数的选择,为了更直观的展示本文提出方法的预测性能和实用价值,为此提出一个基于图像质量评价的面部美化系统。该系统由人脸检测模块、面部美化模块和质量评价模块三部分构成,将图像质量评价方法嵌入到图像美化后,实现了指导美化技术参数选择的功能。以实际应用的方式进一步展示了本文质量评价方法的性能。该论文有图26幅,表9个,参考文献102篇。