论文部分内容阅读
【摘 要】随着科技的快速发展，人们开始追求自拍美。然而单纯手机影像硬件带来的提升，会过分突出脸部细节的不足。故本文提出基于人脸关键点检测与引导滤波技术的人脸图像美颜算法。该算法首先对图片中的人脸进行检测，定位关键脸部器官的位置，再根据引导滤波器，滤除脸部存在的皮肤缺陷，完成对人脸图像的美颜效果。经过实验结果得出结论，该算法能够较好的滤除脸部噪点，对脸部的关键五官有很好的保边效果，总体上能得到一张真实性强、磨皮效果好的结果图。
【关键词】人脸图像美颜;人脸关键点检测;保边滤波;引导滤波
引言
随着社会的发展和科技的进步，越来越多的人开始追求时尚和美丽。手机拍照硬件的快速提升更是加速了这一过程。随着硬件的飞速发展，人们脸上的缺陷也毫无保留地暴露出来，严重影响了图像的美观。故针对此情况，提出人像美颜算法，使其在后期能通过图像修正等手段对图片进行美化。图像滤波技术是人脸美颜的关键技术之一，在尽可能保留图像细节的同时，能够很好地抑制目标图像的噪声。对于数字图像而言，噪声表现为像素值大小的极值。正是噪声的存在，极大地降低了图像的质量。一般来说，要构造一个良好的噪声抑制滤波器，需要考虑其对人像图片的瑕疵噪点产生的过滤效果，同时也要考虑其是否能有效的保留图像中的边缘信息，不损失图像的细节。引导滤波算法就是实现上述效果的典型算法之一，它在实现对人脸图片美化的同时，保留了图像脸部轮廓及面部器官的细节，在一定程度上降低了人脸图像的美颜痕迹，给人以更加真实的自然美的感觉，在人脸美颜方面有着广泛的应用。
1.人脸关键点检测
对于人像美颜算法而言，实际主要的美化工作更集中在对人脸面部的美化上。所以要对面部进行美化，首先需要对图片进行人脸面部检测，定位到图片中人脸所在的位置。人脸本身具有一定的特殊属性，如人脸形状大体上是一个椭圆形，在色彩上皮肤与其它非皮肤区域有很大的区别，在数字化图像里表现为像素点值的跳变;除此之外，人脸的中心区域也是由眉毛、眼睛、鼻子、嘴巴等具有特点的器官构成，这些特殊的属性成为了人脸图像的特征区域。基于这些特征区域以及面部轮廓的关键点，我们可以准确地获取脸部以及脸部各个器官的位置信息，进而能够对图片进行滤波美化处理。
利用Python语言进行人脸关键点的检测，图（a）是输入参数图片，即原图，图（b）是原图的86个面部关键点检测结果。从（b）可以看到，图像中人脸轮廓以及人脸主要特征器官被关键点标识出。
2.滤波算法
2.1 高斯滤波
高斯滤波器是一种适用于消除高斯噪声的线性平滑滤波器。经过高斯滤波处理后的图像，该图像里面每个像素点的值都是经过该像素点与其邻域内的其它像素点经过加权平均后得到。其公式如下：
在公式（1）中，是濾波权重，是归一化常量，和是图像像素索引。从公式中可以看出，像素点的过滤值由该点与其邻域像素点通过加权平均后得到，且该像素点邻域内的其它像素点的权值大小与其距离成单调关系。对的数值进行改变，相当于改变了该点邻域内的其它像素点对当前像素点的权重影响程度。如增大的数值就是提高该点邻域的远处像素点对该像素点的权重，造成的滤波效果也会更加明显。
但在实际使用中发现，对图像进行高斯滤波过滤，人脸面部的一些细节无法被保留，面部轮廓和五官同样进行了模糊，没有达到理想效果。因此基本的高斯滤波无法满足需求，需要在其基础上考虑其它影响权值的因素。
2.2 保边滤波
人脸图像一般都存在噪声，而噪声和边缘在局部方差方面表现相似，所以对于图像中存在的噪声和边缘，一些滤波算法并不能区分。故而在很多情况下，滤波后图像的边缘会变得模糊，存在边缘模糊且残余噪声较大等缺点。如上面提到的高斯滤波算法就存在这样的问题。这时候就需要对算法进行更新。保边滤波器是指在滤波过程中能够有效的保留图像中的边缘信息的一类滤波器，能够很好地解决压噪和保边之间的矛盾。引导滤波器属于保边滤波器的一种，与大多数边缘保持滤波算法相比，它最大的优点是窗口的大小不影响算法的复杂度，在对大型图像进行滤波处理时效率有明显的提升。
2.3 引导滤波
引导滤波是保边滤波器的一种，它需要引导图像作为输入，对待滤波图像进行滤波处理，属于一种图像滤波技术。相比于双边滤波算法（另一种保边滤波算法），引导滤波算法降低了滤波器的算法复杂度，在时间效率上有明显提升。
引导滤波器是一种线性滤波器，如公式（2）所示。当对图像中第个像素点进行处理时，引导图像会对该点邻域内点的权重造成影响，得到一个受该引导图像影响的滤波输出：
在公式（2）中，是经过滤波处理后的输出图像，是滤波窗口，为输入的引导图像，是受输入的引导图像影响的权值，是输入的待滤波图像。和都是该算法的输入。
假设在滤波窗口上，输出图像和引导图像存在局部线性关系，即表示为公式（3）。对于原图可以这样认为，原人脸图像是输出图像叠加了噪声影响的图像，用数学符号表示就是，即原人脸图像减去噪声就为我们的输出图像。所以我们要优化这个公式，使其满足噪声最小。可以将其转化为求最优化问题，得到滤波窗口内的损失函数为：
根据推导结果看出，当在图像的边缘区域时，在该区域像素点值的波动很大，方差会远远大于，根据上式，得到，根据公式（3），得到，表明在该区域保持边缘不变;当在图像的平滑区域时，在该区域内像素点值的波动很小，方差无限接近于，远小于，根据上式得到的结果，得到，根据公式（3），得到，表明在该区域对图像产生了滤波操作。所以，引导滤波在对人脸图像美颜的处理方面，可以很好的滤除人脸图像表面皮肤的噪点，对人脸五官和边缘轮廓有很好的保留效果。
3.实验结果及分析
通过Python语言编写代码，先经过人脸关键点检测定位，再分别用高斯滤波算法与引导滤波算法实现人脸美颜效果。 下图中，图（a）是输入图片，即原图;图（b）是经过高斯滤波算法处理后的人像图片;图（c）是经过引导滤波算法处理后的人像图片。
经过对比可以发现，经过高斯滤波处理的人像图片，瑕疵去除效果一般，而且其面部轮廓与五官也都进行了模糊处理，导致五官显示不清晰。经过引导滤波处理的人像图片，其脸部瑕疵基本被滤除，噪声减弱效果好，且面部轮廓与五官变得非常清晰，五官与皮肤之间的过度更加平滑，图像整体更加真实，美颜效果明显优于高斯滤波。
4 .结语
本文基于人脸关键点检测技术与引导滤波算法的原理，对人脸图像美颜进行了概述和探讨。人脸关键点检测技术可以快速的找到图片中人脸面部轮廓以及脸部各个器官的位置。基于这些轮廓及关键点，对图像面部进行美化处理。普通的滤波算法虽然可以有效的滤除图片面部的瑕疵噪点，但对人脸图像边缘化的特征也进行了过分的过滤。于是本文提出了保边滤波算法中的引导滤波算法，让引导图像与输入图像一致，使该算法成为一个保边算法。利用Python语言，实现本文提到的人脸关键点检测以及引导滤波算法，完成美颜效果。根据实验所得图像进行对比，发现该算法不仅有效的去除了人脸皮肤面部的瑕疵噪点，而且對耳眼口鼻等器官以及面部轮廓边缘有很好的保留效果。
参考文献
[1]张明丽. 人脸关键点检测算法研究[D].北方工业大学，2018.
[2]石胡森. 基于深度学习的人脸关键点检测方法研究[D].中国科学技术大学，2020.
[3]石野，王晓凯，刘慧锋.基于局部滤波模板的双边滤波算法研究[J].测试技术学报，2021，35（01）：49-53.
[4]张杨洋.滤波算法在数字图像降噪中的应用[J].自动化应用，2020（12）：49-51.
[5]张娜，刘娜，杜清漪.基于高斯同态滤波和引导滤波对图像增强的研究[J].电脑知识与技术，2020，16（03）：190-191.
作者简介： 王丙正 （2000.6-），男，汉族，河南信阳， 本科，天津科技大学，研究方向：软件工程。
韩蔚琪（1999.12-），女，汉族，甘肃兰州，本科，天津科技大学，研究方向：软件工程。
刘世豪（2000.3-），男，汉族，河南开封，本科，天津科技大学，研究方向： 软件工程。
天津科技大学 天津 300450
【关键词】人脸图像美颜;人脸关键点检测;保边滤波;引导滤波
引言
随着社会的发展和科技的进步，越来越多的人开始追求时尚和美丽。手机拍照硬件的快速提升更是加速了这一过程。随着硬件的飞速发展，人们脸上的缺陷也毫无保留地暴露出来，严重影响了图像的美观。故针对此情况，提出人像美颜算法，使其在后期能通过图像修正等手段对图片进行美化。图像滤波技术是人脸美颜的关键技术之一，在尽可能保留图像细节的同时，能够很好地抑制目标图像的噪声。对于数字图像而言，噪声表现为像素值大小的极值。正是噪声的存在，极大地降低了图像的质量。一般来说，要构造一个良好的噪声抑制滤波器，需要考虑其对人像图片的瑕疵噪点产生的过滤效果，同时也要考虑其是否能有效的保留图像中的边缘信息，不损失图像的细节。引导滤波算法就是实现上述效果的典型算法之一，它在实现对人脸图片美化的同时，保留了图像脸部轮廓及面部器官的细节，在一定程度上降低了人脸图像的美颜痕迹，给人以更加真实的自然美的感觉，在人脸美颜方面有着广泛的应用。
1.人脸关键点检测
对于人像美颜算法而言，实际主要的美化工作更集中在对人脸面部的美化上。所以要对面部进行美化，首先需要对图片进行人脸面部检测，定位到图片中人脸所在的位置。人脸本身具有一定的特殊属性，如人脸形状大体上是一个椭圆形，在色彩上皮肤与其它非皮肤区域有很大的区别，在数字化图像里表现为像素点值的跳变;除此之外，人脸的中心区域也是由眉毛、眼睛、鼻子、嘴巴等具有特点的器官构成，这些特殊的属性成为了人脸图像的特征区域。基于这些特征区域以及面部轮廓的关键点，我们可以准确地获取脸部以及脸部各个器官的位置信息，进而能够对图片进行滤波美化处理。
利用Python语言进行人脸关键点的检测，图（a）是输入参数图片，即原图，图（b）是原图的86个面部关键点检测结果。从（b）可以看到，图像中人脸轮廓以及人脸主要特征器官被关键点标识出。
2.滤波算法
2.1 高斯滤波
高斯滤波器是一种适用于消除高斯噪声的线性平滑滤波器。经过高斯滤波处理后的图像，该图像里面每个像素点的值都是经过该像素点与其邻域内的其它像素点经过加权平均后得到。其公式如下：
在公式（1）中，是濾波权重，是归一化常量，和是图像像素索引。从公式中可以看出，像素点的过滤值由该点与其邻域像素点通过加权平均后得到，且该像素点邻域内的其它像素点的权值大小与其距离成单调关系。对的数值进行改变，相当于改变了该点邻域内的其它像素点对当前像素点的权重影响程度。如增大的数值就是提高该点邻域的远处像素点对该像素点的权重，造成的滤波效果也会更加明显。
但在实际使用中发现，对图像进行高斯滤波过滤，人脸面部的一些细节无法被保留，面部轮廓和五官同样进行了模糊，没有达到理想效果。因此基本的高斯滤波无法满足需求，需要在其基础上考虑其它影响权值的因素。
2.2 保边滤波
人脸图像一般都存在噪声，而噪声和边缘在局部方差方面表现相似，所以对于图像中存在的噪声和边缘，一些滤波算法并不能区分。故而在很多情况下，滤波后图像的边缘会变得模糊，存在边缘模糊且残余噪声较大等缺点。如上面提到的高斯滤波算法就存在这样的问题。这时候就需要对算法进行更新。保边滤波器是指在滤波过程中能够有效的保留图像中的边缘信息的一类滤波器，能够很好地解决压噪和保边之间的矛盾。引导滤波器属于保边滤波器的一种，与大多数边缘保持滤波算法相比，它最大的优点是窗口的大小不影响算法的复杂度，在对大型图像进行滤波处理时效率有明显的提升。
2.3 引导滤波
引导滤波是保边滤波器的一种，它需要引导图像作为输入，对待滤波图像进行滤波处理，属于一种图像滤波技术。相比于双边滤波算法（另一种保边滤波算法），引导滤波算法降低了滤波器的算法复杂度，在时间效率上有明显提升。
引导滤波器是一种线性滤波器，如公式（2）所示。当对图像中第个像素点进行处理时，引导图像会对该点邻域内点的权重造成影响，得到一个受该引导图像影响的滤波输出：
在公式（2）中，是经过滤波处理后的输出图像，是滤波窗口，为输入的引导图像，是受输入的引导图像影响的权值，是输入的待滤波图像。和都是该算法的输入。
假设在滤波窗口上，输出图像和引导图像存在局部线性关系，即表示为公式（3）。对于原图可以这样认为，原人脸图像是输出图像叠加了噪声影响的图像，用数学符号表示就是，即原人脸图像减去噪声就为我们的输出图像。所以我们要优化这个公式，使其满足噪声最小。可以将其转化为求最优化问题，得到滤波窗口内的损失函数为：
根据推导结果看出，当在图像的边缘区域时，在该区域像素点值的波动很大，方差会远远大于，根据上式，得到，根据公式（3），得到，表明在该区域保持边缘不变;当在图像的平滑区域时，在该区域内像素点值的波动很小，方差无限接近于，远小于，根据上式得到的结果，得到，根据公式（3），得到，表明在该区域对图像产生了滤波操作。所以，引导滤波在对人脸图像美颜的处理方面，可以很好的滤除人脸图像表面皮肤的噪点，对人脸五官和边缘轮廓有很好的保留效果。
3.实验结果及分析
通过Python语言编写代码，先经过人脸关键点检测定位，再分别用高斯滤波算法与引导滤波算法实现人脸美颜效果。 下图中，图（a）是输入图片，即原图;图（b）是经过高斯滤波算法处理后的人像图片;图（c）是经过引导滤波算法处理后的人像图片。
经过对比可以发现，经过高斯滤波处理的人像图片，瑕疵去除效果一般，而且其面部轮廓与五官也都进行了模糊处理，导致五官显示不清晰。经过引导滤波处理的人像图片，其脸部瑕疵基本被滤除，噪声减弱效果好，且面部轮廓与五官变得非常清晰，五官与皮肤之间的过度更加平滑，图像整体更加真实，美颜效果明显优于高斯滤波。
4 .结语
本文基于人脸关键点检测技术与引导滤波算法的原理，对人脸图像美颜进行了概述和探讨。人脸关键点检测技术可以快速的找到图片中人脸面部轮廓以及脸部各个器官的位置。基于这些轮廓及关键点，对图像面部进行美化处理。普通的滤波算法虽然可以有效的滤除图片面部的瑕疵噪点，但对人脸图像边缘化的特征也进行了过分的过滤。于是本文提出了保边滤波算法中的引导滤波算法，让引导图像与输入图像一致，使该算法成为一个保边算法。利用Python语言，实现本文提到的人脸关键点检测以及引导滤波算法，完成美颜效果。根据实验所得图像进行对比，发现该算法不仅有效的去除了人脸皮肤面部的瑕疵噪点，而且對耳眼口鼻等器官以及面部轮廓边缘有很好的保留效果。
参考文献
[1]张明丽. 人脸关键点检测算法研究[D].北方工业大学，2018.
[2]石胡森. 基于深度学习的人脸关键点检测方法研究[D].中国科学技术大学，2020.
[3]石野，王晓凯，刘慧锋.基于局部滤波模板的双边滤波算法研究[J].测试技术学报，2021，35（01）：49-53.
[4]张杨洋.滤波算法在数字图像降噪中的应用[J].自动化应用，2020（12）：49-51.
[5]张娜，刘娜，杜清漪.基于高斯同态滤波和引导滤波对图像增强的研究[J].电脑知识与技术，2020，16（03）：190-191.
作者简介： 王丙正 （2000.6-），男，汉族，河南信阳， 本科，天津科技大学，研究方向：软件工程。
韩蔚琪（1999.12-），女，汉族，甘肃兰州，本科，天津科技大学，研究方向：软件工程。
刘世豪（2000.3-），男，汉族，河南开封，本科，天津科技大学，研究方向： 软件工程。
天津科技大学 天津 300450