论文部分内容阅读
随着数字化技术的飞速发展,人们对影视节目制作、图像与视频编辑等的质量要求越来越高。抠像在许多图像和视频编辑应用中起着重要的作用。它一直受到影视制作、计算机图形学和视觉领域研究人员的广泛关注,并进行了深入研究。抠像算法是指从前景中提取出感兴趣区域并将之与另一个背景进行融合的算法,一般包括绿屏抠像算法和自然抠像算法。目前工业上已经有许多使用成熟的抠像算法,如色度键、色差键、KNN抠像等。但这些算法仍存在着速度和效果等方面的问题,针对这些问题,本文在现有抠像算法的基础上提出了一种实时绿屏抠像框架和一种面向自然背景的深度肖像抠像算法。论文的主要工作如下:(1)提出了一种基于CUDA架构的实时绿屏抠像框架。当前的绿屏抠像算法在一些细节上面还存在毛发丢失、边缘太硬、背景色溢色、噪声等问题,如果没有专业处理设备的支持这些算法也难以实时处理。针对上述问题,我们提出了一个实时绿屏抠像框架,该框架可同时处理上述问题,并可采用CUDA进行加速。首先,采用硬遮罩和软遮罩相结合的方法来保留毛发细节;对于边缘太硬的问题,通过膨胀和过度腐蚀操作来处理;消溢色操作是采用红色通道和蓝色通道抑制绿色通道的方法来完成的;为保留细节,噪声抑制采用高斯低通滤波器。最后,使用CUDA对算法进行并行加速来达到实时抠像。评估结果表明,所提出的框架具有毛发细节完整,边缘平滑,背景色不溢色,合成图片没有明显噪声的特点。在GTX1050Ti环境下,平均每帧处理时间约20ms左右,可达到实时处理要求。(2)提出了一种采用深度神经网络的肖像抠像算法。针对当前肖像抠像数据集过小,并且存在数据标签不准确的情况。我们设计了一个全新的模型U-NetGANs来解决数据增强和标签容错这两个问题。U-NetGANs使用GANs框架来训练,生成器使用U-Net网络,判别器使用AlexNet网络。U-NetGANs除了解决了数据量小和标签不准确的问题之外,还有具有网络收敛速度快的特点。实验结果表明,相比其他网络U-NetGANs所需迭代次数大大减少,在MSE和Grad指标中,U-NetGANs具有其他网络更好性能。