基于自监督人脸增强和生成的图像抠图算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:flowerofwind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像抠图算法致力于求出给定图像的alpha掩膜,进而提取出图像的前景部分,来实现背景替换等操作。这一技术已经在影视剪辑,图像后期等产业广泛使用。同时,图像抠图算法应用在很多计算机视觉相关任务的数据预处理流程中,如去雾、去雨等,也受到了学术界的广泛关注。尽管借助深度学习技术,近年来的图像抠图算法效果得到了很大的提升,但图像抠图算法中存在的一个缺陷一直没有得到成功解决,那就是需要额外先验知识来辅助算法进行抠图。由于根据输入图像求解alpha掩膜在数学上是一个欠约束问题,传统图像抠图算法都需要用户指定部分区域,告诉抠图算法这些区域是前景、背景区域;基于深度学习的图像抠图算法尝试用分割网络来预测三分图,但预测出的三分图往往过于粗糙,存在很多错误,导致预测出错误的alpha掩膜。本文从另一个完全不同的角度尝试解决这一问题。给定一张人脸图像,我们不去直接预测其对应的三分图,而是微弱的对输入图像进行改动增强,使得增强后的图像能更容易的被现有的分割模型和抠图模型提取相关特征,自监督的修复三分图中的错误,并提升预测的alpha掩膜准确度。该方法是通过探索生成对抗网络生成器的隐空间实现的。隐空间已经被证实可以找到可解释方向,对应图像的高维语义信息,我们进一步在图像抠图领域探索这一特性。我们将输入的人脸图像映射到生成器的隐空间中,我们的目标是在隐空间中寻找到一个更好的隐空间向量,使得对应的图像与现有的分割模型,抠图模型更兼容,我们提出了四个损失函数,来在隐空间中寻找该隐空间向量。同时,我们提出了一种简单且有效的方法来在训练阶段提升抠图网络的训练效果,该方法通过在训练时激活抠图网络编码器特征图中合适的神经元,来让网络得到更好的训练。我们在训练阶段将这个激活图逐渐从真实alpha掩膜过度到伪alpha掩膜,测试阶段使用粗糙的alpha掩膜作为激活图进行迭代测试,来进一步提升抠图模型的性能。我们通过实验证明了我们提出的方法,能增强给定的人脸图像,使得在不改变原抠图模型参数的前提下,获得更准确的三分图,进而获得更准确的alpha掩膜。同时,我们利用了Style GAN强大的生成能力,生成了一个新的抠图数据集来微调现有的抠图模型,提升现有模型的性能。通过我们提出的特征激活机制,重新训练的抠图模型达到了目前最好的效果。
其他文献
随着增强现实(Augmented Reality,简称AR)技术的发展,越来越多的AR移动应用进入到人们生活中,尤其是在移动电商领域。在AR购物场景中,消费者能得到身临其境的购买体验,更全面和完整地了解商品的特点。但现有的AR购物环境中存在一些问题:其一,AR应用由于其自身的复杂性,出现的卡顿和崩溃等软件缺陷往往难以被应用开发者捕获;其二,由于大量AR操作特征未被利用,商品推荐模型表现效果不佳;其
轻量化是目前航空航天、武器装备以及交通运输领域产品发展的重要方向,其不仅对降低产品的自身提出要求,还对构件性能和精度要求越来越高。采用镁合金等轻量化材料和薄壁、带内筋等轻量化结构的结合是实现构件轻量化的重要途径。镁合金在室温下塑性差、难变形,塑性变形主要在加热下进行。镁合金温度敏感性高,旋压成形过程中容易产生各种缺陷,成形质量更加难以控制。此外,材料除轴向和径向流动外,还存在着较大的切向流动,导致
如何实现面向一维医疗影像的图文分割是本文的主要关注点。近年来深度学习等新兴领域都需要大量的数据集进行科学研究,但是在一些关注于一维医疗影像的科学研究中,往往都是在一维数据上进行更为细致的划分。现有有关二维医疗影像分割一维内容算法的相关研究相对较少,因此研究面向一维医疗影像的图文分割算法对于推动自动化提取数据集以及后续的相关研究至关重要。全文基于茂名市人民医院提供的纸质心电图数据集,分别围绕非监督学
本文主要研究了紧致度量空间上自由半群作用的拓扑r压和拓扑压,主要内容可以分成以下两个部分:第一部分,在紧致度量空间上我们分别用张成集和分离集定义了自由半群作用的拓扑r压,并由此得到自由半群作用的拓扑r压的相关性质.最后我们给出本文的第一个主要结果:自由半群作用的拓扑r压和拓扑压的关系,即自由半群作用的拓扑压是拓扑r压当r趋于0时的极限.第二部分,主要阐释本文的第二个结果:若fi,i=0,1,…,m
随着装配式建筑越来越广泛的应用,蒸压加气混凝土配筋板材(ALC板)需求量大增,但由于其多孔结构及生产过程在180℃-200℃、1.0 MPa左右条件下进行蒸压养护,使得蒸压加气混凝土在钢筋防锈上具有天然的劣势。涂层材料能将钢筋与锈蚀物质隔绝开来,是目前最常用的钢筋防锈方法。根据ALC板钢筋防锈涂层材料的性能要求,地聚物材料在粘结强度、抗渗性、耐热性、耐化学侵蚀性上具有良好的表现,但存在柔韧性差、收
建筑装配化建设在工业化背景的推动下已取得了较多的成果,其中装配式装修在近些年逐渐被关注,国家和地方政府纷纷出台相关文件与鼓励政策来促进装配式装修的应用与发展,装配式装修成为了我国装配化建设发展过程中十分重要的一部分。但目前对于装配式装修应用的研究多集中于住宅建筑,公共建筑领域涉猎较少。在公共建筑中,连锁酒店客房装修与装配式装修具有较高的关联性。主要原因有:第一,酒店连锁化程度的不断提高为装配式装修
超级电容器是一种介于传统电容器与电池之间的新型电子器件,具有功率密度大、充放电快及循环稳定性好等优点,是储能器件领域的研究热点。然而其能量密度与电池还存在一定差距。超级电容器的核心组成部分为电极,因此开发具有高比电容、高能量密度和长循环寿命的电极材料是构筑高性能超级电容器的关键所在。导电聚合物水凝胶作为新型超级电容器电极材料,同时具备导电聚合物的高导电性、高比电容和水凝胶独特的三维互联网状结构,解
沼气作为一种绿色可再生的能源,因其中CO2含量高而难以广泛利用,造成资源浪费和环境污染。水合物法气体分离技术,具有操作简单、无污染等特点,可用于脱除沼气中的CO2。利用水合物法进行沼气脱碳的研究对于沼气的开发利用具有重要意义。本文探讨了利用水合物法、吸收法、膜分离法进行沼气脱碳的能量消耗,并根据不同技术的优缺点进行工艺耦合,并以能耗指数(ECI)为评价指标进行了优化。本文选择广州某垃圾填埋厂的填埋
随着半导体工艺节点的迭代升级,商用芯片因其高性能低成本等特点,越来越受到航天任务的青睐。空间环境中高能粒子穿过半导体材料的敏感区,产生的单粒子效应会使搭载商用芯片的航天器暂时故障甚至永久报废。作为最常用的两款商用芯片,先进可靠的SRAM型FPGA和高精度高采样速率ADC是顺利进行航天探索的关键一环。以往的SRAM型FPGA单粒子效应测试系统的设计,主要集中在某一工艺节点的单粒子效应研究,对各工艺节
聚酰胺-胺(PAMAM)树状大分子由于体积小、表面易修饰、内部疏水等优点,因此广泛应用于递送药物、基因治疗、生物成像等医药学领域。由于PAMAM具有一定的细胞毒性和溶血性,且在循环过程中易于清除等诸多问题限制了其医学应用。此外,PAMAM具有作为药物输送载体之外的生物学效应,可以在不同细胞系中诱导细胞自噬。由于自噬与肿瘤存在双重关系,这为肿瘤治疗提供了两种截然不同的思路:抑制自噬提高抗癌治疗效果,