基于语义引导的循环一致对抗图像自动着色

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:zbrichard
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像着色任务的目的是将灰度图像的每个像素转换成合适的色彩像素,以使生成的着色图像具有感知上的意义和视觉吸引力。图像着色可协助视觉理解和对象跟踪等高级任务。在我们的日常生活中,无论是重燃尘封的回忆还是表达艺术创造,着色技术都能够起到关键作用。因此它一直是图像处理和计算机图形学研究领域中的活跃主题。图像着色是一种病态且模棱两可的问题。由于许多颜色共享同一灰度像素值,解决方案空间中存在的多模式性使得图像着色成为一项极富挑战性的任务且没有独特的标准解决方案。作为一种无需人工干预即可自动为灰度图像自动上色的图像着色技术,自动着色一直是图像着色研究领域中的一个活跃分支。与现有的大多数方法都集中在监督学习和色彩空间转换技术上以恢复原始图像的颜色不同,本文认为合理的解决方案是生成一些看起来很自然的着色结果,并且应避免成对的训练数据,以免数据收集不便。此外,本文认为无论要分配哪种颜色的区域,着色区域都应在语义和空间上保持一致。由于对应于灰度值的颜色值不是唯一的,因此严格的监督学习可能会导致不饱和着色。基于GAN的生成方案需要在语义空间上保持高度一致。为此,本文提出了一种基于非成对样本的无监督自动着色方案ACCycleGAN。特别是,在CycleGAN的启发下,本文将着色过程视为图像转换,并使用循环一致性思想来训练模型。在训练过程中,将高级身份损失修改和低级灰度损失引入优化模型。本文在PASCAL VOC 2007中随机抽取的数据作为训练集,因为本文的架构不需要大量数据来进行训练。其着色实验结果证明了本文基于循环一致对抗着色方案有效性。为了保证着色区域在语义与色彩特征空间上的一致性,本文进一步提出了以语义分割任务为指导的生成器来预测颜色分布,并将提出的灰度损失由L1范数优化为L2范数。本文使用PASCAL VOC 2012中随机抽取的少量数据集上训练进一步提出的模型。为了验证改善后模型的性能,本文使用一些流行先进方案进行了对比实验,并探索了模型组件对性能的贡献。实验结果表明,本文提出的方案可以生成令人信服的颜色,同时保持图像内容的一致性。
其他文献
光催化析氢和电催化CO_2还原为有用的碳基燃料是缓解环境污染和能源危机的有效途径。然而,目前研究的光催化剂通常存在着无法高效利用太阳光和难以实现光学性质可调控的问题;电催化CO_2还原的催化剂也面临着选择性差,难以得到乙醇等多碳产物的难题。而一维金属/金属或金属/半导体纳米材料因其高比表面积和快速电子传输特性能够显著增强催化反应的活性和选择性;同时,一维异质结纳米材料可以通过控制其长度或长径比而有
目的基于肠道菌群-肠-肝轴探讨维生素D缺乏对肠道菌群以及肠道屏障功能的影响和酒精性肝损伤的炎症发病机理。方法将4周龄C57BL/6Cnc雄鼠随机分为四组,分别为对照组(Ctrl),单
近年来钙钛矿型太阳电池飞速发展,光电转换效率飞快提升,短短六年间已经从9.7%提升到23.3%,成为最有潜力的新型薄膜太阳电池。众多研究者对不同种类的钙钛矿材料进行研究,目前已经开发出多种A/B/X组合的钙钛矿材料,然而这些不同组合的钙钛矿材料导致了其导带能量和价带能量的差异。空穴传输材料作为钙钛矿太阳电池的重要组成部分,其最高占据分子轨道(Highest Occupied Molecular O
对已开采矿床进行三维地质建模,有助于了解矿床深部地质结构和成矿规律,从而指导深部找矿,为攻深找盲开辟第二找矿空间打下基础。云际矿床是相山矿田中开采程度较高的矿床之一,对其开展了大量的地质工作并积累了一定数量的矿床资料,但三维地质建模相关的研究工作则较少。本文在收集云际矿床地质数据的基础上,运用GOCAD等相关软件,对云际矿床进行了三维地质建模研究,取得成果如下:(1)收集了云际矿床相关的地质数据,
研究区卫境岩体位于内蒙古自治区中北部,巴音宝力格隆起西部,中亚造山带中部,主要由下二叠统中酸性火山岩和燕山期花岗岩组成。本文通过对该地区花岗岩地质背景、岩石地球化学、围岩蚀变、铀矿化等特征和铀成矿条件进行了系统研究,在此基础上,建立了其成矿模式,探讨了卫境查干哈达地区铀成矿潜力。对查干哈达地区的岩石样品开展了系统的岩相学、主量微量、稀土元素和微区分析,结果表明,卫境岩体查干哈达地段为典型的碱交代型
林地开垦及随之的土壤侵蚀过程将导致严重的土壤退化,造成土壤养分流失,但是林地开垦和侵蚀对坡面土壤养分时空分布特征的影响及其与坡面特征的关系尚不清楚,限制了对侵蚀驱
结瘤植物是自然界中重要的固氮资源,具有极大的生态价值和应用价值。本研究在广西壮族自治区林业科学研究院实验林取样,采用徒手切片和石蜡切片法,以罗汉松科植物竹柏(Podoca
在在流行的地震动随机合成中,在震源谱、传播途径项之外,还包括一个“场地项”,表达为近地表幅值放大因子的Amp(f)和高频截止滤波器的P(f)的乘积,其实并未考虑通常所说的局部
随着遥感技术的不断发展,遥感影像的空间分辨率得到显著提高,影像中地物目标的清晰和丰富细节给高分辨率遥感影像的场景分类带来了巨大的挑战。高分辨率遥感影像场景分类是遥感图像解译中的重要组成部分,由于影像场景中地物类别的多样性、地物种类可变性大、同一地物类别的多样性,使得传统的影像场景分类方法不能描述复杂场景的高层次语义信息。而近些年深度学习算法的出现为影像高层次内在特征的提取提供了有效的方法。实现高分
大气温室气体浓度上升是全球变暖的主要原因,其中CO2、CH4等是温室效应的主要贡献者,总贡献率达80%以上。相比农田等其他生态系统,森林系统是影响全球温室气体排放量变化的重