基于双支融合解码网络的渐进式语义图像修复

来源 :东华大学 | 被引量 : 0次 | 上传用户:petelau
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图像修复技术是指利用有限的完好信息将缺损区域的内容进行重建,使得修复后的图片全局语义合理并符合人眼的视觉特征。传统的修复方法由于其修复模型表征能力的限制,在缺损区域较大或者语义信息不足的情况下修复效果往往不尽如人意。基于深度学习的图像修复技术依靠其强大的语义合成能力,使其能够捕捉到高层次的特征信息,重建出合理的上下文语义内容和纹理细节。但现有的大部分修复模型还是存在修复效果不稳定,结果准确率不足等问题。本文基于深度学习方法的图像修复研究,针对现有网络的缺陷和不足,提出了两个改进方案,大致可以概括为以下两点:(1)大部分CNN架构模型是由卷积、BNs、ReLUs和池化层简单地堆砌而成,从而导致模型只在单个领域的单个任务上建模能力是强大的,但是将它们推广到多种图像域中时,修复效果难免会降低。针对此局限性,与现有的CNN体系归一化结构只提高单个图像域修复性能不同,本文提出了一个能够封装到许多高级深层网络中以提高它们在多种数据域下的性能的动态归一化网络。具体地,利用压缩-激励模块强调重要特征信息的能力,为图像输入特征的每个通道自适应分配权重系数,之后根据训练集的特征差异来使用不同比例的归一化方法。此外,我们还引入了残差网络以尽可能地保留初始区分特征,降低了整体网络的学习难度。动态归一化网络将批归一化和实例归一化在单个深层网络结构中进行了统一。我们在Places2、Paris StreetView和CelebA三个基准数据集进行了充分的定性和定量实验,实验结果表明动态归一化网络的引入提高了原有模型在多种数据域中的建模和泛化能力。(2)针对由于大面积图像破损导致修复结果语义歧义的问题,本文提出了一种基于融合的渐进式双支解码网络的图像修复方法。我们提出了一个称为部分卷积-动态区域归一化(PC-RN)的单元作为构建网络的基本组件,它是部分卷积和动态归一化、区域归一化的组合。它可以从完好区域的信息中提取有用的特征,同时抑制不完整引起的干扰。在整体网络上采用包含双支解码网络的浅层结构来实现完整的语义修复。双支融合解码器网络由一个局部接收分支、一个远程注意力分支和一个基于压缩-激励的融合模块构成。多尺度上下文注意模块自适应地从远处的空间位置借用特征。渐进修复策略允许注意力模块使用先前填充的区域,从而降低分配错误注意力的风险,我们对三个基准数据集进行了充分的实验:Places2、Paris StreetView和CelebA,在大多数情况下,我们的网络在定性和定量比较中均优于大多数最新技术。综上所述,本文提出了一个基于双支解码网络的渐进式语义图像修复算法,从全局和局部两个维度来提取高级语义特征,另外还加入了一个新颖的动态归一化方法用来提高整体模型的泛化能力。我们将所提出的模型在丝绸文物中进行了修复,实验结果证明了本文提出的图像修复方法在辅助文物修复、图像编辑等应用中有一定的实用价值。
其他文献
空间信号波达方向(Direction of Arrival,DOA)估计是阵列信号处理中一个重要的研究方向,其主要目的是对空间某区域目标信源进行精确的测向定位,这是雷达、声呐、通信等领域重要的任务之一。经典的DOA估计方法,如线性预测算法、子空间类方法、压缩感知方法等,均属于模型驱动类方法,该类方法先建立阵列观测数据与信号角度之间的数学模型,然后根据相应模型准则计算信号方向。模型驱动类方法实现精确
学位
随着现代社会对导航系统的精度和可靠性的要求越来越高,单一的导航手段已逐渐难以满足需求,导航技术朝组合方向进行发展是必然的趋势。全球卫星导航系统(Global Navigation Satellite System,GNSS)和惯性导航系统(Inertial Navigation System,INS)的组合能够实现两者之间的优势互补,因此得到了广泛的应用。然而在诸如多径信号、信号频繁遮挡以及卫星信
学位
小学生学习数学的时候,如果有几何直观的运用意识,可以将问题简单化,理解起来更加便捷。基于此,通过以图认数、以图明理、以图促思的方法,让学生可以快速理解数的概念、明确运算法则、缕清问题中数量。旨在培养学生以图学习数学知识、解决数学问题的能力。
期刊
随着电子对抗技术的发展和进步,常规雷达信号的生存环境受到了多方面的威胁,为了提高雷达生存能力,通常会采取一定的措施对敌方侦察设备进行干扰。高功率微波由于其独特的性质逐渐在雷达及干扰领域得到应用。在战场电磁环境愈发复杂的条件之下,如何从截获的复杂信号中检测并分离高功率微波信号,对于设计针对性的应对措施有着非常重要的意义。本文首先总结了复杂电磁环境的成因,对常见的雷达信号的时频域特征进行分析,针对高功
学位
本文的研究对象主要为海洋环境中的大气波导。它是大气的一种特殊折射现象,能够改变电波传播的方式和路径,对雷达等通信设备的性能有重要的影响。研究大气波导对日后我军提前获取战场环境电磁信息,掌握战场制电磁权具有重要的军事意义。本文主要围绕海洋上空大气波导的研究做了以下几个方面的工作:(1)基于海洋上空100m-3000m大气修正折射率较难获取的背景,本文第三章介绍了一种基于综合学习粒子群算法(Compr
学位
对二维图像的中粒度分割,即图像过分割或是超像素分割已经是一个成果丰硕的研究方向。在深度学习方法未成为主流之时,超像素分割通常被作为特征提取步骤之前的降采样步骤为图像完成预分块,降低后续分割任务的难度。在三维点云领域,与二维超像素分割相似的中粒度分割则通常被称为面片分割。面片分割大多依赖无监督聚类算法。通过对输入特征权重、聚类顺序的参数进行调谐,算法能够获得不同的的面片分割结果。对点云的分割是三维点
学位
进入21世纪以来,全球工业生产高速发展,新一代智能信息技术和工业生产相互融合。数据采集系统在工业生产过程中的普及,收集到了大量高维度的多变量工业时间序列数据。这些数据包含了生产过程中的工况调整、运行规律、和异常状态等丰富的信息。同时操作人员希望预先了解某些关键指标的未来变化趋势,从而实现性能预测、节能减排、提高生产效率等功能。因此,针对工业时间序列数据的预测任务成为了相关人员的主要研究对象之一。然
学位
视频作为一种最常见的媒体信息目前已在各个领域都得到广泛的应用,与之相关的技术也在不断地发展更新,其中对视频中的某些物体进行消除也逐渐引起重视,并用于处理影视制作、视频合成等视频编辑任务,成为计算机视觉领域的主要研究问题之一。物体消除作为视频修复问题的一个子任务,目前还未获得足够多的关注,现有的工作也是将其直接视为补全问题进行相关处理。消除与补全的不同之处在于,消除需要相应的掩码来指示物体位置,否则
学位
以高陡度曲面和大口径凸非球面为代表的复杂面形元件在空间光学系统、航空航天,先进武器装备系统等高科技领域中得到了越来越广泛的应用。当前,在复杂曲面制造过程的适应性检测中存在诸多瓶颈问题:一是在研磨、铣磨和粗抛光阶段,高陡度类复杂曲面的坐标检测问题。高陡度给三坐标测量机(Coordinate Measurement Machine,CMM)带来更加显著的空间运动误差和测头误差,进一步放大了测量不确定度
学位
气体传感器被广泛应用于工业、农业、室内环境监测、军事等领域,用以监控日益严重的室内外空气污染问题与突发战场环境问题。电阻式半导体气体传感器因制备工艺简单、应用范围广、节能、安全等优点而备受关注,其中石墨烯传感材料因具有大的比表面积以及优异的电学调控特性,成为近年来研究的重点之一。然而本征石墨烯以及石墨烯衍生物(如氧化石墨烯或还原氧化石墨烯)还存在灵敏度不高、响应恢复时间过长、选择性差等问题依然有待
学位