基于生成对抗网络的图像修复算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xjk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复技术一直是图像处理领域的一项研究热点,随着该项技术的快速发展,其已逐渐应用于文物修复、医学成像、卫星遥感等多个领域,因此开展图像修复算法的研究具有较高的研究意义和应用价值。图像修复的目的是利用计算机技术自主学习图像的特征信息,以尽可能地还原出待修复图像缺失区域的内容。基于深度学习的图像修复算法相较于传统的图像修复算法通常具有更好的修复效果,但目前仍然存在诸多问题,例如对大区域或不规则区域缺失的图像修复效果不佳、修复纹理不够清晰以及无法利用辅助信息引导修复结果等。生成对抗网络是一种新型的深度学习网络,它能够通过生成器和鉴别器之间的对抗学习来达到生成以假乱真样本的目的,这种思想正适用于解决图像修复的问题。因此,本文基于生成对抗网络研究实现了两种图像修复算法,具体研究内容如下。本文首先阐述了图像修复的相关定义及评估标准,然后介绍了卷积神经网络的工作原理,并详细分析了空洞卷积和反卷积存在的不足。最后研究分析了基于生成对抗网络的图像修复原理,为本文后续图像修复算法的研究改进提供了理论依据。针对大区域或不规则区域缺失的图像修复问题,为了改善修复结果存在的结构失真、纹理模糊问题,本文研究实现了一种基于多尺度纹理特征分支的图像修复算法。首先分析了基于对称填充的偶数卷积核的优势,并基于该卷积核实现了整体网络模型的构建。然后在生成器阶段,结合部分卷积网络和偶数卷积核设计了多尺度纹理特征分支以实现单阶段网络模型对图像结构特征和纹理特征的同步修复,同时采用了插值上采样来避免反卷积上采样造成的棋盘效应;在鉴别器阶段,通过使用双鉴别器结构来保证修复结果的整体结构一致性和局部细节合理性,同时引入谱归一化思想来稳定网络训练。最后通过实验验证了该算法能够得到更高质量的修复结果。针对一些能够添加额外辅助信息的图像修复问题,为了能够利用辅助信息引导图像修复过程,本文研究实现了一种基于门控和上下文注意力机制的图像修复算法。依据门控卷积自学习的掩膜更新方式,该算法使用门控卷积网络实现了生成器模型的整体构建以允许处理用户输入的额外辅助信息;而后引入感受野模块和损失函数对上下文注意力机制进行改进,并将改进后的注意力模块嵌入到编码器阶段以增强已知区域纹理特征的利用率。最后通过实验验证了,在未添加引导信息的情况下该算法能够保证修复结果的优越性和有效性,而在添加引导信息的情况下该算法在保证修复质量的前提下还能够得到还原度更高的修复结果。
其他文献
随着网络科学研究的发展,网络系统的同步研究具有深远的理论意义和广泛的现实意义,同步目标从渐近同步到指数同步,从有限时间同步到固定时间同步,研究方法也日益成熟,但网络系统的同步研究仍有一些待完善的领域。本论文在控制理论框架下,分别对于中立型复杂动态网络(CDN)系统的函数投影同步(FPS)、具有混合时滞的忆阻神经网络(MNN)系统的固定时间随机同步(FTSS)以及不同节点维数的MNN的固定时间矩阵投
光电探测系统作为无人机的“眼睛”,是无人机捕获、识别、跟踪及瞄准目标的主要工具,而吊舱稳定平台是光电探测系统的重要组成部分,它能够隔离吊舱载体产生的各类扰动,通过稳定视轴瞄准线来确保光电成像设备能够获取高精度的目标图像。本文以某吊舱稳定平台控制系统作为研究对象,主要讲述控制系统设计与开发的过程。本文的主要研究内容如下:(1)根据系统研制要求提出了吊舱稳定平台控制系统的总体设计方案,通过估算控制系统
在动物王国中,许多动物拥有超强的听力,足以让我们人类感到"自惭形秽"。耳廓狐:小身体,大耳朵耳廓狐利用的听觉方式令人难以置信。它们是世界上最小的狐狸,可是有着巨大的耳朵——长约15厘米,比它们的脸还长。相对于体型来说,耳廓狐的耳朵是世界上最大的。
期刊
随着计算机技术和深度学习的飞速发展,基于图像的人脸识别技术已经成功的应用在智能支付和考勤系统等重要领域。这一类方法对人脸图像的质量要求较高,而在实际场景中获取的人脸图像质量参差不齐,直接进行识别则会造成识别准确率不同程度的下降。因此,对以图像序列为输入的人脸识别技术进行研究很有必要。本文主要研究了如何利用强化学习、深度学习和循环神经序列等技术对图像序列进行人脸检测与识别。具体工作如下:(1)提出了
在黄土高原生态恢复重建过程中,土壤养分及化学计量特征是评价黄土区植被恢复效应的有效途径。该文以典型半干旱黄土小流域3种恢复方式下(天然荒草、自然恢复、人工恢复)的5种植物群落(长芒草群落、赖草群落、苜蓿群落、柠条群落、山杏群落)不同深度的土壤(0~20 cm、20~40 cm、40~60 cm)为研究对象,利用方差分析及线性回归法分析土壤有机碳(SOC)、全氮(TN)、全磷(TP)、全钾(TK)含
由于通信技术的蓬勃发展,通信频段越来越匮乏,所以提高频谱利用率是一个必然的选择。对此,研究学者们提出矢量信号生成理论。传统电子器件有着固有缺陷,在电域生成的矢量信号带宽较小,频率调谐性差,且无法在复杂的电磁环境下传输,严重限制了通信速率的提高。因此,融合了光子学和微波技术优点的微波光子学成为解决问题的新方向,它打破了传统电器件的缺陷对系统性能的负面影响,具有:信号带宽极大、载频极高、传输损耗低、所
随着传感器技术的提升,经过多传感器获取的图像数据呈现多样性和互补性,实现了对目标场景的多模化表征,而如何综合利用异源图像实现对目标场更精确、更全面的表达成为图像处理领域的研究热点。异源图像配准融合技术是图像处理技术中的重要一环,配准方法决定了后续图像融合处理的效果,融合方法实现了对源信息的高效表达,两者相辅相成,对于提高目标探测与精确制导能力具有理论支撑和现实意义。合成孔径雷达(Synthetic
随着虚拟现实(Virtual Reality,VR)在直播行业的融入,VR直播产业发展迅猛。作为VR直播的主要内容之一,全景视频为用户提供360度的观看视角,使用户获得良好的沉浸感体验。然而,全景视频庞大的数据量,对其网络传输带来了巨大挑战。基于Tile的全景视频动态自适应传输方案通过划分Tile的方式,为用户视域内传输高质量的视频,视域外传输低质量的视频,有效地解决了上述问题。本文围绕全景视频直
2008年Arikan基于信道极化提出了极化码,并证明极化码在码长趋于无限的情况下具有信道容量可达的性质,本文从极化码的编译码方法与系统极化码编译码器的实现两个方面对极化码进行了深入研究。首先,详细分析和研究了极化码的信道极化理论,推导了信道转移概率的计算式。介绍了信道可靠性序列的四种估计方法,分别是巴氏参数法,密度进化法,高斯近似法与极化重量法,对上述方法进行了性能比较并给出仿真结果。研究了生成
高光谱图像可以同时在空间维度和光谱维度上提供目标区域一定的形态信息和丰富的光谱信息,并且通过光谱维度可以从高光谱图像的光谱信息中探测到不同材质的差异。因此,基于高光谱图像的目标检测技术对伪装军事目标检测和自然灾害预警有着重要的作用。星载平台上的高光谱探测器能够覆盖地球表面的绝大多部分区域,可以更有效的对目标区域进行监测。然而,高光谱图像巨大的数据量对星载设备的存储和星地的通信信道造成了很大的压力。