图像修复是指根据图像未破损区域的已知像素,推断并重建图像破损区域像素的过程,在图像编辑、图像渲染以及机器人定位方面有着重要的应用。随着深度学习的兴起,图像修复技术在修复性能方面得到了巨大的提升;但在具有挑战性的图像修复任务中,当前方法仍然存在不足。本文深入分析并研究当前代表性方案在图像修复网络框架设计上的缺陷,以及当前代表性方案在图像修复效果方面存在的细节模糊与结构错误问题。进而针对细节模糊与结构错误的问题,提出两个端对端网络框架,实现图像修复结果在结构与细节上的共同提升。本文的主要工作包括:1.深入研究当前三种代表性的图像修复算法:CE(Context Encoders:Feature Learning by Inpainting)、CA(Generative Image Inpainting with Contextual Attention)和MC(Image Inpainting via Generative Multi-column Convolutional Neural Networks)。其中CE为基于深度学习的图像修复算法中最为经典的算法之一,首次成功实现采用自动编码器的编-解码过程建模大破损面积的图像修复过程,并将生成对抗网络(Generative Adversarial Networks,GAN)引入到图像修复框架中。在CE的基础之上,CA通过引入扩张卷积以及由粗到细的两阶段生成网络结构扩大编-解码器结构生成网络的感受野。同时,CA提出基于注意力匹配与替换的特征提取方法,使得CA在不需要后处理的情况下依然能得到优秀的图像修复结果。与CA不同,MC将图像修复建模为多列生成,在不规则及规则掩码条件下都取得良好的效果。通过对上述代表性方法进行包括论文复现、实验结果分析等研究,本文发现这些方法的结果普遍存在细节模糊与结构错误的问题。从网络设计的角度分析这些方案,本文认为细节模糊是网络约束能力不足造成的,结构错误是由于网络特征提取能力低下造成的。针对代表性图像修复算法的不足,本文提出针对这些不足的改进思路。2.针对当前图像修复算法存在的细节模糊问题,提出基于密集判别的图像修复算法。从第二章对主流代表性方法的研究与分析可知,当前图像修复方法所存在的细节模糊问题主要是修复网络对图像生成的约束能力不足造成的。本文通过提高两方面的网络约束来克服约束不足的问题。1、密集判别约束。提出的基于密集判别的图像修复算法直接对生成器的重建结果进行密集全局与密集局部判别,而非对重建结果进行简单的全局判别以及局部判别。密集全局与密集局部判别对图像的重建过程进行的强约束,大大促进图像细节的重建。2、边缘约束。为实现结构细节的更精确重建,本文还提出一种边缘损失,将边缘空间内的生成图像与其对应的真值图像进行损失求解,提高图像边缘的重建质量。密集判别约束与边缘约束结合,克服当前方案所普遍存在的模糊问题。实验结果表明,相较于当前主流代表性方法,本文提出的基于密集判别的图像修复算法有着更强的细节重建能力。3.针对当前图像修复结果存在的结构错误问题,提出基于多级注意力传播的图像修复算法。当前主流方法所采用的自动编码器网络存在“瓶颈区”过大的问题,制约结构信息从图像上下文到破损区域的传播,即“瓶颈区”过大造成了网络对结构特征提取能力低下。为此,本文提出将结构信息从图像上下文区域到破损区域的传播问题,解耦为多级注意力传播问题。将“瓶颈区”特征压缩到小尺度并提取注意特征,再将该小尺度注意力特征逐步传播到更大尺度。这种多级注意力传播有效解决了编-解码器存在“瓶颈区”过大的问题。实验结果表明,相较于当前主流方法,本文所以出的算法有着更加有优秀的结构重建能力。