论文部分内容阅读
高分辨率遥感图像在资源勘探、环境监测、城乡规划、变化检测等方面起着重要的作用。然而,由于信号传输带宽及成像传感器等限制,遥感成像设备获取到的图像通常具有较低的空间分辨率。遥感成像设备地面像元分辨率的提升受到当前制造水平的制约,从硬件上提高其分辨率耗时较长,成本极高;同时,成像系统会受到噪声、模糊等干扰,使得获取的图像质量下降,分辨率受损。图像超分辨率重构技术以同一场景中的一张或多张低分辨率图像为输入,结合图像的先验知识,重构出一张高分辨率图像。这一技术能够在不改变现有硬件设备的前提下,有效提升图像分辨率,改善图像视觉效果,具有研制成本低,周期短的优点。深度学习的发展为计算机视觉领域提供了新的技术手段,图像超分辨率重构技术也得益于其发展,取得了很大的进步。然而,基于深度学习的图像超分辨率重构方法需要大量的高分辨率训练数据集,这对于遥感图像而言是不现实的。针对以上问题,本文采用无监督图像超分辨率重构方法,引入图像降质过程,构建了无监督图像超分辨率重构框架,在网络训练过程中不使用高分辨率遥感图像作为训练标签,减少了对于高分辨率遥感图像的需求,更符合实际应用。本论文首先针对无监督图像超分辨率重构的实现问题,提出引入平均池化下采样策略结合生成对抗网络来提升重构图像效果的方法;然后针对遥感图像复杂降质过程与研究中使用的单一双三次下采样过程不匹配导致重构效果不理想的问题,提出了一种多退化降质器辅助的遥感图像超分辨率重构方法;最后,针对无监督超分辨率中大尺度重构因子的重构效果相对较差的问题,提出了一种基于变分自编码器提升重构结果尤其是较大倍数重构因子结果的方法。本文主要研究内容如下:(1)提出了一种基于生成对抗网络和下采样策略构建的遥感图像超分辨率重构方法。针对高分辨率遥感图像获取成本高难以大量用于深度学习训练的问题,利用池化操作将重构图像下采样至与低分辨率图像同尺寸,从而计算下采样图像与低分辨率图像的损失,达到不使用高分辨率遥感图像参与训练的无监督学习的目的。该方法通过生成器网络提取图像的特征,学习外部数据集的先验信息,获得重构图像。采用平均池化层作为降质方法,将生成器输出的重构图像经过平均池化下采样,与低分辨率图像通过判别器判别并求二者的包含图像损失、感知损失、对抗损失以及变分正则损失在内的综合性损失函数。实验结果表明,该方法能够在综合损失的约束下更好地提升重构图像的结构信息,且峰值信噪比PSNR结果也能获得有效地提升。(2)提出了一种多退化降质器辅助的无监督遥感图像超分辨率重构方法。针对实际遥感图像的复杂降质过程与研究中单一的双三次降质过程不匹配导致重构效果不理想的问题,通过包含下采样、模糊核和噪声的合成图像数据集训练一个卷积神经网络降质器对于重构图像进行降质。该降质器能够在获取遥感图像数据集外部先验信息的同时学习到模拟成像的多种降质过程。测试阶段即为重构器训练阶段,使得该方法成为一种“即插即用”的方法。重构过程中输入一张待重构图像,探索其内部先验信息,结合降质器,利用低分辨率图像约束网络损失函数以更新重构器网络参数。最终重构器训练完成时,即获取重构图像。实验结果表明,该方法在6个评价指标上的重构结果能够超过目前绝大多数的无监督遥感图像超分辨率重构方法,并且部分评价指标如PSNR、SSIM超过了大部分监督重构方法的结果,在较为复杂的降质过程中甚至能够取得最好的PSNR值。此外,在真实遥感图像重构中也获取到了良好的盲图像评价指标NIQE值和视觉效果。上述结果表明了该方法的可行性以及有效性。(3)提出了一种基于变分自编码器的无监督遥感图像超分辨率重构方法。针对大尺度重构因子(×8)在无监督图像超分辨率重构中效果较差的问题,该方法在前一种方法的基础上引入变分自编码器进行改进,并解决前一种方法重构结果中存在的锯齿效应、颜色畸变。引入变分自编码器,通过编码器将图像映射到隐变量空间中,利用隐变量代替双三次插值图像作为解码器输入,去除了由于重复输入插值图像造成的锯齿效应。通过对编解码器交替训练,将隐变量通过损失函数约束在图像空间与高分辨率图像的流形空间,从而提升重构结果。此外,通过对解码器结构进行改进,去掉部分批归一化层,解决了重构图像出现颜色畸变的问题。最后,在8倍重构时对隐变量进行正则约束,提升8倍重构效果。实验结果表明,该方法在6个评价指标上的重构结果能够大幅超过当前无监督重构方法的结果,在之前方法基础上提升了重构图像尤其是8倍重构图像的PSNR等数值结果,进一步缩小了与监督重构方法的差距,且在真实遥感图像的重构视觉效果和盲图像评价指标NIQE值上取得了目前最好的结果。