基于深度学习的无监督遥感图像超分辨率重构技术研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所) | 被引量 : 0次 | 上传用户:dzsw2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率遥感图像在资源勘探、环境监测、城乡规划、变化检测等方面起着重要的作用。然而,由于信号传输带宽及成像传感器等限制,遥感成像设备获取到的图像通常具有较低的空间分辨率。遥感成像设备地面像元分辨率的提升受到当前制造水平的制约,从硬件上提高其分辨率耗时较长,成本极高;同时,成像系统会受到噪声、模糊等干扰,使得获取的图像质量下降,分辨率受损。图像超分辨率重构技术以同一场景中的一张或多张低分辨率图像为输入,结合图像的先验知识,重构出一张高分辨率图像。这一技术能够在不改变现有硬件设备的前提下,有效提升图像分辨率,改善图像视觉效果,具有研制成本低,周期短的优点。深度学习的发展为计算机视觉领域提供了新的技术手段,图像超分辨率重构技术也得益于其发展,取得了很大的进步。然而,基于深度学习的图像超分辨率重构方法需要大量的高分辨率训练数据集,这对于遥感图像而言是不现实的。针对以上问题,本文采用无监督图像超分辨率重构方法,引入图像降质过程,构建了无监督图像超分辨率重构框架,在网络训练过程中不使用高分辨率遥感图像作为训练标签,减少了对于高分辨率遥感图像的需求,更符合实际应用。本论文首先针对无监督图像超分辨率重构的实现问题,提出引入平均池化下采样策略结合生成对抗网络来提升重构图像效果的方法;然后针对遥感图像复杂降质过程与研究中使用的单一双三次下采样过程不匹配导致重构效果不理想的问题,提出了一种多退化降质器辅助的遥感图像超分辨率重构方法;最后,针对无监督超分辨率中大尺度重构因子的重构效果相对较差的问题,提出了一种基于变分自编码器提升重构结果尤其是较大倍数重构因子结果的方法。本文主要研究内容如下:(1)提出了一种基于生成对抗网络和下采样策略构建的遥感图像超分辨率重构方法。针对高分辨率遥感图像获取成本高难以大量用于深度学习训练的问题,利用池化操作将重构图像下采样至与低分辨率图像同尺寸,从而计算下采样图像与低分辨率图像的损失,达到不使用高分辨率遥感图像参与训练的无监督学习的目的。该方法通过生成器网络提取图像的特征,学习外部数据集的先验信息,获得重构图像。采用平均池化层作为降质方法,将生成器输出的重构图像经过平均池化下采样,与低分辨率图像通过判别器判别并求二者的包含图像损失、感知损失、对抗损失以及变分正则损失在内的综合性损失函数。实验结果表明,该方法能够在综合损失的约束下更好地提升重构图像的结构信息,且峰值信噪比PSNR结果也能获得有效地提升。(2)提出了一种多退化降质器辅助的无监督遥感图像超分辨率重构方法。针对实际遥感图像的复杂降质过程与研究中单一的双三次降质过程不匹配导致重构效果不理想的问题,通过包含下采样、模糊核和噪声的合成图像数据集训练一个卷积神经网络降质器对于重构图像进行降质。该降质器能够在获取遥感图像数据集外部先验信息的同时学习到模拟成像的多种降质过程。测试阶段即为重构器训练阶段,使得该方法成为一种“即插即用”的方法。重构过程中输入一张待重构图像,探索其内部先验信息,结合降质器,利用低分辨率图像约束网络损失函数以更新重构器网络参数。最终重构器训练完成时,即获取重构图像。实验结果表明,该方法在6个评价指标上的重构结果能够超过目前绝大多数的无监督遥感图像超分辨率重构方法,并且部分评价指标如PSNR、SSIM超过了大部分监督重构方法的结果,在较为复杂的降质过程中甚至能够取得最好的PSNR值。此外,在真实遥感图像重构中也获取到了良好的盲图像评价指标NIQE值和视觉效果。上述结果表明了该方法的可行性以及有效性。(3)提出了一种基于变分自编码器的无监督遥感图像超分辨率重构方法。针对大尺度重构因子(×8)在无监督图像超分辨率重构中效果较差的问题,该方法在前一种方法的基础上引入变分自编码器进行改进,并解决前一种方法重构结果中存在的锯齿效应、颜色畸变。引入变分自编码器,通过编码器将图像映射到隐变量空间中,利用隐变量代替双三次插值图像作为解码器输入,去除了由于重复输入插值图像造成的锯齿效应。通过对编解码器交替训练,将隐变量通过损失函数约束在图像空间与高分辨率图像的流形空间,从而提升重构结果。此外,通过对解码器结构进行改进,去掉部分批归一化层,解决了重构图像出现颜色畸变的问题。最后,在8倍重构时对隐变量进行正则约束,提升8倍重构效果。实验结果表明,该方法在6个评价指标上的重构结果能够大幅超过当前无监督重构方法的结果,在之前方法基础上提升了重构图像尤其是8倍重构图像的PSNR等数值结果,进一步缩小了与监督重构方法的差距,且在真实遥感图像的重构视觉效果和盲图像评价指标NIQE值上取得了目前最好的结果。
其他文献
学位
阅读是人类一项重要技能,它既是一种视觉技能,也是一种语言技能,而正字法加工是视觉加工和语言加工的关键接口。因此,正字法加工,即“字母身份信息与位置信息加工”被称之为“阅读过程的核心”(Grainger,2018;Grainger,Dufau,&Ziegler,2016)。英语系统中字母身份信息与位置信息加工的研究起步较早,相当丰富,较为成熟,现在依然是研究焦点之一。其它语言系统如法语、德语、日语、
繁殖是鸟类生活史中非常重要的组成部分。影响鸟类繁殖的生态因素主要包括食物资源、巢址质量、捕食和巢寄生等。同域繁殖的鸟类存在较大的资源竞争,为了规避这种竞争,同域繁殖的鸟类在生境类型、营巢特征、卵特征以及繁殖成效等方面都表现出了不同的偏好和差异。本研究以杜鹃(Cuculus spp.)宿主或潜在宿主灰头鸫(Turdus rubrocanus)、棕背黑头鸫(T.kessleri)、橙翅噪鹛(Garru
日盲紫外光电探测器因其具有低背景噪声、高灵敏度、强抗干扰能力等优势,在导弹预警、空间保密通信、环境监测以及火灾监测等军事和民用领域具有巨大的应用前景。尖晶石型复杂氧化物镓酸镁(MgGa2O4)是典型的超宽禁带半导体,它不仅具有超宽的带隙(>4.9 e V)、高的热和化学稳定性、强的抗辐照能力以及良好的机械性能,还有望通过调整Mg和Ga两种阳离子的比例实现材料特性的有效调控。这些优异的特性使得MgG
背景和目的冠心病已经成为中国和世界的主要死因和疾病负担,通过风险评估早期识别高危人群并及时倡导健康生活方式或进行药物干预是降低冠心病发病和死亡风险的有效手段。冠心病发病受到环境和遗传的双重作用。全基因组关联研究(genome-wide association study,GW AS)已经成功鉴定出大量冠心病或者其危险因素的关联遗传变异,整合这些遗传变异构建多基因遗传风险评分(polygenic r
从世界范围而言,行政领域所实行的行政领导制度主要是行政首长负责制和委员会制(合议制)。基于本文研究分析仅限于行政机关,并不涉及高校、医院、科研院所等领域,故有别于传统行政首长负责制的称谓,本文统一规范表述为行政机关首长负责制。在党的领导下,自82年宪法确立行政机关首长负责制以来,作为一项世界主流国家采用的行政领导制度,既有其共同的制度理性,又具有显著的中国特色。行政机关首长是指在行政机关中担任特定
背景急性心肌梗死(acute myocardial infarction,AMI)等心血管疾病(cardiovascular disease,CVD)是中国乃至全球范围内居民伤残、死亡的首要病因。大气污染是影响CVD发病和死亡的重要环境因素,即使在低浓度、短期暴露下也会有不利影响,需要被持续关注。ST段抬高型心肌梗死(ST-segment elevated myocardial infarctio
道路交通管理者通常在各大交通路口设置人行横道信号灯,以划分行人与机动车的时空通行权,从而减少行人与机动车的交通冲突,保障行人的过街安全。随着科技的进步,道路交通管理者开始升级传统人行横道信号灯(单纯提供视觉信号),运行有声交通信号灯(既提供视觉信号又提供听觉信号)。有声信号灯不仅能够帮助视觉障碍者安全顺利地通过路口,还能够对正常过街行人觉察交通信号产生促进作用。这种将来自不同感觉通道(视觉、听觉、
菜心(Brassica rapa var.parachinensis)作为我国华南地区特色叶菜类蔬菜,质地柔嫩,清甜可口,含水量多,深受消费者青睐。但菜心采收后代谢旺盛,常温贮藏2-3 d叶片即衰老黄化,品质劣变,失去商品价值。褪黑素(N-acetyl-5-methoxytryptamine,melatonin)作为一种普遍存在于生物体中的吲哚胺类化合物,广泛参与调控动植物多种生物学进程。近年来研
人口是社会发展的基石。根据第七次全国人口普查数据显示,现今中国已经步入老龄化社会。老年人的健康医疗及其产生的影响,已经从个体、家庭上升到了社会乃至国家层面。本文以生活在河西走廊肃南裕固族自治县皇城镇的老年人为调研对象,以中国社会趋于老龄化、疾病谱转变为现实背景,综合民族学、社会学、人类学、心理学等学科理论,从文化视角关注老年人的医疗与健康问题,分析当地老年人的健康与自然条件、社会文化、自身经历、周