基于卷积神经网络的图像去方块与多光谱图像融合及上色的研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zua263net
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着媒体技术和信息网络的发展,数字电视视系统和显示设备对图像信号的质量要求越来越高。海量的原始数据经压缩后能够方便的用于传输和存储,然而高压缩率不可避免地造成信息损失。低码率下的解码图像会产生严重的模糊和块效应,大大降低了图像质量。压缩图像后处理是一项针对压缩后严重失真的图像,去除压缩产生的人工痕迹的关键技术。在图像成像方面,随着传感系统的发展,近红外光谱图像得到广泛的应用。在诸多应用场景下,例如夜景拍照和安全监控等,低光照条件下的多光谱图像融合成为可行的解决方案。低光照下的可见光拍照设备受噪声干扰,同一场景下的近红外图像能够提供不同光谱图像的细节。为了得到高质量的融合结果,研究人员已经开展了诸多多光谱图像图像融合算法的研究。当黑暗得环境中普通相机无法获取信息,只有单通道的近红外图像辅助视觉时,为近红外图像上色能够更符合人眼的视觉感知。近红外图像上色技术能够更好地辅助场景理解和信息分析。随着计算机科学飞速发展,深度学习在图像处理领域展现出强大的能力。本文基于相关的工作,针对压缩图像去块效应和近红外与可见光图像融合及近红外图像上色技术技术进行了研究。本文的主要工作在以下几个方面:1.提出了梯度引导的压缩图像去方块算法。基于块的独立编码导致压缩图像的块效应,由于没有考虑编码块间的相关性,图像在块边缘的梯度产生明显的变化。先前的工作致力于恢复网络的构建而没有考虑了压缩图像的先验信息。我们在图像恢复过程中同时恢复图像梯度。图像和梯度的恢复由两个协作的子网络完成。在梯度恢复中生成的特征在图像恢复子网络中融合以引导压缩图像的恢复。通过梯度子网络特征引导,图像恢子网络去除了压缩图像中的模糊和块效应并产生良好的细节信息。2.提出了基于卷积神经网络的近红外图像和可见光图像的融合算法。不同于传统图像融合算法,我们将卷积神经网络成功应用于近红外图像和可见光图像的融合。受限于不同光照场景数据集的拍摄难度,我们用正常光照条件的数据集下合成了可用的训练集。我们构建了一个两级网络分别用于去噪和融合,并采用多级聚合结构以融合多尺度信息。为了使融合结果保留可见光图像的原始颜色和近红外图像丰富的细节,我们提出两种损失函数:感知损失函数和多光谱损失函数。通过两个损失函数项的最佳权重,融合结果消除了低光照产生的噪声,并正确保留原始图像颜色,同时包含丰富的纹理信息。3.提出基于卷积神经网络的近红外图像上色算法。近红外图像上色是一个具有挑战性的问题,尽管与传统灰度图上色方法有相似之处,但是近红外上色技术需要克服多光谱图像与单通道亮度图像的结构差异性,恢复出三通道的彩色图片。我们采用能够有效利用多尺度信息的网络模型作为基本卷积单元,成功恢复出近红外图像的颜色。我们提出了使用结构相似性作为损失函数,为了进一步优化上色结果,我们在梯度阈对输出约束以去除平坦区域的嘈杂纹理。实验结果表明,我们的网络结构有良好的性能表现,提出的损失函数能够很好地应用于近红外图像的上色问题。
其他文献
下蜀黄土是分布于长江中下游地区的一套中、晚更新世黄土堆积物,为我国最南端的、大范围分布的风尘堆积,是亚热带地区较长时间尺度的陆相地质记录,记录了我国亚热带地区的古环境演化历史,长时间以来受到第四纪学术界的极大重视。物源是黄土研究的基础工作之一,对下蜀黄土物源的研究,不仅能够揭示物源区和物源区的古环境信息,还可能为探究古粉尘的搬运和扩散提供关键证据。下蜀黄土的物源存在较大争议。已有研究中,利用地球化
班杜拉认为人对行为的决策是主动的,人的认知变量如期待、注意和评价在行为决策中起重要作用。教师在教学活动中可以应用自我效能感理论,提高学生学习动机水平,从而提高学生
工期可指派的调度问题和多代理的分批交付问题都是在经典调度问题的基础上发展而来的。在之前的研究中,两种问题都是分开进行研究的。并且在工期可指派的调度问题中,工件的工期通常是事先给定的常量,但在很多情形下,工期是需要决策者根据实际情况来决策的变量。分批调度问题通常只考虑具有一个代理的情形,而忽略了现实中多个代理竞争使用有限资源的情形。本文主要研究具有两个竞争代理和工期可指派的单机串行批交付调度问题。对
在北半球温带森林植物区系中,东亚比同纬度北美、欧洲地区体现出更高的生物多样性,例如,鹅耳枥属共约50种,其中46种分布于东亚地区,但目前对于该属在东亚的多样性演化历史还不清楚。化石是植物在地质时期存在和演化的直接证据,对于认识植物的多样性演化具有不可替代的作用。本文系统的研究了滇东南马关地区下中新统地层中发现的33件鹅耳枥属苞片化石标本,对其属种分类特征进行了详细的比较、讨论,识别出鹅耳枥属6种,
目前高清数字电视已经在我国全面普及,4K超高清数字电视将会成为下一个热点。而从高清到超高清的过渡存在一些问题需要解决。首先现有的视频源大多数分辨率较低;其次,超高清
目的:探讨周围神经显微减压术治疗上肢透析相关周围神经病(DRPN)的疗效。方法回顾性分析2017年1月至2017年12月中日友好医院神经外科收治的15例上肢DRPN患者的临床资料。15例
随着工业4.0时代的到来和《中国制造2025》的制定,我国工业逐步向智能制造领域发展,由制造大国向制造强国转型。在传统机械制造业物料需要人工进行搬运,在物料搬运过程中需要
图像在获取过程中,由于成像设备工艺缺陷、成像距离、大气干扰、运动等因素的影响,导致图像降质,影响图像的使用价值。超分辨率技术基于现有的成像设备,通过软件后处理的方法
高速发展的数据应用技术让数据的潜在价值得到了充分的利用,但是新的数据挖掘模式和攻击手段的出现使得传统的隐私保护方式变得不那么安全可靠了。一方面,数据拥有者在发布数据时需要对隐私信息进行保护处理;另一方面,发布后的数据会面对各类数据挖掘应用和隐私攻击的威胁。此时,如何设计具有强力隐私保障的算法成了难点问题。针对上述情况,差分隐私技术从根本上解决了这个问题。它不关心具体的应用背景,即使在最坏的情况下攻
辽宁省青城子矿集区是辽东-吉南成矿带上一个重要的铅锌多金属矿田。区内主要出露元古代大顶子岩体,印支期新岭岩体、双顶沟岩体,燕山期姚家沟岩体;主要产出新岭钼矿、姚家沟钼矿、榛子沟式层状铅锌矿、榛子沟式脉状铅锌矿、高家堡子碎裂大理岩型银矿、高家堡子独立银矿。新岭钼矿主成矿阶段流体包裹体类型主要有富液相包裹体、富气相包裹体、含CO_2三相包裹体、含子矿物包裹体、纯CO_2包裹体。其流体包裹体均一温度集中