基于生成对抗网络的图像融合方法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:zyb1026
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合的基本思想是利用特定算法将多种传感器对同一场景获取的图像提取不同信道的有用信息,最后融合成高质量的图像,以提高图像的利用率、可信度和准确性,在军事监测、医疗诊断和目标识别等领域广泛应用。在过去的几十年中,许多传统的图像融合方法被提出,这些图像融合算法大致可以分为两类,即空间域算法和变换域算法。空间域算法首先根据某种策略将源图像划分为若干个图像块,然后对每对图像块根据计算活动度量融合在一起。而变换域图像融合算法首先通过多尺度几何分解将源图像分解为具有不同频带的子图像,然后根据分解后的频带系数的特征设计融合规则,最后通过相应的逆变换获得融合图像。近年来,深度学习技术已广泛应用于各种计算机视觉任务,并在图像融合领域取得了显著效果,其中在图像生成领域中,最具有代表性的网络结构是生成对抗网络,该网络结构建立生成器和鉴别器之间的对抗性游戏,使得生成器生成图像的质量越来越好,已经广泛应用在领域中,因此,研究基于生成对抗网络的图像融合方法,这对提升融合效果,得到更准确、清晰的融合图像至关重要。本文的主要研究内容如下:(1)红外与可见光图像融合缺少真实的融合图像,为了设计更适合图像融合的生成对抗网络,提出了一种基于弱监督生成对抗网络的图像融合方法。将源图像的显著度图根据最大选择原则进行融合,融合后的显著度图充当鉴别器的真实图像,融合图像的显著度图充当鉴别器的虚假图像,通过对抗性学习,使融合图像包含更多的源图像中显著区域。为了提高融合质量,在网络结构中添加了密集连接卷积神经网络和损失函数中添加了感知损失。在TNO数据集上的实验表明,在客观和主观评估方面,我们的方法更好地保留了红外图像中的热红外目标和可见光图像中的细节信息,并且优于最新方法。(2)为确保源图像同时包含可见光图像的细节纹理信息和红外图像的红外亮度信息,提出了一种基于双鉴别器的红外与可见光图像融合方法。对红外图像进行显著性检测,获取到红外图像中显著的区域,然后取反,获取到可见光图像中的显著区域,设计两个鉴别器分别鉴别源图像与融合图像中显著区域的差异,通过对抗性学习,使融合图像包含更多的源图像中显著区域。TNO数据上的实验表明,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。(3)我们对生成对抗网络进行进一步的研究,结合自注意力机制,针对基于深度学习的红外和可见光图像融合方法在融合过程中忽略人眼主观感受的问题,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好的引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。
其他文献
21世纪以来,随着人民生活水平的提高,人民对于衣物的需求量越来越大,也促使织物的产量变得越来越大。为了满足这种现状,织物的生产过程逐渐智能化,其中,一个关键环节就是对织物缺陷进行检测。现在国内大部分企业选择传统的人眼检测法,但是这种方式易受检测人员的主观影响,同时也极其考验检测人员的体力与眼力,因而造成了检测效率及精度低下的后果。为了解决上述问题,越来越多的学者将机器视觉技术应用在缺陷检测领域,且
近年来,车外抛物问题越来越受到社会各界的关注。车外抛物这种不文明现象给交警部门以及市政部门及时清扫带来巨大挑战。如何有效地解决车外抛物问题已成为交警和市政部门亟待解决的问题。尽管深度学习的研究已经取得了很大的成就,并已广泛应用于各种场景(如:车牌识别和交通流量预测),但仍有许多问题尚未完全解决。例如,如何及时有效地检测出交通领域内车外抛物的问题仍然是一个亟待解决的问题。一般来说,传统的方法(如:支
互联网上产生大量的非结构化文本数据,如何有效的从这些非结构化的文本数据中挖掘并抽取实体和关系信息就要涉及到实体关系抽取研究;这对知识图谱和自动问答等下游应用的构建具有较强的理论意义和实用价值。本文主要以Transformer特征提取模型为基础,通过对现有实体关系抽取模型的改进,提高实体关系抽取的性能。主要研究内容如下:(1)针对Transformer模型在实体关系抽取任务中性能不佳的问题,本文抛弃
行人检测是计算机视觉领域的重点研究课题,在智能交通和自动驾驶领域有着广泛的应用。近年来,基于多光谱图像的行人检测方法由于结合了可见光图像和红外图像的信息,在全时段的检测环境中具有明显优势,已成为当前的研究热点。但由于交通道路场景的复杂多变,多光谱行人检测算法仍会受到光照和温度等环境条件变化的影响,要满足自动驾驶实际应用的准确率需求仍存在一定困难。本文针对多光谱行人特征的表达方式和融合方法进行研究,
车联网(Internet of Vehicles,Io V)使得车辆间能够通过无线通信交换感知到的道路状况以及车辆运动状态等信息,并根据接收到的信息及时做出反应来减少交通事故、缓解交通拥堵以及节省能耗。然而,由于车辆在复杂多变的环境中高速运动,车辆运动状态时常发生变化,网络拓扑变化频繁,导致网络时延、数据传递率等通信性能实时变化。一旦车联网通信性能无法满足基本的通信需求,车辆无法及时地收到安全信息
图像语义分割作为基础的计算机视觉处理任务,其本质上是利用对像素点的分类把图像划分为若干个不同且有意义的区域。从宏观上来看,语义分割是场景理解的必要步骤,是将图像由具体变为抽象的过程。随着计算机视觉的发展,语义分割在自动驾驶、医疗诊断、遥感图像分析等领域中具有非常重要的应用价值。近年来,基于全卷积神经网络的语义分割方法作为一个较新的研究方向受到了广泛的关注。在无数研究人员的共同努力下,基于深度学习的
光场图像新视点生成是与光场图像重定向密切相关的科学问题。现有的新视点生成算法多针对光场内插,生成视点范围受限,且无法修改光场图像的基线(baseline),同时当进行视点外插时,产生的空洞问题仍没有一个合理的解决办法。“先拍照,后对焦”是光场图像的一大特点,光场图像重聚焦是光场图像增强算法中的热点问题。但传统重聚焦算法存在混叠现象,严重损害了重聚焦图像的视觉效果。据此,本文提出了一种光场图像基线编
特征选择在模式识别、文本分类和计算机视觉等数据维数通常很高的应用中具有重要意义,它可以降低计算复杂度,发现高维数据的内在流形结构。本文研究矩阵回归模型及相应的特征选择方法,主要内容包括:首先,给出了鲁棒图正则化稀疏矩阵回归(RGRSMR)模型,其损失函数是基于L2,1范数,并以基于流形学习的类内紧致图作为正则化项。RGRSMR将类内紧致图与稀疏矩阵回归结合在一起,以执行二维矩阵数据的特征选择。其次
基于现有VR技术的相关应用,探索如何利用VR技术实现对孙温《红楼梦》绢本画的数字化设计。主要寻找传统文化内容与虚拟现实技术的交叉点,并利用VR技术实现对孙温《红楼梦》绢本画的交互性展示,为用户带来兼具沉浸性与真实感的虚拟体验。在设计过程中以孙温《红楼梦》绢本画的多形态交互性展示即VR系统中界面功能设计为突破口,使其审美性与交互性在虚拟体验之中结合形成文化内涵的跨媒介传播与表达。提高《红楼梦》相关文
随着图形化信息技术的生活化渗透与大众常态化文娱需求的日渐提升,视觉文化迅速发展成为人们精神生活和文化生活的主要感知感受方式,公众的艺术审美能力和视觉美学鉴赏力普遍提升,视觉价值标准与审美需要也在不断被重塑。但是从当前传统剪纸文化的传承发展现状而言,其视觉构成上的转化完成度以及视觉文化信息的活态体验呈现远远不能满足用户的使用、审美以及情感诉求。传统文化视觉构建惯式大多仍停留在对传统文化内容元素的跟踪