基于深度学习的红外与可见光图像融合算法研究

来源 :石家庄铁道大学 | 被引量 : 0次 | 上传用户:fang82888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合技术旨在对多个源图像中的互补信息进行整合,以获得包含更加全面的信息的融合图像。红外与可见光图像融合技术是图像融合领域中一个重要的研究方向。红外图像包含物体丰富的热辐射信息,即使在光线较弱的情况下,也可以捕捉到隐藏的目标。但红外图像对于场景的纹理细节信息不能给予很好地描述,不利于人类视觉的感知。可见光图像包含场景丰富的纹理信息,具有较高的清晰度,符合人类视觉的感知。利用图像融合技术将这两种图像进行融合来获得包含两种图像重要信息的融合图像,有助于增强人类对场景的理解力。传统的图像融合方法需要大量的手工设计,具有较高的计算复杂度且模型不易调整。近年来,深度学习技术在图像融合领域得到了应用,并获得了较好的融合效果。本文提出了两种基于深度学习的红外与可见光图像融合方法,以进一步提升融合效果。本文的主要研究内容如下:(1)本文提出了一种基于梯度残差密集块和注意力机制的红外与可见光图像融合方法。该融合方法将梯度残差密集块作为特征提取块引入到编码器中。该模块不仅可以保留中间信息实现对源图像特征的充分利用,而且可以增强网络对细粒度细节信息的提取能力。红外图像和可见光图像包含的关键信息不同。为了获得源图像的重要信息,将注意力机制引入到编码器中。利用注意力机制对提取的特征进行进一步地精细化地调整,从而有助于提高融合效果,获得包含源图像重要信息的质量更好的融合图像。此外,利用组合损失函数对网络的训练过程进行约束,有助于获得信息更丰富的高质量融合图像。实验结果表明,该融合方法能够有效地实现红外与可见光图像的融合任务。(2)本文提出了一种基于快速下采样一次性聚合网络模型的红外与可见光图像融合方法。为了有效获取源图像更全面的信息,本文设计了一种快速下采样一次性聚合网络模块。在编码器中利用该模块可以实现对红外图像和可见光图像的详细信息和语义信息的有效提取。编码器提取的源图像的特征在不同空间位置与不同通道上具有不同的重要性。因此引入基于空间注意力和通道注意力的融合规则对两种源图像的特征进行融合。最后将融合后的特征送入解码器中重建融合图像。实验结果表明,该融合方法能够有效地实现红外与可见光图像的融合任务。
其他文献
近年来,我国道路货运企业获得了长足的发展,然而货运企业所面临的风险也不容小觑。货物运输需求方对道路货运企业的风险评估能力和管理水平都提出了更高的要求。传统的道路货运企业风险管理模式已经无法适应道路货运行业的发展,道路货运企业进行科学的风险评估对企业的稳定发展有着重要的现实意义。本文以道路货运企业风险为出发点,进行了以下研究。首先,建立企业风险评估指标集并划分了风险程度。本文选取北京市顺义区内道路货
学位
钢轨压溃等短波伤损会引起轮轨力激增,降低车辆系统各部件使用寿命,尤其是连续多个钢轨压溃会引发更严重的轮轨高频振动,诱发的接触疲劳裂纹会导致钢轨断裂,严重影响行车安全。因此,及时检测与有效识别钢轨压溃,对于延长各部件使用寿命及提高列车运行品质具有重要意义。基于轴箱振动响应特征检测钢轨压溃可实现在线实时监测而得到广泛应用,现有研究大多围绕单点钢轨压溃的检测识别,有关连续多点钢轨压溃引起的轴箱振动响应特
学位
在铁路智能化、信息化发展趋势下,对铁路基础设施信息数据采集及管理提出了更高的要求,铁路路堑作为铁路运营中重要的基础设施之一,快速获取其基础信息数据和对其进行高效的数据管理是当下研究的重点。现有数据采集手段效率低下,且多源数据录入易出现差错影响数据质量,无法满足铁路智能化、信息化发展需求。故针对铁路路堑信息采集及分析技术进行研究,结合新型数据采集设备,研究更具针对性的路堑信息识别算法,开发铁路路堑信
学位
随着我国城市经济的飞速发展,我国的机动化水平也在不断提高。城市市政基础设施也随之迅速发展,城市面积不断扩张,城市的道路里程与道路密度也逐渐增加。然而,一方面由于近几年城市地下空间的的不断开发利用,使得路面不断出现下陷和沉降过大等问题。另一方面由于车辆荷载、天气条件、施工工艺以及施工质量等问题,使得不同程度的路面破损现象在城市道路中十分常见。并且由于相关道路养护部门对城市道路路面质量的检测以及对现有
学位
旋转部件作为机械设备中最常见的组件,是工业化生产的重要组成部分,被广泛应用于航空航天、交通运输、机械制造、新能源和深空探测等领域。在机械设备中,旋转部件的工作环境恶劣多变,长期运行过程中发生故障的可能性增加。旋转部件实时监测和故障预测能够有效地预防设备发生事故,避免巨额的经济损失和严重的人身伤害,在工程中具有重大应用价值。对于旋转部件参数的测量,传统的接触式测量方法难以满足高速旋转环境下的需求,因
学位
随着全球跨境电子商务的迅速发展和全球经贸一体化趋势的增强,跨境电商作为依托互联网技术成长起来的新型跨境贸易形势,受到各国的普遍重视,现已成为对外贸易的重要力量和我国经济的新增长点。目前,全球跨境电商行业正处于高速发展期,具有交易规模持续增长、发展不平衡、地区间差异较大、品牌效应逐渐增强等特点。跨境供应链管理成为制约跨境电商企业发展的关键。目前,跨境电商企业对于供应链管理还缺乏详细的理论指导和可以借
学位
行人重识别作为一个图像检索的子问题,旨在从视角不重叠的摄像头中检索感兴趣的行人。行人重识别技术在安防、刑侦等领域有着重要的研究和应用价值。随着公共场所中监控摄像头的不断增加,视频监控数据出现海量式增长,对这些跨摄像头的海量图像进行标注代价过于昂贵,因而有监督的行人重识别在实际应用中会受限。同时由于行人重识别数据集从不同的环境采集,不同场景下收集的数据集之间的数据分布会存在领域差异,将在一个数据集上
学位
人体动作的预测是计算机视觉和图形学领域的重要任务,广泛应用在智能安防和自动驾驶等领域。现有方法主要是基于人体的骨架和图像表示。相对于骨架和图像,三维几何数据表示人体动作更加直观和形象化。近年来,随着三维扫描和建模技术的快速发展,出现了越来越多的三维人体数据集。但目前对三维人体的预测工作相对较少,并且主要使用三角形网格的表示形式,依赖其复杂的拓扑连接性,不如三维点云那样简单和易于获取。为此,本文提出
学位
人体动作相似性度量在计算机视觉和图形学中有着广泛的应用,如安防监控、运动力学分析、信息检索等。前人的研究工作主要使用骨架和视频来表示人体动作。相对于骨架和视频,三维几何数据包含更丰富的空间信息且表示人体动作更加直观。随着激光雷达的日渐成熟,三维人体动作序列数据集逐渐增多,但对人体动作序列相似性度量研究较少,并且主要使用三角形网格来表示人体模型,较为依赖其复杂的拓扑连接性。为此,本文提出基于点云表示
学位
报纸