在各种重要的场合和领域,例如交通、电力、国防、医疗等,红外图像和可见光图像都有着重要的作用。为了得到更全面、更完整的图像信息,在实际应用中将红外图像和可见光图像进行融合,把它们之间的信息进行互补,得到更符合实际需求的融合图像。因此,把红外图像和可见光图像进行融合具有重要意义。本文采用的融合算法的基础是深度学习技术,通过该技术对图像信息进行深度挖掘,找出更适合的融合框架。本文的主要研究内容及创新工作如下:本文进行的是基于多尺度空洞卷积和混合注意力机制的图像融合框架研究,首先混合注意力机制的使用,使融合后的图像目标信息增强,图像清晰度更高。其次采用多尺度空洞卷积,这里由两个不同尺度的卷积核提取特征,将2个通道的特征映射按位相加,聚合后得到新的特征映射,空洞卷积的卷积核分别是9x9和13x13,空洞卷积能够有效拓宽图像的感受野,有效缓解信息丢失问题。实验结果表明,所提出的框架在EN上效果最好,达到了17.88;而在SSIM和CC上仅次于TSD融合算法,也达到了相对较高的数值。该方法与现有的几种方法比较,融合图像在信息熵保持较高水平,在结构相似度和相关系数指标上都达到了相对较好的结果。本文进行的另外一种融合算法是基于双分支卷积和密集连接网络的红外与可见光图像融合框架。红外图像和可见光图像各自的特征图是通过卷积层、密集块和多尺度块相互作用获取的,很好的抑制梯度消失的现象,在双分支卷积的基础上引入密集连接网络,其目的保留更多的图像信息到最后的特征图像中,采用一个三层密集块网络构造了结构为BN、Relu、1x1卷积和2x2最大池化的顺序组合,对前层特征降维,保证前面不同层获取的通道特征在输入后续层的过程中维度上的一致性,然后通过1x1卷积能够控制通道的维数,有效的解决特征图维数过大造成的网络难以收敛问题。实验结果显示,本文所提的融合框架与目前的几种融合方法比较,在SSIM、CC指标上均是最好的,分别达到了0.74、0.56,在SD指标上仅次于Dense Fuse方法,数值也达到了较高的水平,说明融合图像信息更丰富、相似度更高,细节信息完整,整体融合效果较好。该论文有图17幅,表8个,参考文献122篇。