论文部分内容阅读
受各种不同类型的成像传感器自身固有特性的限制,成像类型互不相同的传感器所采集的图像信息不尽相同,且存有一定的互补性;成像类型相同但参数设置、聚焦范围不同的同一类型传感器,对同一背景或目标物体成像时所采集的图像信息也存在互补性。多源图像融合通过对上述两种不同情况下所采集的多种不同类型的图像信息进行融合,得到一幅能全面、清晰和准确的描述背景或目标物体的融合图像,从而能够为后续人类视觉感知、目标探测等提供可靠的信源。多尺度变换（Multi-scale Transform,MST）理论具有多尺度、多方向和各向异性等特性,是图像融合广泛使用的一种方法。本文深入分析了国内外图像融合方法的不足,以MST理论中的非下采样Contourlet变换（Non-subsampled Contourlet Transform,NSCT）、Shearlet变换（Shearlet Transform,SHT）、和非下采样Shearlet变换（Non-subsampled Shearlet Transform,NSST）等为分解工具,开展基于MST的多源图像融合方法研究。具体内容如下:1.针对基于MST的红外与可见光图像融合方法存在融合图像的亮度、对比度差的问题,提出了一种基于NSCT与多尺度顺序翻转操作（Multi-scale Sequence Toggle Operator,MSSTO）特征提取的红外与可见光图像融合方法。该方法选用NSCT对输入的红外与可见光图像进行多尺度、多方向分解;对于NSCT输出低频分量的融合,本文利用MSSTO分别提取以上两幅图像低频分量的亮、暗特征,并将该特征并入到权值平均融合的低频子带系数中,得到融合低频分量;对于NSCT输出高频分量的融合,采用固定区域空间频率与固定区域能量相混合的规则进行融合。4种不同类型的红外与可见光融合结果表明,本文提出的方法不仅可以解决融合图像信息量丢失严重问题,而且可以有效提高融合图像的亮度和对比度。2.脉冲耦合神经网络（Pulse Coupled Neural Networks,PCNN）是一种通过模拟哺乳动物视觉皮层神经元活动而构建起来的网络模型,它具有刺激相同神经元脉冲同步的特性,其信号的形式和处理图像的机制与人类视觉系统的生理学基础相吻合,有着其它图像处理方法根本无法可比的独特优势,但PCNN用于图像融合时存在待定参数太多、链接强度自适应性差、迭待次数设置过大等缺陷。本文构造了一种双通道单链接记忆性脉冲耦合神经网络（Dual Channel Unit-linking Memristive Pulse Coupled Neural Networks,DUM-PCNN）模型。DUM-PCNN与原PCNN相比,简化了某些外围参数,采用固定区域空间频率作为自适应链接强度,定义时间矩阵自适应的确定网络迭代次,具有记忆性和全耦合性等特点。在此基础上,本文将其模型用于红外与微光夜视图像彩色融合中,提出了一种基于NSST与DUM-PCNN的夜视图像彩色融合方法。该方法选用NSST分解红外与微光图像,分别获得各自的低频和高频分量;对于NSST分解所得的低频分量,采用8方向模版构造Kirsh特征能量,并采用Kirsh特征能量取最大值规则进行融合;对于NSST分解所得的高频分量,采用Kirsh特征能量激励DUM-PCNN模型进行融合;然后将融合图像、红外图像、微光图像组成YUV颜色空间得到伪彩色图像,并将彩色参考图像转换到YUV空间,对伪彩色图像进行颜色传递;将传递后的图像转换回RGB颜色空间,得到染色后的假彩色融合图像。4组不同场景的红外与微光夜视图像融合实验结果表明,本文所提出的方法改善了颜色失真、获得了好的视觉效果。3.针对基于MST的合成孔径雷达（Synthetic Aperture Radar,SAR）与红外图像融合存在边缘模糊问题,提出了一种基于多尺度非局部剪切波方向滤波（Multi-scale Nonlcal Shear Directional Filter,MNSDF）的SAR与红外图像融合方法。该方法利用多尺度非局部均值滤波代替非下采样拉普拉斯金字塔滤波器对图像进行多尺度分解,并将其与多方向剪切波相结合,构造了一种MNSDF的分解工具;采用MNSDF分解工具对红外与SAR图像进行分解,得到近似子带和方向子带;对于MNSDF分解的近似子带,采用固定区域能量和梯度能量相联合所得总能量取最大值的规则进行融合;对于MNSDF分解的方向子带,提出基于固定区域梯度能量与方向子带系数绝对值的规则进行融合;对融合的近似子带和方向子带实行MNSDF逆变换获得融合图像。4组红外与SAR图像融合实验结果表明,本文所提出的方法能获得边缘、轮廓最为清晰的融合图像。4.针对基于MST的多聚焦图像融合方法得到的融合图像边缘区域存在伪吉布斯（Gibbs）振铃效应问题,提出了一种双域联合的多聚焦图像融合方法。该方法采用SHT对多聚焦图像进行分解,分别得到低频、中高频和最高频子带系数;对于SHT分解的低频子带系数,提出三种活跃级量测（Three Active Measurements,TAM）激励脉冲发放皮层模型（Spiking Cortical Model,SCM）,并采用基于总点火次数和低频子带系数绝对值的规则进行融合;对于SHT分解的中高频和最高频子带系数,分别采用基于局部区域梯度能量和空间频率的规则进行融合;对融合后的低频、中高频和最高频子带系数,通过逆SHT变换得到初步临时融合图像。将初步临时融合图像与原图像进行相减得到差值图像;再利用局部区域的拉普拉斯能量检测差值图像的聚焦区域,并利用所得聚焦区域来指导原多聚焦图像融合,得到最终融合图像。4组不同多聚焦图像融合实验结果表明,本文提出的方法能够有效减少融合图像边缘Gibbs振铃效应,获得好的融合效果。