遥感图像分类一直是遥感领域的研究热点。对促进国民经济发展有着巨大的作用。遥感图像的种类繁多,特性各异,整体呈现出“三多”和“四高”的特性。“三多”是指多传感器、多平台、多角度,“四高”是指高空间分辨率、高光谱分辨率、高时相分辨率、高辐射分辨率。这些数据特性对新算法的提出带来了新的挑战,多种复杂的数据优势各异,如何充分利用其优点对遥感图像解译是一个充满希望的课题,即多源数据融合解译。近年来,深度学习作为人工智能领域的核心技术,解决了一系列难题,使得该领域取得了巨大的发展。本文以深度学习为主要方法,面向多源遥感图像解译的问题,进行了深入的研究。按照成像模式,将遥感数据分为主动成像数据图像和被动成像数据图像。因为同种成像模式下,数据特性相对比较一致。主动成像数据图像包括,SAR图像,极化SAR图像和LiDAR数据图像等。被动成像数据图像包括,全色图像,RGB图像,多光谱图像,高光谱图像等。纵向分析同种成像模式下的数据特性和解译优势,横向结合不同成像模式的优点,两者结合提升对遥感图像解译能力。在本文的工作中,充分考虑图像之间的关系,构建合理、高效的模型,应用于多源遥感图像分类任务,并取得了良好的分类的性能。这些研究成果也被国内外同行专家给出了充分的肯定,具体内容有:1.针对传统分类框架,图像结构信息被破坏了的问题,设计了一种基于深度卷积神经网络和矩阵分类器的极化SAR图像分类的方法,该方法克服了以往算法将二维特征空间结构破坏的弊端,保留了目标的空间特征,提升了极化SAR图像的分类准确率。该方法创造性的在深度卷积神经网络中引入了支撑矩阵机,将两者有机的结合,针对极化SAR图像分类问题,建立了新的分类框架。为了验证算法的性能和鲁棒性,我们选取常用的两个极化SAR数据集进行实验。实验效果均优于其他对比算法,这也验证了抓取图像的空间结构信息有助于区分一些顽固的数据点,从而提升模型的判别能力,提升分类的准确率。2.为了提取和保留最原始的极化SAR数据信息,设计了一种基于极化散射编码和全卷积网络的极化卷积图像分类方法,又称为极化卷积网络。极化散射编码可以保持散射矩阵的结构信息,避免将矩阵分解成一维矢量。巧合的是,卷积网络需要二维输入,其中极化散射编码矩阵满足这一条件。我们设计了一个改进的全卷积网络来对极化散射编码的数据进行分类。为了使实验更全面、更有效,实验数据集由两颗卫星的四组数据组成,对比算法包括传统方法和最新方法。实验结果表明,该算法具有较强的鲁棒性和较好的分类效果,分类图与地面真实标记图非常接近,分类精度高于对比算法。主要原因在于所提出的算法能够在原始数据中保留图像的结构信息。实验结果也证实了上述推论。通过对比实验,我们发现极化散射编码确实是有效的。对于这种编码,所设计的分类网络的性能更优。3.针对全色图像和多光谱图像分类过程繁琐的情况,设计了一种基于空谱信息融合的深度多示例学习模型,用于对多光谱和全色图像进行分类。首先,利用堆栈自编码网络(SAE)从多光谱图像中提取光谱特征,并利用深度卷积神经网络从全色图像中获取空间特征。然后将两种特征进行级联表示,将其输入到具有三个完全连接层的融合网络中,融合和学习高层特征。最后,使用Softmax分类器对特征进行分类识别。从结果的可视化分析来看,分类结果非常接近地面实况图。该方法取得了满意的结果。因此,通过在四个数据集上验证本章算法,展示了其很强的鲁棒性,说明本章提出的深度多示例学习框架能够很好的解决全色图像和多光谱图像融合分类的任务。4.从多视图角度考虑多源图像分类问题,提出了一种深度多视图联合学习网络,用于多源遥感数据分类,包括多光谱图像,高光谱图像,LiDAR数据。高光谱图像具有丰富的光谱特性,LiDAR图像可以获得高度和强度信息。多光谱图像具有丰富的光谱特性和高分辨率。在所提出的方法中,使用规范相关分析来获得相关联的特征。深度学习架构用于处理相关的功能。还建议使用视图联合池来融合多个视图特征。同时,我们设计了实验并给出了多源数据的分类结果。在所提出的分类基准中,利用空间信息和光谱信息来对图像进行分类。实验表明,该方法比传统方法表现更好。此外,多源遥感数据的融合分类提供了更可靠和适用的结果。5.图像融合分类通常涉及三个抽象级别,像素,特征和决策。重点关注了特征级别和决策级别融合的策略,提出了一种新的多源遥感数据分类框架,即HSI,LiDAR和VHR RGB数据。RGB图像具有极高的空间分辨率。HSI图像具有丰富的光谱特性。LiDAR可以获得高度和强度信息。如何综合利用这些数据来提高图像判读效果是一个值得进一步研究的课题。该方法基于深度多级融合,可以综合考虑多个层次。在实验中,我们设计了实验并给出了不同层次的融合,表明同时信息和异构信息同时被利用来对图像进行分类。本章提出的方法在从多源图像中发现高质量语义方面比传统的单级融合方法表现更好。此外,多源遥感数据的融合分类提供了更可靠和适用的结果。综上所述,本文针对遥感图像分类的问题,进行了系统的研究,包括主动成像模式下的极化SAR图像分类问题和LiDAR数据图像分类问题,同时也包括被动成像模式下的全色图像,多光谱图像,高光谱图像分类问题。最终,将两种成像模式下的图像进行融合分类,取得了良好的分类性能。