高光谱图像具有的高光谱分辨率有助于更深层次地了解地物的属性特征,然而较低的空间分辨率和高程信息的缺乏限制了其进一步应用。高空间、时间分辨率的数据以及多平台、多角度等数据的出现,对于弥补高光谱图像的不足起到了重要的作用。因此本论文以高光谱图像为核心,辅以具有高程信息的LiDAR数据和和高空间分辨率的可见光图像,从三者各自的数据特性出发,对它们的融合分类算法进行了深入研究。针对图像中地物目标大小尺度不一以及多源数据特征空间不一致等问题,论文引入了扩展形态学滤波器进行特征提取,该方法不需要任何正则化参数,能够对不同的数据结构进行整合,且能够提取多尺度特征,从而更好地辨别不同尺度的地物;此外,研究了基于边缘保持滤波器的后处理方法并在该步骤中结合了可见光图像的空间特征,有效改善了分类结果图中像素点不连续的现象。实验结果表明,将高光谱图像、LiDAR和可见光图像三者进行融合能够有效地提高地物的分类精度。为了更深层次的挖掘不同数据的内部信息,实现对地物目标更加全面的描述,论文根据高光谱图像和LiDAR数据的特性,结合深度学习理论设计了基于3D CNN分支与带有级联模块的2D CNN分支的双分支卷积神经网络(DB CNN)用于两种数据源的深层次特征提取与融合,在有效地保持了高光谱图像“图谱合一”的特性的同时,完成了LiDAR数据的多尺度特征提取,并大幅减少了特征提取过程中人工参与的步骤。实验结果表明,DB CNN能够实现高光谱图像和LiDAR数据“端到端”的特征级融合,与其它算法相比获得了较高的精度。考虑到多源数据特征之间差异性较大,从而可能导致融合后特征维数较高等问题,论文对多源数据的特征提取算法进行了研究,并对高维度特征进行了数据转换来降低维度,减少特征的冗余;此外,研究了面向多源数据的集成学习分类,借助于集成学习方法能够生成多个不同的分类器且可以进行高效集成的特性,将多个分类器对于不同特征空间的样本的分类结果进行多数投票,完成了决策级融合,并通过实验证明了算法的优良性能和可靠性。