近年来,随着遥感技术的飞速发展,遥感信息的数据量呈现指数级上升,多种传感器、多种数据类型的出现给遥感数据处理和应用带来了极大的机遇和挑战。不同传感器成像机理的差异性,使得多模态遥感影像能够反映地物目标的不同特性和信息,因此对多模态遥感影像进行融合处理,充分利用各类型遥感数据的互补优势,将有助于影像解译,更好地获取地物信息。在多模态遥感影像融合处理中,影像匹配是一个关键步骤。现有针对多模态遥感影像匹配的方法主要分为两类:基于区域的匹配方法和基于特征的匹配方法,其中基于特征的匹配方法又可细分为基于人工设计描述符的方法和基于深度学习的方法。基于区域的影像匹配方法通过同时在参考影像和目标影像上建立模板窗口和搜索窗口,利用构建的对于非线性灰度差异鲁棒的相似性度量对窗口中的统计值进行度量,从而确定匹配点。在基于特征的匹配方法大类中,基于人工设计描述符的方法通过构建特征描述符对影像灰度进行更为抽象的表达,因此对于多模态遥感影像间的非线性灰度差异具有较强鲁棒性;而基于深度学习的方法通过构建并训练深层卷积神经网络,提取对多模态遥感影像非线性灰度差异鲁棒的深层语义特征,进而对深层特征利用相似性度量或直接采用相似度学习机制进行匹配。但是由于传感器和遥感平台的差异,在多模态遥感影像间普遍存在显著的非线性灰度差异和几何变形。虽然研究人员已在多模态影像匹配领域进行了大量研究,但现有方法在兼顾影像非线性灰度和几何差异方面的性能仍有待进一步提高。因此,本论文针对基于深度特征的多模态遥感影像匹配方法展开较为深入的研究。本论文围绕基于深度学习的多模态遥感影像特征匹配问题,针对多模态遥感影像特征匹配中非线性灰度差异和几何变形造成的匹配困难展开深入研究。研究内容主要分为以下三个方面:(1)顾及样本距离的多模态遥感影像特征匹配样本集构建策略基于深度学习的方法需要大量样本数据用于模型训练,但在多模态遥感影像匹配领域却鲜有符合研究内容需求的公开数据集可供使用。此外,由于影像上邻近地物的相似性容易造成同名点周围邻近点出现误匹配现象,本论文提出一种顾及样本距离的多模态遥感影像特征匹配样本集构建策略,满足本论文中多模态影像匹配方法对于训练数据的需求,克服邻近点对影像匹配的影响。(2)多模态遥感影像深度特征提取多模态遥感影像间存在显著的非线性灰度差异,严重影响了影像间的匹配效果。本论文通过研究发现,利用深度卷积神经网络对多模态影像进行特征提取后,其深度特征之间的非线性灰度差异能够被大幅缓解。因此本论文在Siamese网络架构的基础上采用一种双分支共享权重的多模态影像特征匹配网络来提取对非线性灰度差异鲁棒的深层特征,通过构建并训练特征匹配网络,从而进行后续的特征匹配。(3)基于深度特征的影像匹配方法经过深层卷积网络提取的影像深度特征之间已经大幅缓解了非线性灰度差异,但仍存在几何变形,且提取到的特征影像众多,需要进行最优特征筛选。本论文提出一种基于影像深度特征的匹配方法,首先利用基于Bo F的影像检索方法筛选出最优深度特征图,然后采用对几何变形鲁棒的特征匹配方法对影像进行粗纠正,进而在粗纠正的基础上提取局部特征影像块,输入前述的多模态影像特征匹配网络判别局部影像块的相似性,反算回原始目标影像上,得到最终的匹配点位。综上所述,本论文针对多模态影像间的非线性灰度差异和几何变形,提出了一种同时对非线性灰度差异和对几何变形鲁棒的特征匹配框架,达到多模态遥感影像匹配的目的。