图像是人类获取信息的重要来源。随着传感技术的迅猛发展,图像的形态呈现多元化,如应用在刑侦追捕等领域的法医画像;应用在放射医学等领域的核磁共振图像;应用在门禁系统等安全防范领域中的近红外图像;应用在生命探测等领域的热红外图像。来自不同传感器或不同成像环境下的图像(例如可见光条件下拍摄的人脸照片、画家手绘的素描画像、红外成像设备采集的近红外/热红外人脸图像、不同模态的医学核磁共振图像、计算机断层扫描图像/核磁共振图像)均称为不同模态下的图像,即跨模态图像。跨模态图像之间往往存在很大的差异,这对图像跨模态重建和识别带来了巨大的挑战。而现有的方法无法有效解决这些问题,满足实际的应用需求。因此,本文致力于图像跨模态重建与识别任务,以深度学习为理论框架,提出一系列跨模态图像重建与识别新方法。本文的主要创新性工作概括如下:1.提出一种基于深度信息融合的图像跨模态重建方法。现有的图像跨模态重建算法,大多受限于跨模态图像数据的规模,导致图像重建的效果欠佳,难以满足实际应用场景的需要。针对这一问题,提出一种基于深度信息融合的图像跨模态重建方法。首先利用不同的识别模型对图像重建网络分别进行监督,由于不同识别网络的差异,为重建结果带来了更大的类内多样性,然后将这些重建图像加入训练集,综合利用原始训练集与重建图像,进一步优化重建网络模型,最后实现更加清晰、真实的图像跨模态重建效果。2.提出一种基于身份信息保持的图像跨模态重建方法。现有的图像跨模态重建方法在图像重建的过程中,由于只考虑到生成图像与真实图像在像素级上的差异,而未考虑到特征级和语义级的差异,导致重建结果大多存在变形严重、细节模糊、语义判别信息较弱等问题,从而导致较差的主观表现和较低的定量评价分数。针对这一问题,提出一种基于身份信息保持的图像跨模态重建方法。首先,利用现有的跨模态人脸图像重建算法来扩充训练集。然后,采用跨域转换网络来增强图像重建模型在像素级、特征级、语义级的信息一致性,进而提高重建模型的生成效果,克服了跨模态图像之间的巨大差异,由于保持了多重信息一致性,使得转换前后图像的结构变形较小、细节保真度高。最后利用域内调整网络进一步优化重建图像的主观效果。3.提出一种基于自表示协同学习的图像跨模态重建方法。现有的跨模态图像重建方法只能从一种模态转换为另一种模态,无法有效利用多种模态的互补信息,导致有效信息的浪费,图像重建结果的准确性也较差。针对这一问题,提出了一个基于自表示协同学习的图像跨模态重建方法。本算法可以全面利用已有多模态图像中与目标模态相关的所有可用信息。与现有方法不同,提出使用自编码网络,作为自监督约束,计算针对缺失模态的自表示损失函数,对跨模态图像重建模型进行直接指导。最后可通过单一模型更加准确的生成任一缺失模态的图像。4.提出一种基于数据增广非对称联合学习的图像跨模态识别方法。现有的图像跨模态识别方法,无法根据小规模的跨模态图像数据进行有效学习,导致识别模型的精度较差。针对这一问题,提出一种基于数据增广的非对称联合学习方法。首先,利用已有的合成算法扩展原始训练集,由于不同方法的图像重建原理不同,重建图像的模态差异会为原始数据带来更多的判别信息。但是,将所有重建图像加入训练集的同时,也引入了冗余信息。所提出的非对称联合学习算法,可以在增加类内有效信息的同时,减少对类间差异信息的影响。最后,通过计算跨模态图像之间的对数似然比,获得其相似性。本方法在人脸素描画像数据集、法医画像数据集、近红外图像数据集、热红外图像数据集、低分辨人脸数据集和人脸遮挡数据集等多种人脸图像跨模态识别场景中均取得了很好的识别性能,具有较强的泛化能力。5.提出一种基于多间隔解相关学习的图像跨模态识别方法。现有的图像跨模态识别方法,由于没有考虑到图像之间的跨模态冗余信息,导致现有方法的识别精度较差。针对这一问题,提出一种基于多间隔解相关学习的图像跨模态识别算法,包括:跨模态图像的超球面空间嵌入和解相关学习。首先,采用大规模的可见光人脸数据集对跨模态表示网络进行预训练,以解决近红外-可见光人脸图像数据规模小的问题,并将图像映射到超球面表示空间;然后,在跨模态表示网络之后引入解相关层,对跨模态特征表示进行解相关学习,以减少跨模态图像之间的模态差异,并提出多间隔损失函数对网络进行优化,有效提升了近红外-可见光图像的跨模态识别精度。