行人重识别在安防领域有重要的应用,而跨模态行人重识别可以在异质数据中匹配相同身份的行人,可以解决全天候监控的问题。相比于手工设计的特征匹配方法,基于深度学习的跨模态行人重识别算法在精度、鲁棒性方面都有很大的提升,因此基于深度学习的跨模态行人重识别算法在学术界和产业界引起了广泛关注。本文针对跨模态行人重识别任务,从神经网络结构、损失函数两个方面对基于深度学习的跨模态行人重识别算法进行分析与设计。与现有论文相比,本文设计的方法在跨模态行人重识别的两个公开数据集SYSU-MM01和Reg DB中取得了领先的精度。本文的主要工作包括以下三个方面:(1)设计了一种基于困难五元组的特征提取框架,该框架具有高精度、可扩展性的特点。该框架使用改进的单模态行人重识别网络作为特征提取模块,现有的单模态行人重识别模型相比于分类网络有更强的特征提取能力,同时具有高度可扩展性。此外,本文设计了困难五元组损失函数以及相应的困难五元组采样方法。困难五元组损失函数由全局三元组和跨模态三元组损失函数组成,前者同时处理了模态内变化和模态间变化,由于模态间变化更大,后者增强前者对模态间变化的关注力度,该损失函数在训练效率、精度等方面有显著提高。在该框架中,我们级联困难五元组损失和身份损失函数,进一步提升了精度。(2)设计了一种基于多粒度特征的双通道网络。两个通道由两个结构相同但参数不共享的特征提取模块构成,两个特征提取模块分别提取红外图像与可见光图像的行人特征,每个特征提取模块由一个全局特征分支和两个局部特征分支组成,融合全局特征和局部特征的策略使网络具有提取多粒度特征的能力,使模型可以关注到行人不同部位的细节特征。最后通过身份损失和异质中心损失函数来提升特征向量的判别性。(3)设计了一种基于梯度协调机制的身份损失函数,一定程度上缓解了易样本和由于模态差异过大造成的离群点对模型训练的影响。在模型结构不变的情况下,通过梯度协调机制辅助身份损失来提升训练结果,该方法具有扩展性。