论文部分内容阅读
行人重识别(ReID),旨在给定查询对象的情况下,在大型数据库中检索指定行人的图像。近年来,随着大规模数据集的出现,以及特征提取和度量学习方法的不断进步,单域下的行人重识别已经取到了巨大进展,然而,直接将单域训练的模型应用到具有大型摄像机网络的现实环境中通常会导致较差的性能。
针对上述情况存在的不足,本文采用基于深度学习技术对跨域行人重识别的方法进行研究。主要利用深度学习的技术及相关算法,对跨域ReID的自适应能力、模型尺寸和准确性进行研究。首先,提出一种增强跨域行人重识别中的域自适应性方法,该方法通过结合源域和目标域的变化来增强域自适应性;其次,提出一种轻量准确的无监督行人重识别方法,解决了无监督学习的行人重识别准确性低和模型偏大的问题。本文在学术和实际应用的贡献如下:
1、为解决单域训练的模型在做跨域任务时自适应性差的问题,本文提出区域对齐和“软化”处理的深度ReID模型。首先采用区域对齐策略将特征图水平均匀分区为P个区域,用于汇集局部特征;其次分别将P个区域进行“软化”处理,将每个区域产生的异常值重新分区给邻近区域,提高区域内部的一致性。“软化”处理后的区域对齐在跨域行人重识别中起着重要的作用,通过强化模型的对齐,不仅增强了它的泛化性能,提升模型直接跨库测试的能力,而且还可以很自然地利用目标域无标签数据,实现源域到目标域的自适应,使得模型可以适配目标域。
2、为进一步增强跨域ReID模型的自适应性,本文提出一种结合域间与域内变化的跨域行人重识别算法,从域间和域内两个方面来减少跨域带来的影响。首先使用标记的源域数据来训练区域对齐和“软化”处理后的深度ReID模型;然后针对源域到目标域的域间变化,提出域间姿势不变性,将目标域的行人学习源域行人的姿势特征生成新的行人图像加入训练,缩小了源域和目标域的姿势差距;接着针对目标域内变化,提出域内姿势不变性,样本不变性,相机风格不变性和邻域不变性。其中域内姿势不变性旨在将目标域内不同行人的姿势特征相互学习,缩小域内姿势差距。样本不变性旨在将每个样本相互远离,扩大不同身份的样本之间的距离。邻域不变性旨在鼓励每个样本及其邻居彼此接近,缩小相同身份的样本之间的距离。相机风格不变性具有与样本不变性相似的效果,并且使样本及其相机样式的转移样本共享相同的身体表示。最后采用样本存储器存储目标域的特征并适应不变性特征。实验表明,区域对齐和五个不变性有效地增强了跨域行人重识别中的域自适应性,与只注重域间变化或域内变化的算法相比,其识别精度得到有效提升。
3、为在增强域自适应的同时解决跨域ReID准确性低和训练模型偏大的问题,本文提出一种轻量准确的行人重识别方法(LWA)。首先提出一种轻量级的图像分类器(LWC),通过合并DenseNet的卷积层和批量标准化层来简化模型结构,接着在LWC基础上添加数据的时空信息构成强分类器。然后,提出一种优化学习算法,通过构造二元组网络实现弱分类器(LWB),把强分类器的排名信息用于二元组网络的训练来增强LWB识别能力,再添加数据的时空信息构成LWA分类器。实验表明LWB在CUHK01和VIPeR行人数据集上比目前较领先的SiaNet模型小80%左右,其添加时空信息后得到的LWA分类器在Market-1501和DukeMTMC-reID目标测试数据集上的识别准确性还略有提升。
综上所述,本文主要利用深度学习技术,从模型、域间信息和域内信息上对跨域行人重识别任务进行实验与分析。
针对上述情况存在的不足,本文采用基于深度学习技术对跨域行人重识别的方法进行研究。主要利用深度学习的技术及相关算法,对跨域ReID的自适应能力、模型尺寸和准确性进行研究。首先,提出一种增强跨域行人重识别中的域自适应性方法,该方法通过结合源域和目标域的变化来增强域自适应性;其次,提出一种轻量准确的无监督行人重识别方法,解决了无监督学习的行人重识别准确性低和模型偏大的问题。本文在学术和实际应用的贡献如下:
1、为解决单域训练的模型在做跨域任务时自适应性差的问题,本文提出区域对齐和“软化”处理的深度ReID模型。首先采用区域对齐策略将特征图水平均匀分区为P个区域,用于汇集局部特征;其次分别将P个区域进行“软化”处理,将每个区域产生的异常值重新分区给邻近区域,提高区域内部的一致性。“软化”处理后的区域对齐在跨域行人重识别中起着重要的作用,通过强化模型的对齐,不仅增强了它的泛化性能,提升模型直接跨库测试的能力,而且还可以很自然地利用目标域无标签数据,实现源域到目标域的自适应,使得模型可以适配目标域。
2、为进一步增强跨域ReID模型的自适应性,本文提出一种结合域间与域内变化的跨域行人重识别算法,从域间和域内两个方面来减少跨域带来的影响。首先使用标记的源域数据来训练区域对齐和“软化”处理后的深度ReID模型;然后针对源域到目标域的域间变化,提出域间姿势不变性,将目标域的行人学习源域行人的姿势特征生成新的行人图像加入训练,缩小了源域和目标域的姿势差距;接着针对目标域内变化,提出域内姿势不变性,样本不变性,相机风格不变性和邻域不变性。其中域内姿势不变性旨在将目标域内不同行人的姿势特征相互学习,缩小域内姿势差距。样本不变性旨在将每个样本相互远离,扩大不同身份的样本之间的距离。邻域不变性旨在鼓励每个样本及其邻居彼此接近,缩小相同身份的样本之间的距离。相机风格不变性具有与样本不变性相似的效果,并且使样本及其相机样式的转移样本共享相同的身体表示。最后采用样本存储器存储目标域的特征并适应不变性特征。实验表明,区域对齐和五个不变性有效地增强了跨域行人重识别中的域自适应性,与只注重域间变化或域内变化的算法相比,其识别精度得到有效提升。
3、为在增强域自适应的同时解决跨域ReID准确性低和训练模型偏大的问题,本文提出一种轻量准确的行人重识别方法(LWA)。首先提出一种轻量级的图像分类器(LWC),通过合并DenseNet的卷积层和批量标准化层来简化模型结构,接着在LWC基础上添加数据的时空信息构成强分类器。然后,提出一种优化学习算法,通过构造二元组网络实现弱分类器(LWB),把强分类器的排名信息用于二元组网络的训练来增强LWB识别能力,再添加数据的时空信息构成LWA分类器。实验表明LWB在CUHK01和VIPeR行人数据集上比目前较领先的SiaNet模型小80%左右,其添加时空信息后得到的LWA分类器在Market-1501和DukeMTMC-reID目标测试数据集上的识别准确性还略有提升。
综上所述,本文主要利用深度学习技术,从模型、域间信息和域内信息上对跨域行人重识别任务进行实验与分析。