论文部分内容阅读
行人重识别技术是指识别跨摄像机拍摄到的行人图像是否属于同一个人的方法。随着视频监控技术的提高,视频监控数据呈爆炸式增长,一一标注耗时耗力,因而有监督行人重识别方法在实际应用中具有局限性。为了使得模型具有自适应性,一种行之有效的方案是将问题建模为基于无监督迁移学习的行人重识别,这是一个有挑战的任务:一方面,目标域数据集无标签,因而不能充分被利用;另一方面,由于收集自不同环境,源域和目标域样本的数据分布存在差异。现有的方法往往通过创建一个共享的特征空间或者估计无标注数据伪标签的方式来解决域差异问题。前者往往忽略了每个域独有的特征引起的负迁移,而后者往往导致模型在这些估计的不准确的标签上过拟合。针对以上两个问题,本文分别提出了两个模型:
(1)基于自训练的排序优化行人重识别算法
首先,为了解决目标域样本的无标签问题,本模型采用生成伪标签进行自训练方式。在有标签的源域数据上训练一个模型,利用该模型提取出目标域数据的特征。然后将目标域样本之间的重排序距离以及目标域样本与源域样本之间的相对表征距离对样本进行排序优化作为新的距离度量方式,并依此生成伪标签。将带伪标签的目标域样本加入训练更新模型的参数。利用更新后的模型重新提取出目标域样本的特征并更新伪标签,如此迭代,直到模型趋于稳定。其次,为了使得模型对域差异具有鲁棒性,本模型设计了一个域相似性损失函数来混淆并拉近两个域的分布。该模型的重点是生成更为可靠的伪标签。
(2)基于多尺度域自适应注意力机制的行人重识别算法
首先,为了解决域差异问题,本模型提出一种基于注意力机制的域自适应模块(DAAM),该模块能够自适应的分离出身份相关特征和域相关特征。其中身份相关特征用来捕捉具有判别性和可迁移性的行人特征,而域相关特征通过计算身份信息注意力特征图的残差部分来建模以减少负迁移。为了获得更有判别性的行人表征,可将所提出的基于注意力的域自适应模块应用于模型的不同尺度上。具体来说,采用一个ResNet-like(如ResNet-50)主干网络,将该模块引入到每个残差块之后,分别提取高级、中级和低级特征。而后设计身份信息分支(结合身份相关分类损失)和域信息分支(结合域相关分类损失)分别去学习身份特征和域特征。其次,为了进一步解决目标域伪标签的不准确问题,本文提出一种软标签损失,通过挖掘目标域样本和各聚类中心之间的关系来评估伪标签的可靠程度,以概率分布表示样本的标签而不是绝对的某一标签,从而减弱模型在不可靠标签上的过拟合,进一步提高行人重识别准确度。本模型的重点是如何减少域差异的影响。
(1)基于自训练的排序优化行人重识别算法
首先,为了解决目标域样本的无标签问题,本模型采用生成伪标签进行自训练方式。在有标签的源域数据上训练一个模型,利用该模型提取出目标域数据的特征。然后将目标域样本之间的重排序距离以及目标域样本与源域样本之间的相对表征距离对样本进行排序优化作为新的距离度量方式,并依此生成伪标签。将带伪标签的目标域样本加入训练更新模型的参数。利用更新后的模型重新提取出目标域样本的特征并更新伪标签,如此迭代,直到模型趋于稳定。其次,为了使得模型对域差异具有鲁棒性,本模型设计了一个域相似性损失函数来混淆并拉近两个域的分布。该模型的重点是生成更为可靠的伪标签。
(2)基于多尺度域自适应注意力机制的行人重识别算法
首先,为了解决域差异问题,本模型提出一种基于注意力机制的域自适应模块(DAAM),该模块能够自适应的分离出身份相关特征和域相关特征。其中身份相关特征用来捕捉具有判别性和可迁移性的行人特征,而域相关特征通过计算身份信息注意力特征图的残差部分来建模以减少负迁移。为了获得更有判别性的行人表征,可将所提出的基于注意力的域自适应模块应用于模型的不同尺度上。具体来说,采用一个ResNet-like(如ResNet-50)主干网络,将该模块引入到每个残差块之后,分别提取高级、中级和低级特征。而后设计身份信息分支(结合身份相关分类损失)和域信息分支(结合域相关分类损失)分别去学习身份特征和域特征。其次,为了进一步解决目标域伪标签的不准确问题,本文提出一种软标签损失,通过挖掘目标域样本和各聚类中心之间的关系来评估伪标签的可靠程度,以概率分布表示样本的标签而不是绝对的某一标签,从而减弱模型在不可靠标签上的过拟合,进一步提高行人重识别准确度。本模型的重点是如何减少域差异的影响。