论文部分内容阅读
行人重识别作为视频处理领域重要研究分支,旨在解决跨场景下的行人检索问题。但由于实际监控场景复杂、摄像机视角变化、行人姿态变化及遮挡等因素影响,使其成为一项极具挑战性的课题。为降低各不利因素的影响,进一步提升重识别准确率,以深度学习为依托,设计一种基于特征贡献度的自适应加权特征距离融合网络,并设计一种基于联合损失的层次特征网络优化特征提取,此外,还设计一种多策略协作重排序方法,对行人重识别展开研究。主要研究工作包括:
①设计一种基于特征贡献度的自适应加权特征距离融合行人重识别网络,划分为多流特征提取网络和自适应多流特征距离融合网络。多流特征提取网络可提取图像全局特征,并基于姿态估计模块对齐行人身体局部区域,进而提取局部特征。此外,本文将图像分割与行人重识别相结合,引入mask局部特征,消除背景影响。自适应多流特征距离融合网络将全局特征与局部特征组合,并考虑不同特征的重要性,提出特征贡献度概念,使用权重决策模块进行权重分配,将权重与特征距离相融合以获得最终距离,作为图像相似性描述符。本方法在CUHK03数据集和Market1501数据集上分别取得了92.3%和84.7%的Rank-1准确率。
②设计一种基于联合损失的层次特征网络,对特征提取流程进行优化。层次特征网络考虑顶层特征的局限性,将低层特征与顶层特征相结合,增强特征表达能力。此外,层次特征网络还将度量学习与行人重识别相结合,在低层特征学习中使用TriHard loss进行约束,并设计混合损失函数Mix loss,对顶层特征学习进行约束,进而提升网络泛化能力。本方法可优化特征提取流程,在CUHK03数据集和Market1501数据集上将Rank-1准确率分别提升到了93.4%和85.7%。
③设计一种多策略协作行人重识别重排序方法,该方法由邻域匹配排序法、双向检索排序法及互近邻排序法聚合组成。邻域匹配排序法根据特征距离构建图像邻域集,基于排名表中邻域集的分布计算图像相似性。双向检索排序法将正向排名表和逆向排名表相结合,考虑图像对之间的相互约束关系。互近邻排序法将Jaccard距离进行改进,并与原始特征距离结合,设计新的度量距离。本文将三种子方法聚合成多策略协作重排序方法,融合多类别相似性,对初始排名表进行重新排名,将相同标签图像置于排名表顶部,尽可能移除错误匹配的图像。在CUHK03数据集和Market1501数据集上将Rank-1准确率分别提升到了95.7%和88.9%。
①设计一种基于特征贡献度的自适应加权特征距离融合行人重识别网络,划分为多流特征提取网络和自适应多流特征距离融合网络。多流特征提取网络可提取图像全局特征,并基于姿态估计模块对齐行人身体局部区域,进而提取局部特征。此外,本文将图像分割与行人重识别相结合,引入mask局部特征,消除背景影响。自适应多流特征距离融合网络将全局特征与局部特征组合,并考虑不同特征的重要性,提出特征贡献度概念,使用权重决策模块进行权重分配,将权重与特征距离相融合以获得最终距离,作为图像相似性描述符。本方法在CUHK03数据集和Market1501数据集上分别取得了92.3%和84.7%的Rank-1准确率。
②设计一种基于联合损失的层次特征网络,对特征提取流程进行优化。层次特征网络考虑顶层特征的局限性,将低层特征与顶层特征相结合,增强特征表达能力。此外,层次特征网络还将度量学习与行人重识别相结合,在低层特征学习中使用TriHard loss进行约束,并设计混合损失函数Mix loss,对顶层特征学习进行约束,进而提升网络泛化能力。本方法可优化特征提取流程,在CUHK03数据集和Market1501数据集上将Rank-1准确率分别提升到了93.4%和85.7%。
③设计一种多策略协作行人重识别重排序方法,该方法由邻域匹配排序法、双向检索排序法及互近邻排序法聚合组成。邻域匹配排序法根据特征距离构建图像邻域集,基于排名表中邻域集的分布计算图像相似性。双向检索排序法将正向排名表和逆向排名表相结合,考虑图像对之间的相互约束关系。互近邻排序法将Jaccard距离进行改进,并与原始特征距离结合,设计新的度量距离。本文将三种子方法聚合成多策略协作重排序方法,融合多类别相似性,对初始排名表进行重新排名,将相同标签图像置于排名表顶部,尽可能移除错误匹配的图像。在CUHK03数据集和Market1501数据集上将Rank-1准确率分别提升到了95.7%和88.9%。