论文部分内容阅读
通用单目标跟踪是计算机视觉领域一个非常活跃的研究话题,在实际应用中也受到了广泛的关注。不同于基于静态图片的目标检测任务,基于视频的目标跟踪任务需要应对目标及其所处场景复杂的动态变化。此外,基于通用物体的跟踪任务没有明确目标的类别,所以离线阶段的网络训练以及对目标的初始建模十分困难。以上两点使得跟踪器难以保持对目标的持续跟踪。本文将从以上两个难点出发,针对复杂动态变化条件下三种主流的通用单目标跟踪算法中存在的显著问题,提出对应的改进方案,提升算法性能。
首先研究的是基于相关滤波的单目标跟踪算法。相关滤波类算法普遍存在边界效应的问题,为了抑制边界效应,通常会对搜索区域附加一个余弦窗。但是,余弦窗会限制搜索视野,当目标因为复杂的动态变化在空间上产生大幅度位移时,跟踪器很容易丢失目标。为了解决这一问题,本文提出了一种基于空间注意的相关滤波单目标跟踪算法。通过对目标和背景建模,在检测阶段为跟踪器提供目标的先验空间信息,消除余弦窗对跟踪器的视野限制问题。同时,提出一种自适应的多特征融合策略,以增强传统特征的表达能力。
然后是基于目标检测的单目标跟踪算法。目标检测算法具有强大的分类能力和精确的定位能力,因此越来越多的被单目标跟踪算法所借鉴。然而,两个任务之间存在着目标复杂动态变化和目标定义的差异。为了消除以上两个差异,充分挖掘目标检测技术在目标跟踪领域的潜力,本文提出了一种基于目标检测的跟踪迁移框架。针对目标跟踪任务中目标无类别先验的问题,本框架构建了一个从一般到特殊的特征提取网络,将通用物体特征提取和个体实例特征提取分为两个步骤。同时,针对目标的复杂动态变化,本框架提出了一种长时与短时相结合的时序策略,用短时的空间约束防止跟踪漂移,用长时的更新策略适应目标的动态变化。
最后是基于孪生网络的单目标跟踪算法。孪生网络运用模板匹配的思想,通过大量的训练样本,使网络学习到通过模板检索目标的能力。然而,训练样本中充斥着许多冗余的、低效的样本,这些样本难以使孪生网络应对目标的复杂动态变化和由无类别先验引起的背景干扰问题。本文提出了一种基于内生样本的数据扩增方法来改善孪生网络的训练过程。具体地,本文构建生成对抗网络生成模拟目标外观变化的内生样本,同时引入背景扰动损失隐式地预测网络犯错的情况,通过两种内生样本增强网络对目标动态变化的鲁棒性和对背景干扰的分辨能力。
首先研究的是基于相关滤波的单目标跟踪算法。相关滤波类算法普遍存在边界效应的问题,为了抑制边界效应,通常会对搜索区域附加一个余弦窗。但是,余弦窗会限制搜索视野,当目标因为复杂的动态变化在空间上产生大幅度位移时,跟踪器很容易丢失目标。为了解决这一问题,本文提出了一种基于空间注意的相关滤波单目标跟踪算法。通过对目标和背景建模,在检测阶段为跟踪器提供目标的先验空间信息,消除余弦窗对跟踪器的视野限制问题。同时,提出一种自适应的多特征融合策略,以增强传统特征的表达能力。
然后是基于目标检测的单目标跟踪算法。目标检测算法具有强大的分类能力和精确的定位能力,因此越来越多的被单目标跟踪算法所借鉴。然而,两个任务之间存在着目标复杂动态变化和目标定义的差异。为了消除以上两个差异,充分挖掘目标检测技术在目标跟踪领域的潜力,本文提出了一种基于目标检测的跟踪迁移框架。针对目标跟踪任务中目标无类别先验的问题,本框架构建了一个从一般到特殊的特征提取网络,将通用物体特征提取和个体实例特征提取分为两个步骤。同时,针对目标的复杂动态变化,本框架提出了一种长时与短时相结合的时序策略,用短时的空间约束防止跟踪漂移,用长时的更新策略适应目标的动态变化。
最后是基于孪生网络的单目标跟踪算法。孪生网络运用模板匹配的思想,通过大量的训练样本,使网络学习到通过模板检索目标的能力。然而,训练样本中充斥着许多冗余的、低效的样本,这些样本难以使孪生网络应对目标的复杂动态变化和由无类别先验引起的背景干扰问题。本文提出了一种基于内生样本的数据扩增方法来改善孪生网络的训练过程。具体地,本文构建生成对抗网络生成模拟目标外观变化的内生样本,同时引入背景扰动损失隐式地预测网络犯错的情况,通过两种内生样本增强网络对目标动态变化的鲁棒性和对背景干扰的分辨能力。