视觉目标跟踪是计算机视觉领域中的一个极具吸引力又极富挑战性的研究方向,在计算机软硬件技术、图像处理技术、人工智能技术、芯片技术的发展推动下,已经广泛应用于智能监控、智能交通、智能人机交互、战场态势侦查、无人机导航等商业、军事、航空航天领域。尽管杰出的跟踪算法不断涌现,然而由于受到目标形变、旋转、运动模糊等自身不确定性因素以及应用场景光照变化、背景干扰、遮挡等外界复杂因素的影响,建立一个精度高、鲁棒性强、实时性好的跟踪算法依然面临巨大挑战。特别是航拍图像以及红外图像中,由于目标尺寸太小、分辨率太低、背景干扰太强等因素的存在,使得跟踪任务更加艰巨。本文针对弱目标跟踪中存在的(1)目标特征表征能力弱;(2)目标运动状态更多样、位置可能性更多变;(3)实时性要求高等难点,结合深度学习方法,从算法设计层面与硬件实现层面展开了研究。论文的主要工作和创新点如下:1.提出了一种基于多层深度特征的抗遮挡相关滤波目标跟踪算法。针对手工特征刻画能力不足而深度特征计算开销巨大的问题,提出了一种基于多层深度特征的抗遮挡相关滤波目标跟踪算法。首先,选取涵盖定位信息的浅层特征以及体现语义信息的深层特征,共同构造鲁棒的目标特征表征。其次,设计不同层次的位置相关滤波器,协同尺度相关滤波器创建适用于弱目标的跟踪框架,自适应地学习并确定最大响应位置。采用阶段性评估策略进行模型更新与恢复,缓解遮挡等情况下误差积累问题。最后,对预训练深度卷积网络模型进行优化,降低特征维度以减少计算开销。实验结果表明,算法在提升跟踪精度的同时,平衡了跟踪速度,且能够适应目标遮挡等复杂情况。2.提出了一种基于视觉注意力的级联区域候选网络目标跟踪算法。针对预训练深度卷积网络难以完全适用于在线跟踪的问题,提出了一种基于视觉注意力的级联区域候选网络目标跟踪算法。首先,采用更深的网络模型,融合通道-互联-空间注意力模块突出有效信息,抑制无效信息,使网络学习到更鲁棒的目标特征表征。其次,设计反卷积调整模块以融合跨层特征,搭载三层级联的区域候选网路构建适用于弱目标的层级跟踪框架。最后,采用深度可分离互相关计算,获得前景背景分类和边界框回归响应图,并优化区域筛选策略,提升目标跟踪的速度。实验结果表明,算法进一步提升了跟踪精确性与鲁棒性,且能更好地适应目标外观变化、背景相似物干扰等复杂场景。3.提出了一种基于特征超分辨率的定位置信度网络目标跟踪算法。针对弱目标尺寸小、分辨率低、背景干扰强以及位置变化可能性更多的问题,提出了一种基于特征超分辨率的定位置信度网络目标跟踪算法。首先,通过特征超分辨率生成对抗网络将尺寸小、分辨率低、背景干扰强等特征表达能力弱的目标生成超分辨率特征图,直接形成鲁棒的弱目标特征表征。其次,构建在线分类网络与定位置信度网络联合跟踪框架,通过在线网络提供粗略的目标候选框区分前景背景,利用融合了丰富高层次认知的离线网络引导边界框回归获取精确的定位。最后,深层的定位置信度网络离线密集训练,浅层的分类网络在线训练与更新,减少了跟踪过程中的计算开销。实验结果表明,算法实现了更精准的定位,其中弱目标的效果更为显著。4.提出并部署了一种基于PYNQ(Python Productivity for ZYNQ)框架的异构多核实时目标跟踪系统。为了满足目标跟踪实际应用场景的需求,提出了一种基于PYNQ框架的异构多核实时目标跟踪系统方案,部署在ZYNQ平台。首先,对所提基于多层深度特征的抗遮挡相关滤波目标跟踪算法进行软硬件划分,完成片上系统的构建。其次,设计特征提取加速模块与相关滤波响应加速模块优化计算过程,导出为加速IP核(Intellectual Property Core)。最后,在PYNQ框架中使用Python语言调用加速IP核作为硬件协处理器,实现底层到顶层的数据交互。在异构平台ZCU104中的实验结果表明,异构跟踪系统的跟踪精度良好,速度平均可达27.9帧/秒。本文从(1)设计特征表达能力强、判别能力高、鲁棒性好的深度网络模型进行目标特征表征;(2)构建适用于弱目标的高性能目标跟踪框架;(3)减少计算开销提升跟踪速度三个方面部署设计了适用于弱目标跟踪的算法。理论分析与实验结果均表明,本文算法能够显著提升弱目标跟踪的性能。本文设计并实现了一套面向目标跟踪任务的深度学习硬件加速系统方案,在兼顾跟踪稳健性的情况下,异构跟踪系统执行效率高、可移植性好,具有工程应用价值。