计算机视觉系统作为许多智能平台的核心组成部分,将在工业4.0、智慧城市、自动驾驶以及军事领域的无人化作战中发挥极其重要的作用。视觉目标检测和跟踪是计算机视觉领域重要的基础任务,也是实现许多高级视觉应用的前提。近年来,随着计算机硬件性能的提升、大数据技术的进步以及深度学习技术的发展,视觉目标检测和跟踪技术取得了较大的进步。然而,由于噪声等诸多因素的影响,现有的视觉目标检测与跟踪技术还不能满足实际的应用需求。因此,本文基于深度学习理论和方法深入研究视觉目标检测与跟踪技术,包括以下几方面工作:（1）基于深度网络的视觉目标检测模型在常规检测场景中具有良好的性能,但将其用于多尺度目标检测时,往往会出现召回率低以及定位精度差的问题。虽然采用传统的多尺度处理手段能提升检测精度,但是会产生过量的计算冗余,导致检测效率低下。因此,本文提出一种基于Faster-RCNN的多尺度目标检测模型,该模型可有效提升小目标和多尺度目标的提议召回率与检测精度。首先,通过定性与定量分析,指出了多尺度目标检测存在的困难,分析了池化操作和目标的多尺度对两阶段检测算法中区域提议过程的影响,提出了一种区域提议网络的改进方案,以提升多尺度目标的提议召回率。其次,针对多尺度目标提出了改进的前景样本生成策略,减少了训练过程中的无效前景样本,使得区域提议网络的训练更加高效。再次,融合多层次特征对提议区域的特征进行增强,有效提升了小目标的识别和定位精度。最后,在实际数据集上验证了改进模型的有效性。（2）基于深度网络的跟踪模型CREST具有较好的跟踪精度与鲁棒性,但是其存在网络模型训练时间长、在线更新效率低以及对硬件设备要求高的问题,限制了该模型的应用范围。对此,本文从两个方面对CREST跟踪模型进行了改进。一方面,从提升运算效率的角度对模型进行改进。首先,分析了网络模型训练和更新效率低的原因,即基网络卷积核尺寸较大,产生了过量的计算,严重影响模型的前向和后向计算。对此,本文将基网络重新定义为显式的相关滤波器,并采用频域参数描述基网络。模型初始训练以及在线更新时,先采用相关滤波算法对基网络进行高效训练,以快速学习目标外观的主要信息,借助频域内的反向传播算法,实现了改进模型的端到端训练。改进后基网络中前向和后向运算都可以利用频域内的加速方法降低运算量,在保持跟踪精度的条件下,提升了跟踪速度、训练速度和在线更新效率。评估数据集上的大量实验验证了改进后模型的性能。另一方面,针对CREST跟踪模型参数规模大,模型运行对计算设备要求高的问题,采用多种轻量化方法对模型进行改进,改进后的模型以较小的跟踪精度代价,获得了运算量和模型参数规模的显著降低,极大地降低了模型运行对硬件设备的要求。（3）在视觉目标跟踪过程中,尤其是在长时跟踪时,往往需要对跟踪结果的置信度进行评估,以分析当前的跟踪状态,并对不同的状态进行处理。当前已有的置信度分析方法通常是基于跟踪器预测的目标位置热图进行评估,这种评估方法存在多方面的问题:一是指标值完全由跟踪结果生成,具有很强的主观性;二是目标被缓慢遮挡时指标易虚高,易导致跟踪的漂移;三是当目标外观发生快速变化时,指标值易虚低,模型将失去更新的机会,从而在后续帧中丢失目标;四是指标值不能直接作为跟踪状态的判据,目标的跟踪状态与指标的变化并没有直接的对应关系,使得利用这些指标判断被遮挡或丢失仍是一个复杂的模式识别问题。对此,本文提出一种对跟踪结果中的目标进行弱监督分割的模型,并基于该模型给了一种客观的置信度评估方法,有效克服了上述的问题。首先,研究了利用弱标注（图像级标签）数据训练语义分割模型的方法,通过对跟踪结果进行分割得到目标的分割掩膜。其次,建立了跟踪结果与目标分割结果的差异性分析模型,并利用该模型评估跟踪结果的置信度。最后,在多种跟踪场景下进行了针对性的实验,结果表明了评估方法的有效性。（4）在视觉目标跟踪应用于实际跟踪场景时,由于环境的复杂性,经常会出现目标被遮挡以及出视野等导致目标丢失的情况。短时跟踪模型通常依赖于目标连续出现在视野中这一假设,因此难以胜任这些场景下的跟踪,以上挑战需要由长时跟踪模型来完成。目前,视觉目标的长时跟踪仍然是一个开放性和具有挑战性的问题。本文对长时跟踪算法进行研究,借鉴TLD框架的思想,并更加重视置信度评估在长时跟踪中的作用,把置信度评估作为长时跟踪中的重要一环,提出了一种基于跟踪-评估-学习-检测框架的长时跟踪方法。首先,给出一种基于全相关滤波的目标重检测算法,该算法可对置信度评估模型的输出资源进行充分利用,有效减少重检测时的计算量,提升检测效率。其次,设计了长时跟踪框架中短时跟踪器、置信度评估模型、重检测器的交互和更新策略,所设计的策略可以有效减少目标“假丢失”的概率,减少重检测的次数。再次,结合前文中对短时跟踪模型的改进,使得目标丢失后跟踪器的重置效率能有效提升。最后,在长时跟踪评估数据集上测试了框架的有效性。（5）基于上述检测与跟踪技术的研究,设计并实现视觉目标检测与跟踪软件。首先介绍视觉目标检测与跟踪软件的总体设计,包括设计概述、需求分析、功能设计以及界面设计。其次,介绍视觉目标检测与跟踪软件中核心模块的详细设计。最后,基于VC++和Matlab混合编程实现了视觉目标检测与跟踪软件。