现代图像采集技术和数字视频技术的发展日趋完善,人们需要实时处理的视频文件如交通监控、互联网视频、公安系统录像等越来越多。所以,快速、准确的捕获视频中的有价值信息、忽略无关信息的需求迫在眉睫。而强化目标检测、目标跟踪技术对于该问题的解决有着非常重要的意义。近年来,基于深度学习的目标检测、目标跟踪算法的研究炙手可热,成熟的算法不仅能解放大量的人力、物力资源,更有着精确度、处理速度上的优势。虽然目前的深度学习检测技术能够实现对多个目标的实时检测,但在跟踪领域中,多数算法的研究基于单目标,而且在跟踪过程中常常由于目标间的遮挡问题出现跟踪目标错误或丢失的现象。本研究结合深度学习检测技术中一些提升准确率的方法、思路及模型结构,分析检测性能的提升对于跟踪技术的贡献,构建了检测与跟踪的关联系统。设计并完成了一种多目标的视频检测与跟踪算法,训练了轻量级、具有可移植性的模型,实现对多个人体目标的实时检测与鲁棒跟踪。在系统的检测部分,针对视频处理实时性的需求,本文完成了基于深度可分离卷积结构的多尺度特征融合的轻量级检测网络的设计和搭建。加入了缓解检测目标重叠问题的loss函数。该网络相比传统的卷积神经网络大大减少了计算量、加快了检测速度、极大的压缩了模型的体积、提高了检测目标的召回率,更适合与跟踪系统相结合。在系统的跟踪部分,结合微调后的检测模型、卡尔曼滤波原理,设计目标前后帧的关联算法、状态转化条件,加入了表观信息匹配度和运动信息匹配度制约,实现了对视频场景中的多个人体目标的鲁棒跟踪。实验表明,本文实现的基于视频的人体目标检测与跟踪系统能够在计算机中实时运行,选择的互斥损失函数能较好的抵抗目标重叠带来的干扰;深度可分离卷积结构的引入大大压缩了模型的体积;当跟踪场景中出现目标遮挡现象时,本研究设计的目标关联算法和加入的两种制约机制使得被遮挡目标在走出遮挡后,仍然能够恢复遮挡前的跟踪状态。