论文部分内容阅读
目标检测与跟踪一直是计算机视觉领域的重要研究方向,尤其是视觉多目标跟踪问题越来越多的成为计算视觉研究的重点。随着深度学习与人工智能的发展,基于深度学习的目标检测与跟踪取得了突破性的进展。在实际的应用中,由于成本和功耗等原因,目标检测与跟踪算法在嵌入式平台实现具有重大意义。本文以SSD检测算法为基础,采用DBT方法分别设计了车辆和行人多目标跟踪算法。并将车辆跟踪算法部署在NVIDIA Jetson TX2平台上实现,将行人跟踪算法部署在TI AM5749平台上实现。SSD检测方面,为了改进运算速度以适应嵌入式平台的计算,本文采用了轻量级网络对SSD的基础网络进行了修改,以提高检测速度。根据实际应用场景对训练数据集进行筛选,针对车辆和行人在目标样本中的分布情况,在不同深度的特征层上提取特征。并手工设置各层候选框的大小、个数和长宽比,在此基础上进行边框回归和分类预测,以提高检测的精度。最终在BDD数据集上训练的车辆检测平均精度达到了89.3%,行人检测平均精度达到了61.6%。车辆跟踪方面,在SSD车辆检测基础上,使用卡尔曼滤波估计车辆运动状态,利用残差网络提取不同车辆特征,结合车辆的运动信息和外观信息设计总的关联代价,使用匈牙利算法完成检测与跟踪轨迹之间的数据关联,实现车辆的多目标跟踪。并将完整的检测--跟踪系统部署在NVIDIA Jetson TX2平台上实现。行人跟踪方面,在SSD行人检测基础上,结合KCF跟踪算法,由SSD检测建立新的跟踪对象并对已有跟踪对象进行校正,由跟踪结果给出行人目标的位置,完成行人多目标跟踪。将检测--跟踪算法部署在TI AM5749平台上实现。实现方面,利用caffe-jacinto框架进行L2正则化训练、L1正则化训练和稀疏化训练,网络权重参数稀疏度达到60%,并对权重参数进行8位量化。对网络模型进行分组,利用DSP核和EVE核进行网络推理计算。将KCF跟踪算法部署在ARM核上运算,通过多核分摊实现了检测与跟踪应用的开发。