融合目标检测与数据关联的视频多目标跟踪算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:tonyrice
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着目标检测领域的快速发展,使得基于目标检测的视频多目标跟踪算法取得了突破性进展,在视频监控与安防、智能医疗、自动驾驶等方面都有着非常广泛的应用。然而算法的跟踪速度问题以及如何应对目标遮挡带来的跟踪漂移问题,仍然是制约其实际应用的两个重要因素。本论文主要针对这两个问题展开了研究,主要工作内容如下。
  首先,为了实现多目标跟踪网络跟踪速度与精度之间的良好平衡,提出一种融合目标检测与数据关联的视频多目标跟踪算法。当前基于目标检测的视频多目标跟踪算法大多把目标检测和数据关联看作两个相互独立的组成部分,导致算法执行效率较低,难以达到实时视频处理的要求。为了解决上述问题,将两者融合到一个统一的深度学习网络中,共用目标基础特征,并行执行,仅在最后关联时调用目标检测结果做掩码处理,极大提升了算法执行效率。
  然后,提出一种融合时空特征的抗遮挡视频多目标跟踪算法,在保证跟踪速度优势的基础上,进一步提升多目标跟踪精度。目标外观特征是实现数据关联的重要依据,而遮挡会破坏外观特征的提取,容易引起跟踪漂移现象。为了解决这一问题,在时间和空间上,基于多重注意力机制,对主干网络提取到的目标外观特征进行对应加强,增大非遮挡位置的比重,从而使数据关联更加准确,提升算法跟踪性能。
  最后,分别在MOT15、MOT16、MOT17三个公开数据集上进行实验,并对比多种先进算法,结果表明算法不仅实现了对多个目标的高效跟踪,而且保证了跟踪精度处于领先水平,具有很高的实际应用价值。
其他文献
深度学习已在图像识别、自然语言处理等领域取得有效成果,但随着深度学习模型规模和输入数据规模的扩大,神经网络的训练过程对计算机的性能提出了更高的要求。COStream是一种数据流编程语言,在实现神经网络程序时能基于数据流模型提供的并行性,充分利用多核计算资源,减少训练时间。但现有COStream文法难以快速构建深度学习模型。  针对上述问题,对COStream的文法进行扩展,设计并实现了sequen
学位
在以Kinect为代表的消费级深度相机进入市场后,基于深度相机的三维重建技术得到了快速发展并被广泛应用于游戏,设计,建筑等领域。但是,当前基于深度相机的三维重建技术仍然存在一些问题。在相机位姿计算方面,由于位姿计算依赖于传统图像特征提取,当场景纹理较弱或是重复纹理较多时,相机位姿计算不够准确,跟踪鲁棒性不足,直接影响到重建出的点云质量;在重定位和闭环检测方面,同样由于依赖场景纹理特征,导致重定位和
学位
使用智能手机进行三维重建具有设备成本低、方便携带、易于获取实时反馈等优势,随着智能手机计算性能的不断提高,在智能手机上进行实时三维重建有了可行性。目前在智能手机上的实时三维重建算法普遍存在位姿估计不准确,算法效率低,建模质量不高,只能重建小场景等问题。  本文为解决上述问题,设计了基于智能手机的实时三维重建系统。系统由三个线程构成,分别是:建模线程,后端优化线程以及显示线程,建模线程负责彩色图像获
学位
深度强化学习近年来在围棋算法、计算机游戏、机器人仿真控制等存在巨大状态空间的应用场景下取得了很大的突破,这得益于深度神经网络的函数逼近能力,也依赖于模拟器和计算资源,因为模拟器可以在计算资源足够的情况下快速并且近乎无限地生成智能体与环境交互的数据。但是在许多实际应用场景下,例如推荐系统、物流管理、能源系统优化、机器人实际控制中,数据采集是高成本且低频率的,从而导致数据稀缺。因此,若想使得(深度)强
学位
颅内血管疾病是近几年来死亡率居高不下的严重疾病,给全世界患者带来严重的生命威胁。而非创伤性血管成像技术(CT angiography,CTA)能够显示大脑各大动脉细节,能够辅助医生早期发现患者颅内血管的隐藏病变。该技术不仅对患者安全高效,而且是辅助颅内血管疾病诊断的常用技术之一。而在医生分析CTA影像的大脑血管病变状况过程中,首先需要去除CTA影像中的颅骨部分,再进行血管的三维重建成像。但在目前提
学位
场景的实时三维重建是一个非常热门的研究领域,其目的是使用消费级可见光相机对场景进行扫描,自动生成一个精确完整的三维模型,该算法在增强现实游戏、机器人室内导航、AR家具展示等领域都有广泛的应用前景。此外,该领域注重实时性,也就是在扫描的同时生成三维模型。现有的研究只能使用稀疏点云进行实时网格构建,生成的模型不能充分表现场景的精确三维信息,从而难以进行应用。因此,研究更高精度的实时三维重建算法非常有必
随着医疗技术与人工智能技术的不断发展,形体健康渐渐成为了女性群体普遍关注的问题。女性在怀孕前后形体通常会产生较大的变化,其中异常的变化会对身体产生危害。快速智能的形体评估可以帮助医生更加准确高效地定位并量化形体异常,具有较大的研究意义和应用前景。  运用深度学习和图像处理相关技术,设计并实现了一套形体评估系统。该系统首先通过kinect深度相机采集体表的深度图像,经过预处理后分割出人体区域。然后通
学位
医学图像分割是计算机辅助诊断与治疗的基础,它对于提高医生关于心包积液、心包肿瘤等疾病诊断的效率和准确率来说有着独特的价值。研究基于深度学习的心包分割算法能够有效提高医生诊断的效率和准确率。  首先针对心包分割目前还未有公开数据集的问题,在专业医生的指导下,使用医学图像标注工具ITK-SNAP,制作了心包分割数据集,数据集结果得到了医生的认可。  其次,针对心包在图像中的特点,将三维卷积神经网络作为
随着虚拟现实技术的快速发展,真实场景与虚拟对象的虚实融合技术促成了更具广泛应用价值的增强现实领域。增强现实应用要想获得理想的虚实融合结果,离不开对真实场景和虚拟对象间几何一致性和光照一致性的探究,其中光照估计是光照一致性研究的重点。由于真实场景多以图像或视频方式采集,图像中像素信息受到几何、材质、光照等因素难以拆分的复合影响,使得基于图像的光照估计面临巨大的挑战;进一步,当真实场景图像仅为单幅时,
学位
随着信息技术的发展及大数据时代的到来,产生及存储越来越多异源异构的数据。为了能够简单高效的使用这些高度多样化的数据,对这些数据进行数据融合就至关重要。而集合相似度连接是数据融合中的根本任务。集合相似度连接指在给定相似度度量函数(如重合相似度、Jaccard相似度、余弦相似度、Dice相似度及编辑距离等)下,计算由集合构成的数据集中所有相似度大于给定相似度阈值的集合对或最相似的前k个集合对。  基于
学位