滞留物检测和识别是计算机视觉领域的重要研究课题之一,在公共场所和人群密集地区,未被检测到的滞留物可能会威胁到行人的生命财产安全,因此需要对于视频进行智能监控和自动识别。在现实生活中,当一个场景中出现滞留物,能够快速检测出并识别,能够进行有效预警,对于城市管理和安全有巨大作用。背景复杂性、光照变化、低质量图像和遮挡等场景复杂问题,使得滞留物检测和识别非常具有挑战性。同时,滞留物检测缺乏对于其拥有者的关联性分析,并且在低质量图像和视频情况下的物品分类,没有良好的解决方法。因此,本文在传统方法和深度学习方法的基础上,提出了多个滞留物检测和识别的算法,并且通过对滞留物的分析,可以检测到相关行人的异常行为,主要工作如下:(1)针对滞留物及其与行人之间关联性,利用目标追踪算法,提出了一种基于连通区域信息的算法。现有的相关滞留物算法只是关注滞留物本身,缺乏对其关联性的行人进行分析,无法获取到滞留物的所有者,并且对于滞留物缺乏类别分析。因此我们的算法利用改进的相关滤波算法进行行人追踪、同时利用多重方向背景模型进行行人和静态目标检测,利用追踪行人和物品分离时刻的连通区域进行滞留物检测。与此同时,利用主成分分析与欧式距离的结合进行滞留物识别。利用几何仿射不变矩阵和欧式距离结合的邻近算法将滞留物与物品库中的样本图像的匹配得到识别结果。识别结果可用于进一步分析行人的活动和意图,如根据滞留物的类型确定滞留物是故意的危险物品还是无意中丢失的物品。而且,在VISOR和CAVIAR公共数据集上取得了良好的表现,检测准确率优于现有方法。(2)针对复杂场景中静态目标,在不同场景的意义不同,缺乏多尺度判断,提出了一种基于场景理解的滞留物检测算法。滞留物检测的场景人流量大和场景复杂,并且静态目标在不同的场景中拥有不同意义,并非都是滞留物和有危害的目标。对此本方法,首先采用多特征融合算法对静态目标进行检测。然后,通过深度学习方法重新检测静态目标,以确定被滞留目标的位置和类别。最后,提出了一种基于多尺度场景理解的有效语义信息,用于确定滞留的目标,同时可以利用语义判断方式分析该滞留物所有者的异常行为。实验结果表明该算法在PETS2007、PETS2006、CDNET2014和ABODA数据集上都取得了良好的效果,能够在不同复杂场景中都拥有较高的检测准确率,泛化性能力较强。(3)针对低质量视频和图像的滞留物物品分类、目标信息不完整的物品分类,提出了基于图像超分辨重建的细粒度物品分类算法。不同监控设备,拍摄出的视频与图像质量有差异,特别是在较大的公共场所中,拍摄设备难以将远景和场景中所有的信息完整收入视频和图像中,这些不完整的信息,会影响目标的分类。首先进行图像质量分析,利用多个评价指标对于图片进行分析,判断图片或者视频的质量是否达到细粒度物品识别的需求。然后进行图像超分辨重建,提升图像质量。最后利用我们建立的滞留物包类数据集对双线性池化细粒度物品分类算法进行训练,并在不同数据集上进行检测。实验表明,图像质量对于细粒度物品分类算法有巨大影响,通过图像超分辨率算法进行图像质量提升能提高细粒度物品分类的成功率,并且更加精细的物品分类。在PETS2006、2007和ABODA数据集上进行了不同质量图像下的物品分类对比,高质量图像下能够获取更好的分类准确率。