论文部分内容阅读
车辆是城市视频监控系统中重要的目标。近年来,监控视频中车辆相关的研究逐渐成为热点,如车辆检测、车辆跟踪、车辆分类、车牌识别等。车辆搜索,即给定一个查询车辆,在城市视频监控网络中搜索与其身份相同的车辆,可以帮助管理人员快速准确地在城市中寻找、定位、跟踪目标车辆。然而,车辆搜索面临“搜不准”和“搜得慢”两大挑战。“搜不准”,一方面是由于车辆自身外观的相似性和多样性,另一方面是由于无约束城市监控中多变的环境因素。“搜得慢”,不仅是由于城市监控视频巨大的数据规模,而且由于车辆多模态特征的复杂性。因此,本文针对城市视频监控网络提出了一种融合多模态数据的渐进式车辆搜索框架,并从车辆外观特征的表示与学习、车辆唯一标识即车牌的有效利用、监控网络中时空关系的挖掘三个方面提出了一系列方法与模型。通过在城市监控数据上的大量实验,我们验证了所提出框架与方法的准确性与高效性。本文的主要贡献具体如下:(1)融合多模态数据的渐进式车辆搜索框架。该框架综合特征域和时空域进行逐步求精地搜索,具体来说:一是特征域内由粗到精地搜索,即先采用外观特征快速查找相似车辆,再使用车牌信息实现精确搜索;二是在时空域内,利用监控网络中的时空信息由近及远地搜索。实验分析表明,这种渐进式搜索框架不仅能够显著降低车辆搜索的时间消耗,同时保证了车辆搜索的准确性。(2)基于车辆外观特征的相似车辆搜索方法。针对抓拍图像和视频两种查询数据,我们分别提出了两种基于深度卷积神经网络(Convolutional Neural Network,CNN)的车辆外观表示方法:NuFACT 和 CAN。NuFACT方法能够从抓拍车辆图像中提取车辆的纹理、颜色、类别等多级特征,并通过零空间度量学习将上述特征融合为一种具有区分力的、鲁棒的特征。CAN方法能够提取视频中多张图像的共有信息和互补信息,自动学习视角不变性特征,增强了车辆外观特征的区分力和鲁棒性。(3)车牌图像超分辨率与验证结合的精确车辆搜索方法。针对无约束监控环境中低质的车牌图像,我们提出了一种基于域先验生成对抗网络的图像超分辨率方法进行车牌图像增强。针对监控数据中车辆数量很大而每个车辆样本较少的问题,本文采用一种基于对偶神经网络(Siamese Neural Network,SNN)的车牌验证方法,实现了车牌图像的快速准确匹配。通过将车牌增强与验证结合,进一步提高了车辆搜索的准确性。(4)基于邻接图与时空相似度模型的搜索结果重排序。通过挖掘城市监控网络中的时空信息,如车辆被拍摄的时间、摄像头的位置、摄像头邻接关系等,我们设计了一种摄像头邻接图模型表示视频监控网络的空间拓扑,提出了一种基于多层感知机的时空相似度模型(Spatio-Temporal Similarity Model,STSM),通过STSM估计车辆间的时空相似性对搜索结果进行重排序,得到优化的车辆搜索结果。最后,我们构建了一个融合多模态数据的渐进式车辆搜索原型系统,并在真实视频监控数据上验证了上述框架与方法的有效性。