论文部分内容阅读
车辆重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定车辆的技术,主要解决跨摄像机跨场景下车辆的识别与搜索,属于图像检索的子问题。近年来,基于深度学习的车辆重识别方法已经取得了丰硕的研究成果,但是仍然存在一些难点问题影响着车辆重识别的效果,例如:车辆检测时往往存在误检、漏检、重复检测等问题,当监控场景变化时车辆重识别的性能会大幅度下降,当用于匹配的车辆视角不同时车辆的可视化外观特征差异非常大,车辆的车牌图像通常模糊不清不能直接用于车辆的重识别,当获取到的车辆属性不丰富时会影响车辆重识别的结果等。针对以上问题,本文面向城市视频监控图像提出了一种多模型融合的渐进式车辆重识别框架,从车辆图像检测、跨数据域图像风格转换、车辆隐藏视角图像生成、车牌图像超分辨率重建以及车辆外观属性特征学习五个方面提出了一系列的方法和模型。通过在城市监控数据集上的大量实验,验证了所提出方法和整体框架的有效性与鲁棒性。本文的主要工作和贡献如下:(1)针对现有车辆检测方法存在的误检、漏检和重复检测等问题,提出了一种基于连接-合并卷积神经网络的快速车辆检测方法(Connect-and-Merge Convolutional Neural Network for Fast Vehicle Detection,CMNet)。首先,设计了连接-合并残差块:对于两个残差分支,将残差块的输入分别连接到两个残差分支的输出(连接),并将两个连接的输出合并作为后续残差块的输入(合并);然后,按照并行的方式堆叠连接-合并残差块,形成增强的特征提取网络;最后,连接具有4个分支的全卷积网络,将4个分支分别与连接-合并残差块中相同尺度的特征图融合并预测车辆信息,实现快速、准确的车辆检测。(2)在跨数据域的场景下,车辆图像的风格会有较大的变化,造成在源域图像上训练的模型在目标域上的重识别性能会剧烈下降,因此,提出了一种基于迁移学习场景自适应的车辆重识别方法(Transfer Learning Scenario Adaptation for Vehicle Re-Identification,TLSA)。首先,利用基于生成对抗网络的迁移学习模型将源域上的车辆图像迁移到目标域上,使得迁移后的车辆图像具有目标域图像的风格;然后,提取迁移后车辆图像的深度特征;最后,利用欧式距离计算查询车辆图像与车辆图像数据库中两两图像特征之间的相似度,实现跨数据域场景下的车辆重识别。(3)当两个不同视角(如正面和侧面)的车辆图像进行匹配时,即使是同一车辆其可视化外观的特征也相差很大,很难辨别是否为同一车辆,因此,提出了一种基于多视角图像生成的车辆重识别方法(Multi-view Image Generation for Vehicle Re-Identification,MVIG)。首先,为每一个单视角的输入图像生成8个不同视角的车辆图像;然后,分别提取1张原始图像和8张生成图像的深度特征,通过融合9个特征向量形成增强的特征表示;最后,通过比对视角归一化的车辆特征,实现有效的车辆重识别。(4)由于车辆的外观具有很大的相似性,例如相同品牌、型号和颜色的车辆,很难仅通过车辆的外观特征将其准确地区分,因此,提出了一种基于车牌图像超分辨率重建的车辆重识别方法(License Plate Image Super-Resolution for Vehicle Re-Identification,LPSR)。首先,利用连接-合并残差网络检测并校正车牌图像;然后,使用基于生成对抗网络的超分辨率重建技术将低分辨率的车牌图像恢复成高分辨率的车牌图像;最后,使用基于车牌验证的方法匹配车辆图像,通过比对车牌图像的相似程度,实现精确的车辆重识别。(5)为了快速匹配运动车辆,提出了一种基于属性和身份学习的车辆重识别方法(Attribute and Identity Learning for Vehicle Re-Identification,AIL),通过获取车辆的类型、颜色等多个属性特征实现快速粗略的车辆重识别。在此基础上,设计了一种多模型融合的渐进式车辆重识别框架(Multi-model Fusion for Progressive Vehicle Re-Identification,MMFP),将基于连接-合并卷积神经网络的快速车辆检测方法、基于迁移学习场景自适应的车辆重识别方法、基于属性和身份学习的车辆重识别方法、基于多视角图像生成的车辆重识别方法和基于车牌图像超分辨率重建的车辆重识别方法统一在一个整体框架中,采用由粗到精的重识别思路,实现高效、精准的车辆重识别。