基于城市视频监控图像的车辆重识别关键技术研究

来源 :中国矿业大学(北京) | 被引量 : 1次 | 上传用户:oep
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车辆重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定车辆的技术,主要解决跨摄像机跨场景下车辆的识别与搜索,属于图像检索的子问题。近年来,基于深度学习的车辆重识别方法已经取得了丰硕的研究成果,但是仍然存在一些难点问题影响着车辆重识别的效果,例如:车辆检测时往往存在误检、漏检、重复检测等问题,当监控场景变化时车辆重识别的性能会大幅度下降,当用于匹配的车辆视角不同时车辆的可视化外观特征差异非常大,车辆的车牌图像通常模糊不清不能直接用于车辆的重识别,当获取到的车辆属性不丰富时会影响车辆重识别的结果等。针对以上问题,本文面向城市视频监控图像提出了一种多模型融合的渐进式车辆重识别框架,从车辆图像检测、跨数据域图像风格转换、车辆隐藏视角图像生成、车牌图像超分辨率重建以及车辆外观属性特征学习五个方面提出了一系列的方法和模型。通过在城市监控数据集上的大量实验,验证了所提出方法和整体框架的有效性与鲁棒性。本文的主要工作和贡献如下:(1)针对现有车辆检测方法存在的误检、漏检和重复检测等问题,提出了一种基于连接-合并卷积神经网络的快速车辆检测方法(Connect-and-Merge Convolutional Neural Network for Fast Vehicle Detection,CMNet)。首先,设计了连接-合并残差块:对于两个残差分支,将残差块的输入分别连接到两个残差分支的输出(连接),并将两个连接的输出合并作为后续残差块的输入(合并);然后,按照并行的方式堆叠连接-合并残差块,形成增强的特征提取网络;最后,连接具有4个分支的全卷积网络,将4个分支分别与连接-合并残差块中相同尺度的特征图融合并预测车辆信息,实现快速、准确的车辆检测。(2)在跨数据域的场景下,车辆图像的风格会有较大的变化,造成在源域图像上训练的模型在目标域上的重识别性能会剧烈下降,因此,提出了一种基于迁移学习场景自适应的车辆重识别方法(Transfer Learning Scenario Adaptation for Vehicle Re-Identification,TLSA)。首先,利用基于生成对抗网络的迁移学习模型将源域上的车辆图像迁移到目标域上,使得迁移后的车辆图像具有目标域图像的风格;然后,提取迁移后车辆图像的深度特征;最后,利用欧式距离计算查询车辆图像与车辆图像数据库中两两图像特征之间的相似度,实现跨数据域场景下的车辆重识别。(3)当两个不同视角(如正面和侧面)的车辆图像进行匹配时,即使是同一车辆其可视化外观的特征也相差很大,很难辨别是否为同一车辆,因此,提出了一种基于多视角图像生成的车辆重识别方法(Multi-view Image Generation for Vehicle Re-Identification,MVIG)。首先,为每一个单视角的输入图像生成8个不同视角的车辆图像;然后,分别提取1张原始图像和8张生成图像的深度特征,通过融合9个特征向量形成增强的特征表示;最后,通过比对视角归一化的车辆特征,实现有效的车辆重识别。(4)由于车辆的外观具有很大的相似性,例如相同品牌、型号和颜色的车辆,很难仅通过车辆的外观特征将其准确地区分,因此,提出了一种基于车牌图像超分辨率重建的车辆重识别方法(License Plate Image Super-Resolution for Vehicle Re-Identification,LPSR)。首先,利用连接-合并残差网络检测并校正车牌图像;然后,使用基于生成对抗网络的超分辨率重建技术将低分辨率的车牌图像恢复成高分辨率的车牌图像;最后,使用基于车牌验证的方法匹配车辆图像,通过比对车牌图像的相似程度,实现精确的车辆重识别。(5)为了快速匹配运动车辆,提出了一种基于属性和身份学习的车辆重识别方法(Attribute and Identity Learning for Vehicle Re-Identification,AIL),通过获取车辆的类型、颜色等多个属性特征实现快速粗略的车辆重识别。在此基础上,设计了一种多模型融合的渐进式车辆重识别框架(Multi-model Fusion for Progressive Vehicle Re-Identification,MMFP),将基于连接-合并卷积神经网络的快速车辆检测方法、基于迁移学习场景自适应的车辆重识别方法、基于属性和身份学习的车辆重识别方法、基于多视角图像生成的车辆重识别方法和基于车牌图像超分辨率重建的车辆重识别方法统一在一个整体框架中,采用由粗到精的重识别思路,实现高效、精准的车辆重识别。
其他文献
微课作为一种新型的教学资源,凭借自身的先天性优势,已经席卷了整个教育界。当前初中物理实验教学的种种弊病,通过应用微课都可以得到有效解决。基于此,文章具体分析微课教学
当下,高校创新创业教育已经成为重要的课题。与发达国家相比,我国大学生自主创业的比例较低,能力较弱,高校创新创业教育存在一些问题。该文以高校创新创业教育为研究对象,分
目的:了解脑卒中患者出院后对延续护理的需求状况,以满足患者需求为导向,构建以″医院为支撑、社区为依托、家庭为基础″的延续护理模式;方法:成立延续护理中心,运用卫生部医
近年来,随着高速公路里程的飞速增长,其给人们的生活生产带来便捷的同时,伴随而来的交通事故和安全隐患等问题亦不容忽视。在既有高速公路事故风险相关研究中,研究对象主要聚
在新课程改革和素质教育背景下,生态课堂作为一种全新的课堂形成,将教师、学生以及课堂有效地融合起来,使其形成完整统一的教学主体,加强师生互动与合作,构建良好的课堂体系,
视觉的形成依赖于光感受器细胞与视网膜色素上皮(Retinal pigment epithelium,RPE)之间功能的相互协调作用,这种稳态的破坏可能导致失明。因此,RPE与视网膜之间的相互作用在
随着我国科学技术的发展,不仅推动了我国社会经济的增长,更促使我国各个领域开始进入自动化管理运行模式,尤其是在我国电力企业中,自动化配网以及通信系统建设是目前企业主要
我院2000年12月收治1例肺动静脉瘘,现予报道。 患者,女,46岁。乏力,行走缓慢,喜蹲踞,劳累后心慌,气短;口唇、手指青紫4年,有时咳嗽,发热。查体:心率80次/min,呼吸24次/min,血压125/80mmHg,