基于卷积神经网络的行人搜索算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:aifeideyuo0O
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在一个视频监控系统中,最基本的两个问题是:1)如何在一张高分辨率图像中锁定行人的位置,以及2)如何在一组形形色色的行人图像中找到一个特定的目标行人。上述两个问题通常作为“行人检测”和“行人重识别”(re-ID)这两个独立的任务来研究。然而,在实际应用中,这两个任务通常成对出现。因此,在一个联合框架中同时解决这两个任务不仅能更高效,而且还能获得更好的综合性能。基于此,“行人搜索”这个任务逐渐引起了学界的关注。行人搜索这个任务旨在从一组高分辨率图像中找到并定位一个特定的目标行人,所以它需要同时考虑行人检测与行人重识别。本文以行人搜索为中心,结合该任务的特殊情况,进行了较为深入的探索和研究。本文的主要工作内容概括如下:首先,本文提出了使用掩膜引导训练的双流卷积神经网络。通过实验分析以及可视化,本文发现将行人检测与行人重识别分散到两个相对独立的模块中比已有的一步法方法更优,并首次总结了行人检测与行人重识别的矛盾关系,即行人检测关注行人的“共性”,而行人重识别关注行人的“个性”。同时,为了对行人抽取更有鉴别性的特征,本文提出了一种简单而有效的行人重识别方法。该方法分别对前景行人和原始图像进行建模,并从两个独立的卷积神经网络分支中输出鉴别性更强的行人特征。在多个标准数据集上,本文的方法在搜索准确率上显著超越了同期的方法。其次,本文提出了一种基于关键点消息传递的方法。作为行人搜索的性能瓶颈之一,提升行人重识别的性能有助于提升行人搜索的性能。其中一种常用的做法是使用信息更丰富的视频来代替单张图像。现有的视频行人重识别方法大多基于卷积神经网络,其基本操作“卷积”每次只能处理局部相邻像素。本文提出了一种用图卷积来辅助普通卷积以建模长距离的像素依赖性的方法。具体来说,位于行人骨骼关节点的CNN特征被提取出来并连接成一个时空图,然后通过图卷积的消息传递机制获得更新。在训练过程中,图卷积操作可以被附加到任意一个已有的基于CNN的行人重识别模型上以协助表征学习。训练完成后,所有的图卷积操作可以被丢弃,以加快模型的推理速度。本文的方法显著提升了基于CNN的行人重识别模型的性能,并且在标准数据集上取得了同期最佳的平均识别精度(m AP)。随后,本文提出了用于一步法行人搜索的层次化在线实例匹配方法。为了减少计算及存储资源的消耗以便于更贴近实际应用,本文采用一步法的行人搜索模型,同时提出了一种层次化在线实例匹配方法,利用行人检测与行人重识别这两个任务之间的层次化关系来指导模型学习。在模型训练过程中,本文的方法调和了行人检测与重识别目标函数之间的冲突,使得模型最终能够输出更有效的特征。除此之外,本文还提出了选择性记忆刷新方法,在训练过程中筛选出更有效的样本进行存储。在标准数据集上,本文的方法比同期的方法具有更高的准确度。最后,本文提出了基于向量几何分解的表示学习方法。本文的方法创新性地利用了向量的两个最基本的几何属性“模长与角度”来刻画行人检测与行人重识别的关系。其中向量的模长被用来表示行人检测,向量的角度被用来表示行人重识别。模长与角度是一对相互独立的属性,同时它们又能够紧密地结合在同一个向量上,很好地刻画了行人检测与行人重识别这两个子任务之间的关系。这种方式也有着计算简便的优点,减小了实际应用的压力。本文的方法在标准数据集上的表现都大大优于其他一步法,并取得了与分立建模法相当的性能。不仅如此,将该方法从行人搜索领域推广到多目标跟踪也获得了优异的性能。同时,本文的方法易于训练且推理速度快,能够基本满足实时运行的需求。总的来说,前两个工作的内容通过分别建模行人检测与重识别的方式来规避了两个任务的潜在冲突,同时利用了额外信息(比如背景、时序和姿态)来提升行人重识别的性能。后两个工作的内容通过优化目标函数和特征表示的方式直接缓解了任务的冲突,并联合建模行人检测与重识别,使得行人搜索模型更加高效。
其他文献
在微波领域中,不同的应用背景通常对天线的方向图和波束提出不同的要求。本论文基于谱域格林函数、惠更斯等效原理、漏波和绕射机理结合HFSS外挂优化器、商用仿真软件等工具利用平面覆层对天线的方向图和波束进行调控,以此研发了一些性能优越的平面覆层天线,它们可以满足许多微波系统对天线的多种需求。本论文的研究内容概括如下:1.基于谱域格林函数的介质覆层天线方向图综合:(1)对于给定谐振频点的双层均匀介质覆层双
电磁超表面结构作为一种超材料(Metamaterial),因其具有自然界中不具备的电磁特性,近年来备受关注。其中,人工磁导体(Artificial magnetic conductor,AMC)结构具有在特定频率范围内对平面波呈同相位反射的电磁特性,既可作为天线的地板,也可作为一种直接辐射单元(又被称作超表面天线),能够突破传统天线的结构与性能极限,给无线通信系统中天线的研究带来新的思路。随着无线
我国生物质资源丰富,生物质气化被认为是利用生物质资源最有效的方式之一。但是,在生物质气化过程中,不可避免的会产生粘度大、难转化、有毒性的生物质焦油。生物质焦油的存在会影响生物质气化系统的稳定运行,增加了后续气体的分离设备,提高了生产成本。同时,生物质焦油的成分主要是由乙酸、丙酮、苯、苯酚等化合物组成,是具有高碳氢比的能源,作为废弃能源利用能够有效的提高生物质转化效率。本文选择La Ni O3钙钛矿
富勒烯分子具有刚性π共轭三维笼状结构,在光学、电学方面具有很多的本征优势。常温常压下的溶剂体系中,富勒烯可以利用分子间相互作用力自组装形成具有一定规则形貌的晶体材料。这些晶体材料在生长过程通常难以控制自组装的聚集速度,限制了微观尺度下对富勒烯晶体材料的调控,这使得富勒烯材料在实际的光学、电学应用中难以充分发挥其本征性能。本学术论文针对于在液相自组装过程中富勒烯聚集结构调控的不足,积极探索富勒烯自组
由于日益严重的环境和能源危机,发展高能量密度且具有高安全性、低成本的水系电化学储能器件成为目前能源领域研究热点之一。电极以及电解液作为水系电化学储能器件的重要组成部分,是决定器件比容量、循环性能、倍率性能、安全性能等性能的关键因素。首先,电极材料自身表面/界面结构会从离子传输、电子传导、电化学反应动力学、离子存储位点、结构稳定性等几个方面影响电极电化学性能。另一方面,除了单一电极材料的设计,电极-
基于四象限探测器(Four-Quadrant Detector,4-QD)的激光定位测量技术结合了光学原理和信号处理技术,具有灵敏度高、分辨率高、响应和计算速度快等优点,能够对光敏面上的照射光斑进行高精度定位检测,因而被广泛应用于军事和民用领域。然而,测量系统的非线性和测量环境的干扰等问题限制了该技术的探测性能与应用范围,具体表现为探测器及电路的非线性光电响应、光斑分布的非线性变化、测量环境中的大
磁性聚合物复合材料广泛应用在生物、环境和能源等前沿领域,引起了国内外学者的高度关注。然而,磁性聚合物复合材料存在制备过程繁琐和难以二次修饰等缺陷,严重限制其发展和应用。基于以上问题,本论文受贻贝启发简单高效地制备了磁性聚多巴胺微球,并在此基础上借助聚多巴胺的二次修饰特性,相继开发了四种聚多巴胺介导的磁性聚合物复合材料,同时结合磁性纳米颗粒的理化性质,将复合材料应用于吸附和催化等领域,并通过一系列材
在网络化系统中,相比于传统的周期时间触发网络数据传输机制,非周期的事件触发传输机制带来了如节约网络带宽,延长传感器使用寿命,增强传输信息安全等优势,成为了当前的研究热点之一。目前,相比于事件触发控制问题,对于事件触发观测问题的研究还相对较少,且存在以下不足:一,对于观测器结构而言,间断连续混杂结构的观测器更适用于采样数据系统,然而目前对于混杂观测器的研究,大多基于周期采样的系统输出,缺乏对事件触发
大学生群体的法治信仰状况影响社会整体的法治信仰水平,培育大学生法治信仰,是我国高校落实立德树人根本任务的需要,是新时期加快推进依法治国方略的需要,是国家治理体系和治理能力现代化的内在要求。推进大学生法治信仰养成,需要在深刻理解法治信仰的内涵构成的基础上,把握其影响因素,并进而探究其主要路径。首先,理解大学生法治信仰的内涵构成是推进大学生法治信仰养成的前提。大学生法治信仰是大学生在理性认知法治的基础
学位