A Study on Real-Time Object Detection and Re-Identification in Surveillance Videos with Deep Learnin

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:tjkjkfzx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
监视系统安装了大量室内和室外监视摄像机,是最常见的大数据源之一。数据源生成大量的原始可视化数据,使得分析过程成为繁重的人工任务。监视视频分析中最重要的功能之一就是目标检测,以此作为重识别任务的先决条件。为此,大量算法和技术被开发并安装在智能监视系统上,特别是在基于深度学习的方法取得了显著进步之后。但是,在开发可实时运行的算法时,检测算法的计算成本仍然是一项重大挑战。此外,在目标重识别的有效性方面,现有文献算法与实际工业应用上的需求仍然存在很大差距。与人脸识别不同,行人和车辆重识别算法在监视系统中仍不能显示出可靠的性能。本文的主要目的是为户外监控录像中的目标检测和重新识别开发更有效的学习方案。为此,本文介绍了三种主要的基于深度学习的模型,其中一种模型用于合理解决室外监控视频中小型行人的实时检测问题,另外两种用于对象重识别的新的深度学习方案。本论文的核心贡献和创新概括如下:(1)目前监视摄像机已被广泛使用,然而在某些情况下,为了扩大覆盖范围,它们的安装距离很远,这使得视频中的行人以不同的大小出现。为了更好地检测由子弹监视摄像机采集的视频帧中的行人,设计有效的检测算法显得十分必要。此外,由于速度通常与精度成反比,效率和质量之间存在矛盾,使得构建基于深度学习的算法并在低计算资源上运行是一个巨大的挑战,而这在现有文献中尚未得到有效解决。为此,本文提出了一种快速,轻量和基于自动缩放框架的神经网络,用于室外监视场景中的小型行人检测。通过有针对性的虚拟自动缩放技术,将输入帧分为非重叠图块并仅关注相关图块来自适应放大输入帧。在不牺牲检测精度的前提下,得到了一个在低计算资源下运行的全卷积行人检测模型。针对小型行人检测问题,现有文献的大部分解决方案都集中在CNN的结构和大小上,这反过来又会导致速度的急剧下降(2)由于某些身份之间的差异极小,使得获得有效的特征来进行重新识别和验证成为一项艰巨的任务,例如两辆具有相同颜色、型号和品牌但具有不同ID的车辆。此外,在推断阶段,查询图像的视点可能不同于在图库中需要检索的那些视点。但不管其视点如何,其结果都期望从有效的模型中学习相同对象标识的特征表示。与人脸验证不同,大多数现有的基于深度学习的模型对行人/车辆的重识别能力远非完美。本文通过设计能有效导出变分特征的新模型,可进一步提高行人/车辆的重新识别性能。对此,我们提出了一种新的基于特征的学习方案,即监督变分特征学习(VFL)。现有的重识别方法往往会推导出几千到几万个维度的特征,而我们的模型用于行人和车辆有效表示的特征维度可低至256。其次,我们从VFL中引入了一个扩展框架,以从多角度学习车辆的有效表示。扩展框架的关键在于两个方面:首先,我们采用提出的变分特征学习(VFL)来生成更具判别力的变分特征。其次,使用长短期记忆(LSTM)来学习单个对象的不同视点的内部特征。LSTM还充当编码器以减小特征尺寸。(3)大多数最新方法都将度量(相似性)学习方案用作其模型的基石或最重要的部分。该学习方案指导神经网络生成更多区分特征,并在人脸识别方面显示出非凡的性能。然而,就重识别精度而言,这种学习方法在车辆重识别上的性能仍然不能令人满意。对此,本文引入基于多标签的相似性学习(MLSL)进行车辆重识别。作为一种有效的基于深度学习的模型,MLSL模型对车辆的表示具有较好的鲁棒性。总体而言,提出的模型包括两个主要部分:第一部分是基于多标签的相似性学习器,对车辆的三个不同属性(车辆ID、颜色和类型)使用Siamese网络。第二部分是一个常规的基于CNN的分类器,用于学习带有车辆ID属性的特征表示。提出的MLSL模型由这两部分共同训练。对于本文提出的每一个深度学习模型,我们通过对15个不同数据集的大量实验验证了其有效性。这些实验经过精心设计以验证每个模型的模块,并将它们的性能与最近的相关方法进行比较。
其他文献
稀土离子上转换发光具有发射谱尖锐、反斯托克斯位移大和光化学稳定性好等特点,已经成为当今很多领域以及交叉学科领域的研究热点,在超分辨纳米成像、信息安全和加密、温度传感、生物标记与诊疗等领域具有广阔的应用前景。近年来多层核壳结构设计的上转换纳米材料体系由于具有调控稀土元素空间分布、设计能量传递过程、调节稀土发光以及改善材料理化特性等优势,已经成为研究稀土上转换发光的重要基质载体。目前已经有很多研究报道
三维泡沫镍(Ni)基石墨烯(graphene)结构具有理想的自支撑特性,但却受制于有限的容量。以三维Ni基graphene为催化基底,通过一步水热法,在三维Ni基graphene骨架上形成二氧化锰/石墨烯/泡沫镍(MnO2/graphene/Ni)的异质结电极。MnO2的形貌随着水热反应温度的增加而呈现出纳米花状、纳米花与纳米棒的混合结构以及纳米棒状。通过循环伏安、恒电流充放电等研究方法,发现具有
过渡金属Mn2+离子属3d5电子构型,具有宽带单峰发射、波长可调、寿命长、色纯度高等独特的发光性质,在照明和显示等领域展现出重要的应用前景。然而,Mn2+不存在稳定的中间态能级且与常用敏化剂稀土Yb3+离子具有大的能级失配,Mn2+的上转换发光通常较弱或仅可在低温下获得。理论上而言,Mn2+上转换发光的实现需要Yb3+与Mn2+离子间距离足够近(~5?)以形成交换耦合Yb3+-Mn2+二聚体这一特
镁合金具有显著的轻量化优势,但其绝对强度低,室温下塑性较差,缺少有效的强化途径等因素严重阻碍镁合金的广泛应用。晶粒细化是提高镁合金强度的有效途径之一。当前超过90%的镁合金产品仍然是以铸件形式获得,而碳质孕育法是铸造Mg-Al合金最具应用前景的细化方法之一。但其细化效果不稳定,晶核易受Fe(Mn)“毒化”,并加速衰退,当前关于Fe(Mn)元素对孕育细化效果的影响机理尚未形成共识。前期研究发现Ca(
目前,OLED显示正朝着高色纯度和高分辨率的方向发展。在现有的技术中,提高电致发光色纯度的方法主要是通过滤光片或构筑特殊的光学微腔结构,但通常会降低器件的外量子效率,增大能量损失。因此,设计开发具有本征高色纯度发光的有机发光材料是提高OLED器件色纯度和分辨率的有效方法。通常有机发光分子在激发态下具有较强的电子和核的振动弛豫以及较强的振动耦合,其发射谱带比较宽,发展具有窄发射谱带的有机发光材料一直
近年来,由于超疏水材料表面具有特殊的润湿性而引起了全世界各国科研工作者的广泛关注。这种特殊的润湿性不仅能够赋予材料优异的防水性,而且在自清洁、防腐蚀、防结冰和油水分离等领域均具有广阔的应用前景。但是,由于超疏水材料表面的层级粗糙结构和低表面能组分非常不稳定,通常,在轻微的剪切力作用下,层级粗糙结构和低表面能组分很容易被破坏,致使材料易失去超疏水性,减少材料的使用期限和降低材料的使用价值,这已经成为
长期的临床实践显示:女性患者常常先后或同时罹患甲状腺和乳腺双原发癌,但两者间发病机制尚不明确。中医学认为,人体的经络系统是贯穿上下、沟通内外的有效途径,且甲状腺与乳腺在经络系统中有一定关联性。按照中医取象比类法,经络如同河流沟通人体五脏六腑,而癌毒如泥沙淤堵于河道,癌毒与经络胶结是甲状腺和乳腺双原发癌形成的始动因素,气郁为先,痰瘀聚形,主责之肝经和胃经。依据经络辨证,当明其部以定经,循其流以寻源,
高密度聚乙烯(HDPE)因具有成本低、易加工、耐酸碱性佳以及力学性能良好等优点备受工业界和学术界关注。此外,HDPE分子链具有较高的柔顺性和规整性,这使得其构象转变对外部作用场(如温度场、流动场、压力场等)响应极为敏感,从而具有结晶形态较易调控等优点。为拓展HDPE的领域应用,HDPE复合材料必须兼具高强度和高韧性特征。然而,传统的HDPE共混改性对其强度和韧性平衡调控结果尚不理想。聚合物材料的宏
每天都有数以百万计的视频被制作并上传到网上,其中大部分视频的内容都没有经过审核。此外,Video Editor、Adobe Photoshop、Window Movie Maker、以及Adobe After Effects等视频编辑软件也被广泛使用。这些软件支持各种各样的视频编辑方法,即使编辑后的内容与原始内容有很大的反差,视频内容也能被随意编辑。此外,随着深度学习技术的快速发展,已经出现了自动
肿瘤干细胞(CSCs)在肿瘤的发生、复发和转移中起着重要作用。到目前为止,还没有发现针对CSCs的特异性药物,因为CSCs对大多数传统疗法都有耐药性,并且无限期增殖。三阴性乳腺癌是一种难以治疗而且特殊的乳腺癌亚型,缺乏针对三阴性乳腺癌的有效靶向疗法与富集肿瘤干细胞群和耐药密切相关。本课题研究,我们通过磁激活细胞分选法从MDA-MB-231和HCC1806细胞中富集了CD44+/CD24-乳腺癌干细