携带物检测与步态识别是计算机视觉领域的热点问题,现有方法面临如下两个突出问题:(1)视频监控系统虽已广泛应用,但在一些监控死角或不适宜架设监控系统的场所,往往容易高发恐怖袭击或治安事件,如故意留置危险物品或发生盗抢行为,上述危险事件发生常常伴随嫌疑人的携带物改变,如何利用发生恐怖或治安事件场所以外的监控影像进行人重识别以及携带物改变检测、进而预警或事后追踪是亟待解决的问题;(2)现有方法在进行步态识别时多使用步态能量图作为模型的输入,而在步态能量图的合成过程中,没有考虑目标检测识别出的人物区域会出现非联通的情况(断头或无头),以至于无法找到正确的重心坐标,从而合成不准确的步态能量图,导致步态识别准确率不高。针对上述问题,本文的主要工作及创新点如下:(1)步态能量图的合成部分。针对部分非连通人物区域影像查找正确重心的问题,本文提出了基于重心对齐的步态能量图优化合成算法。首先,通过学习得到判断断头与无头情况的条件,把这些图像进行区别处理,对于断头的图像把头部与躯干合并,对于无头的图像找到并删除;然后,计算出保留图像的准确重心坐标;最后,使用重心对齐技术合成步态能量图。实验表明,使用该算法对齐后合成的步态能量图,取得了更好的合成效果,提高了步态识别的准确率。(2)携带物检测与步态识别双识别部分。在无法拍摄到盗窃或者放置危险物品等可疑行为发生过程的情况下,对已经发生或者即将发生的危险及时做出正确判断是十分必要的。若使用神经网络对是否同一人与是否携带改变分步进行判断,虽然可以满足需求,但是由于使用了两个网络,则需要计算大量的参数,从而耗费大量的时间。针对此问题提出了基于改进的孪生网络的步态识别与携带物检测算法,通过把传统的孪生神经网络进行改进,使其变为双输出的结构,将进出特定场所的两段视频进行对比,不仅能判断是否为同一人,而且还能判断出前后是否存在携带物状态的改变。该算法在训练时,将由两段视频生成的步态能量图两两配对,并将每对定义双标签(第一维标签定义是否同一人,第二维标签定义是否携带改变),所以,此方法不需要直接观测到携带物发生改变(转移或离开)的过程,也无需事先建立接触者的行迹资料。此方法与传统的步态识别算法相比,步态识别的准确率也得到有效提升,本文方法对是否同一人(步态识别)以及是否携带改变(携带物检测)同时判断处理时,给出的判断准确率达到87.54%。因为使用一个网络同时判断两个问题,在保证了识别准确率的同时,节省了参数的计算成本。