面向跨模态行人重识别的算法设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:machao4
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今社会的不断发展,摄像头设备时时刻刻在记录和监督着社会的平稳发展。在目前备受关注的智慧城市中,智能监控也在智慧城市中构成了安防的重要组成部分。随着人脸识别技术的逐渐推广,行人重识别技术因为其广泛的应用场景和研究意义而被大量学者和机构研究。行人重识别在智慧监控和城市安全等领域有很大潜力。随着深度学习算法的迭代和优化,以及很多行人重识别相关的大规模公开数据集的出现,目前在可见光领域镜头下的行人重识别已经达到比较高的精度。然而相对于白天,夜间监控只能依靠红外摄像头来获取比较清晰的图像。事实上,红外监控在城市安全和室内监控等方面起着很大的作用。但是目前用于夜间监控的红外-可见光跨模态行人重识别的相关研究比较少,大多存在难以解决红外和可见光图像间跨模态差异的问题,在此领域依旧有很大的提升空间。针对红外-可见光跨模态行人重识别的识别精度差的问题,本文主要做出了以下几点研究:首先,现有工作主要集中在使用两个模型分别提取红外和可见光行人的特征,然后通过共享权重的全连接层,以及相同的loss回归层进行分类和度量学习。然而通过实验和分析,我们发现使用两个模型分别提取两个模态的特征,对特征的拟合效果不如使用共享权重的模型进行特征提取。相对于文本与图像或文本与音频之间的跨模态识别,红外和可见光图像在二维上的相似度比较高,因此转成一维特征值后再进行对齐效果不够理想。本文提出了一个基于残差网络和局部特征的跨模态行人重识别模型,该模型是一个简单有效地端到端的跨模态行人重识别模型,通过更关注模型的低层次特征,在基本不增加模型参数量的前提下提高了精度。其次,为了进一步减小红外和可见光两个模态的特征差异性,本文使用基于欧氏距离的均方差损失约束特征,同时提出多层损失约束函数,增强模型在低层次特征提取时对共性特征的提取。同时,本文使用三角学习率进一步推动模型收敛。最后,虽然当前跨模态行人重识别的公开数据集从几千张图片扩充到了几万张图片,但是相对于人脸识别的千万张图片的数据集,跨模态行人重识别数据集依然偏小,因此本文通过随机擦除图片上的部分区域,来对数据集进行进一步扩增,增强模型的鲁棒性。实验表明,我们的模型在跨模态行人重识别的公开数据集SYSUMM01的在全范围多检索模式下达到了首位命中率(Rank1,是指在图像检索时第一张返回的图像正确的比例)为70.20%,平均检索精度(m AP,mean Average Precision,是指模型多个样本检索准确率的平均值)为54.21%,在Reg DB数据集上达到了首位命中率Rank1为86.17%,平均检索精度m AP为81.81%,都显著超过现有方法的数据。
其他文献
随着信息技术的发展,图像处理算法的计算复杂度在不断提升。与此同时,海量的信息处理对实时处理系统的计算能力提出了越来越高的要求。图形处理器(Graphics Processing Unit,GPU)具有并行处理能力强、吞吐率高等优点,广泛应用于图像处理硬件系统中。论文面向二维卷积和二维傅里叶变换(Fast Fourier Transform,FFT)两个代表性的图像处理算法,研究其在嵌入式GPU上的
活体认证是基于生物特征的身份识别,随着人工智能的发展正在逐步的取代传统的身份认证,已被广泛的应用在金融、安防、军队等领域。但随之而来的便是层出不穷的针对活体认证的攻击手段,这就要求活体认证能对相应的攻击手段进行有效的防御。为此我们所期望的活体认证不仅对活体具有较好的检测认证能力,也应该具有能实时在线处理、受光照或拍摄设备的影响小、用户操作界面简洁友好且用户的交互尽量少等。所以安全性、时效性、客户体
面对复杂多变的市场形势,企业要精准把握市场,做好运营预测,就应充分发挥行全面预算在企业管理的作用,为经营目标的实现提供指导。然而,在实践中,不少企业对全面预算管理认识不足,相关经验缺乏,在实践操作中面临系列问题,影响着企业发展。基于此,本文对企业实施全面预算管理的问题进行了系列探讨。
目标行人搜索是计算机视觉领域中的新兴热点研究方向之一。类似以图搜图、人脸识别的技术,目标行人搜索模型利用目标的全身图像在海量的摄像头视频搜索目标出现在哪个摄像头,如何从各种不同的拍摄角度判断是同个人是最难的部分。目标行人搜索充分的应用在商场以及嫌犯搜索等领域,由于目标行人搜索属于深度学习的应用,特别需要GPU的运算资源,随着摄像头的增加,扩展性受到限制,近年来愈来愈多的嵌入式装置,例如英伟达的TX
自动文本摘要是人工智能领域中一个非常重要的研究方向,根据摘要产生方式的不同可分为抽取式摘要和生成式摘要。生成式摘要因为与人工摘要更相近,成为了近年研究的主流。但生成式摘要在中文长文本应用中面临着严重的信息错误和信息丢失问题,本论文将从解决这一问题入手提出新的模型:SSM(Super Segmentation Module)。首先,以往自动文本摘要方法中通常使用的word2vec词嵌入模型会导致中文
在信息过载的互联网时代,各个行业每天可以产生数以亿计的数据量。为了提高自己的竞争力,企业需要不断地优化自身管理来为用户提供优质的服务,快速准确地向用户推荐当前感兴趣或者潜在感兴趣的产品,深入挖掘利润空间。同时,面对日新月异的产品和服务,用户也希望能够快速定位到自己需要的产品。而人工地筛选和处理数据,为上百万的活跃用户精确地推荐产品会耗费不可估量的人力和物力。因此,设计性能优良的并且具有可解释性的推
基于图像特征的提取和匹配技术已广泛应用于目标识别、图像检索和三维重建等领域。特征提取算法的高计算复杂度使得纯软件实现难以满足实时性需求,实现特征提取算法的硬件加速对嵌入式系统中的计算机视觉应用至关重要。本文研究图像特征提取算法的硬件加速与实现方法,选择尺度不变特征变换(Scale Invariant Feature Transform,SIFT)和Canny边缘检测算法作为研究对象。首先,通过对特
近年来微流控芯片被越来越多地应用在细胞与微米尺度生物的研究中,流式细胞仪是该领域研究必不可少的设备之一。传统的流式细胞仪体积大、操作复杂,而基于微流控芯片的流式细胞仪相对其具有试剂消耗少、操作自动化、占地面积小等优点。随着近年来机器视觉技术的发展以及科研人员对流式细胞仪检测精度需求的提高,基于图像处理的成像流式细胞仪备受关注。本文以秀丽隐杆线虫(后文简称线虫,Caenorhabditis eleg
近年来,随着3D打印技术的打印精度和速度不断提高,结合微流控方向应用的3D打印备受关注。其中,和常规3D打印技术相比,数字光处理(DLP)3D打印在精度和速度上优势明显。然而,目前商用的DLP 3D打印机打印靶面较大,但XY轴打印精度一般在100μm以上,难以兼顾打印精度和打印面积,不适合微结构的制作。本文设计并搭建了一种高精度3D打印系统。该系统包括显微镜投影光学系统及共轭设计的实时检焦系统,其
随着红外成像技术快速发展,红外目标识别系统在导弹精确制导、夜间导航等方面发挥着越来越重要的作用。红外小目标识别算法是红外成像检测系统的核心之一。红外小目标信噪比低,往往淹没于自然背景和系统噪声之中,如何快速、精确地识别红外小目标非常重要。本文研究基于视觉显著性的红外小目标识别算法,探究算法的识别效果并对算法进行改进和优化。对比机制是视觉显著性的重要内容,通过测量目标与邻域的对比度,确定目标的位置。