基于深度学习的跨域跨模态复杂场景下的行人重识别

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 0次 | 上传用户:shengjie139
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别(Person re-identification)也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。最近几年,随着深度学习技术的不断发展,以及行人重识别数据集规模的不断扩大,理想条件下的行人重识别技术得到快速发展。但是在非理想情况下,行人重识别仍然存在诸多挑战,比如跨模态行人重识别和跨域行人重识别。这两个问题可以归纳成为不同成像条件,不同场景下的行人重识别。白天和晚上人体图片的成像条件和成像硬件不同。白天一般用可见光相机进行拍摄,而夜晚用近红外相机进行拍摄。这两种相机拍摄的图像特点迥异,拍摄出来的图片模态不同。有时候需要使用可见光相机拍摄的人体图片去检索使用近红外相机拍摄的人体图片,以及使用近红外相机拍摄的人体图片去检索可见光相机拍摄的人体图片。该过程称为跨模态行人重识别。除此之外,在某个数据集训练出来的模型,直接将其应用在其他拍摄环境下进行识别,效果会有较大的降低。所以如何提高行人重识别模型的跨域泛化性能尤为重要,该研究方向称为跨域行人重识别。针对跨模态条件下的行人重识别问题,本文设计了一个基于双通道异质图的特征增强模型。以现有的深度学习跨模态行人重识别模型作为基线模型,使用该基线模型提取不同模态的基线特征,再使用该特征构造异质图。在此基础上,本文设计了近邻树搜索方法对异质图中存在的噪声进行去除;再通过双通道聚合和融合的方法,对现有基线特征进行特征增强,从而增强近红外和可见光两种模态特征中的身份语义信息,抑制其中的冗余和干扰信息。经过实验证明,该方法能够有效提高跨模态行人重识别的性能,在SYSU-MM01数据集上面相比基线方法mAP提升12.9%,在RegDB数据集上两种测试模式mAP分别提升16.3%和 17.0%。针对跨域条件下的行人重识别问题,本文采集了监控场景下真实行人数据,构建了一个能够反映跨域泛化能力的行人重识别benchmark——COCAS+。同时本文制作了丰富的仿真行人数据,研究探索了仿真数据集在提高跨域行人重识别中所发挥的作用。实验证明仿真数据能够有效地提高行人重识别在跨域条件下的泛化能力。基于本文所提出的真实和仿真数据多任务协同训练方式,在上述数据集中跨域场景下mAP提高2.2%。
其他文献
<正>本刊讯为深入学习宣传贯彻党的二十大精神,落实立德树人根本任务,坚持不懈用习近平新时代中国特色社会主义思想铸魂育人,推进滨海新区“大思政课”综合改革示范区和大中小学思政课一体化建设,打造滨城学校思政工作特色,3月24日,滨海新区举办大中小学思政“金课”教学交流会。会议采取领导引学、专家授课、说课交流、集中点评等形式进行。备课交流环节,来自滨海新区大中小学不同学段的思政课教师代表进行了说课展示。
期刊
原核生物的CRISPR-Cas(Clustered regularly interspaced short palindromic repeats CRISPR-associated protein)系统属于适应性免疫系统,CRISPR-Cas系统可以防止细菌和古生菌受到噬菌体的感染。深入的了解CRISPR-Cas系统的天然作用及其可编程特性对于适应性免疫系统的研究非常有启发性,并且可能促进基于C
学位
近些年来,随着低成本深度相机技术的不断成熟,深度图像在许多计算机视觉领域都得到了广泛的应用,例如三维重建、室内SLAM、虚拟现实、增强现实等应用。但是目前市面上的低成本相机,如Kinect、Real Sense等,通常存在分辨率低、深度值缺失、图像空洞、噪声等问题。而这些问题,将会极大的影响三维重建等技术的效果。所以怎么样将低质量的深度图增强是一个迫切需要研究的课题。本文首先对相机原始采集到的图像
学位
Klf7是神经系统中调节细胞增殖和分化的重要转录因子,也是自闭症谱系障碍(ASD)的致病基因,但具体调控机制尚不清楚。在我们之前的研究中,我们发现klf7靶基因在昼夜节律中显着富集。为了确定klf7是否参与昼夜节律的调控,我们敲低了N2A细胞中的klf7,发现昼夜节律基因,尤其是Clock基因的节律性表达被破坏,接下来通过实验证明clock与klf7之间存在调节环路并且klf7的敲低会破坏细胞的昼
学位
推荐系统由于可以缓解大数据时代信息爆炸式增长带来的信息过载问题,成为近些年来发展十分繁荣的领域,备受学术界及工业界瞩目。目前,推荐系统已经借力深度学习技术实现了飞速发展。深度推荐算法利用神经网络强大的特征抽取以及特征建模能力,可以充分表征用户喜好,实现精准的推荐目标,具有十分重要的现实意义和广阔的应用前景。然而,现有的深度推荐算法往往需要堆叠非常深的网络深度以实现较好的推荐效果,对计算资源和实际应
学位
肿瘤的异质性对癌症的个性化诊断和治疗方法提出了巨大挑战,G蛋白偶联受体是人类基因组范围内最大的蛋白质超家族,也是在癌症治疗中研究最多的药物靶点。DNA甲基化是一种常见且重要的表观遗传修饰,在癌症的研究中应用广泛。癌症特异性的生物标志物鉴定对癌症的诊断以及治疗提供了重要应用价值。本研究是以G蛋白偶联受体相关基因作为实验背景,探索这一簇基因在泛癌中的表观遗传修饰(DNA甲基化)的改变,结合使用生物信息
学位
结肠癌是世界范围内发病率最高的恶性肿瘤之一,但由于其恶性度高、早期诊疗难以及预后极差的特性,对其精准诊断始终是科学家们急切希望攻克的难题。从腺瘤到结肠癌的演变是一个多基因累计突变的过程,体细胞突变是致癌过程的关键。结肠病理切片是一种判断结肠癌种类和时期的典型方法,但这种方式存在困难,特别是在低分化肿瘤中更难分辨。近年来,由于人工智能的进展,通过深度学习对结肠癌全片图像信息进行自动分型与检测已经变成
学位
Spark SQL作为内存大数据查询引擎,已经被业界广泛应用,但对其性能进行调优始终是一项必要且具有挑战性的工作。最新的研究试图利用机器学习方法来解决这个问题。然而,现有的机器学习方法存在两个缺陷。首先,它需要花费大量时间收集训练样本,导致时间开销过高。其次,对一个应用程序的一个输入数据集的最佳配置对同一程序的另一个输入数据集可能不是最佳的,从而需重新调优。为了解决这些问题,本文提出了一种新颖的方
学位
柔性外骨骼是一种新型的可穿戴式机器人,在医疗、军事与工业等领域具有广泛的应用前景,其已被证明可以大大减少人类行走和跑步时的新陈代谢消耗。柔性外骨骼作为一种复杂人机交互式系统,涉及轻量化结构设计、人体意图识别、运动特征分析以及机器人控制策略等。然而在很多情况下,较大的柔性外骨骼系统自重会使得系统的辅助效果难以抵消系统自重造成的额外代谢消耗,并且偏离人体重心位置穿戴的柔性外骨骼会增加使用者在行走与跑步
学位
配位聚合物(Coordination polymers)在药物输送、生物成像、化学传感、气体储存及分离、多相催化、能量转换等领域具有广泛的应用。目前,虽然多种结构新颖的配位聚合物被报道,但是对于其性能与结构的研究仍然不够充分。刺激响应性材料在外界环境因素的刺激下,其自身某些物理性质或者化学性质会发生响应性变化。目前,单一的酸碱、温度、光照等刺激响应已经不能满足各领域对智能材料所提出的需求。配位聚合
学位