基于多模态特征表示学习的行人重识别研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:kangjilin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别的主要任务是从图像或者视频序列中查找是否存在特定行人。在计算机视觉中行人重识别是比较热门的问题,在智能安防、无人超市、行为分析等众多现实场景下都有着一定的应用。在近几年,专家研究者们在行人重识别上研究成果显著,在常见数据集上取得了较高的准确率。由于实际环境的不确定性,会受到背景复杂、光照变化、运动模糊、不同视角、物体遮挡等因素的影响,行人重识别仍然是一个具有挑战性的课题。并且随着热红外、深度相机的发展,多模态行人重识别也引起了很大的关注。因此,本文针对多模态下的行人重识别所面临的模态互补问题和如何在单模态情况下利用多模态生成来获取到红外模态的信息这两个问题展开研究。具体的研究内容主要如下:(1)针对在传统的可见光下的行人重识别存在的光照变化和环境因素影响的问题,本文提出了一种新颖的渐进式融合的方法,通过利用可见光、近红外、热红外三个模态间互补的优势来实现多模态下的行人重识别,网络通过三个不同模态的分支以及两个融合模态分支,能够渐进地学习到从单一模态到多模态,局部信息到全局信息的行人特征。此外,我们还提出了一个全新的多模态行人重识别标准数据集RGBNT201。该数据集包含了在一些困难挑战下一共201个行人的多模态图像。我们的方法在本数据集上的实验结果都优于一些最新的方法。(2)多模态行人重识别能很好地解决一些传统可见光下的行人重识别存在的问题和挑战,对于一些具有挑战性的场景也能很好地进行重识别的任务。但是在现实情况下由于缺乏红外设备,大多数监控环境都是可见光相机,很难获取到多模态的信息。因此对于多模态行人重识别也会遇到模态缺失的情况,针对在缺失模态的情况下如何解决一系列挑战的问题,本文提出了一种基于多模态生成表示学习的行人重识别方法,通过利用已有的多模态行人数据集,来训练生成对抗网络,从而生成质量好的红外行人图像。再将原始可见光图像和生成的红外图像作为输入来训练我们的多模态注意力的行人重识别网络,利用可见光和红外的互补优势,来学习有效的多模态行人表示信息。我们的方法在在Market1501、CUHK03和DukeMTMC-reID数据集上都取得了不错的实验结果。
其他文献
DRAM由于单元尺寸小、容量大、耐久度高等优点,被广泛应用于移动设备、服务器、PC等领域。其市场规模超过600亿美金,占全球集成电路市场十分之一以上。在工艺不断进步的过程中,DRAM电容大小不断降低,为SA识别位线间的电压差带来巨大挑战。受随机掺杂波动的影响,SA的失调电压逐渐增大,因此对DRAM低失调灵敏放大器的研究非常有意义。本文首先对DRAM结构和原理进行介绍,然后分析了SA失调电压产生原因
最近十几年,互联网发展的速度超乎想象,以前都是通过信件或者面对面交流,而现在,基本被互联网取代。由于互联网已经成为日常生活中的一部分,所以网络信息安全就被广大网络用户密切关注。信息是否安全,这完全由密码的可靠性决定,密码的保密性的高低又是由密钥复杂程度决定,随机数的随机性越好,生成的密钥越复杂,反之生成的密钥就比较简单,容易被破解,所以随机数发生器的研究就极其重要。本文介绍了直接频率平均(Dire
存储器,是一种有效存储数据的芯片,它是集成电路产业的关键部分,更是电子设备上必不可少的组成部分。随着便携式电子设备的兴起,例如手机、平板电脑、无线蓝牙耳机等,电子设备上日益增加的功能与迟滞不前的电池技术产生了矛盾,所以在电路设计层面,低功耗技术变得越来越重要,用非易失性存储器替代易失性存储器是一个很好的解决方案,但是现存的主流非易失性存储器如FLASH,读写速度慢,写入功耗大,无法替代SRAM、D
作为计算机视觉任务中的一个重要分支,图像显著目标检测旨在研究让计算机模拟人类的视觉注意力机制提取图像中最感兴趣的目标或区域。近年来,随着卷积神经网络在不同计算机视觉任务中的广泛使用,基于卷积神经网络的显著目标检测吸引着越来越多人的关注。基于传统机器学习方法的可见光显著目标检测在遇到场景复杂、目标与背景相似等挑战时,目标边界模糊现象较为严重。而热红外成像仪可以根据物体表面的热辐射成像,不会受到雨雪、
信息通信技术的蓬勃发展使整个社会进入了智能时代,智能设备与社会紧密的联系在了一起。智能设备的普及以及优化在给人们带来更加优秀的用户体验的同时也对智能设备中的硬件要求变得越来越高。存储器作为智能设备中极其重要的组成部分,对于其性能的要求也就变得越来越高。动态随机存取存储器(Dynamic Random Access Memory,DRAM)作为应用最为广泛的一类存储器,其在整个存储器市场的占有份额一
如今,智能技术已成为人类生活中不可或缺的一部分,创新技术工作者一直在寻找能够满足这部分需求的智能高效材料。其中,光电探测器和超级电容器就是其中的两种技术。光电探测器是可以将光信号转换为电信号或其他信号的设备,目前已在生物和化学传感,医学成像,安全通信和天文研究等领域都有重要的使用。自从发现极高电离的紫外线(UV)辐射会触发许多化学过程以来,研究人员就非常清楚它们对人体健康和环境的有害影响。因此需要
电磁带隙(Electromagnetic Band-gap,EBG)结构因其独特的电磁特性,受到了众多学者的广泛关注,结合EBG结构来进行天线设计成为了新一轮的研究热点。本文在先前EBG天线设计的基础上,重点研究了小型化和多频段EBG结构在天线设计中的应用,分别设计了多款小型化和多频带的EBG结构,并把它们应用在多频带、超宽带和MIMO天线的设计中。其中在双频天线的设计中,创新性的提出了新型嵌套型
随着全球经济迅速增长,甲烷(CH4)作为天然气的主要成分,已经成为生产生活中重要的燃料之一。但因其易燃易爆的特性,严重威胁生产和人身财产安全。此外,甲烷作为重要的温室气体,对加速气候变暖起着不可忽视的作用。因此,开展甲烷气体的高灵敏度检测方法和仪器研制具有重要的实际意义。当前,激光吸收光谱因其具有非接触性、快速响应和高灵敏度等优势,在气体检测领域得到广泛应用。直接吸收光谱技术作为广泛使用的光谱方法
随着半导体器件的特征尺寸的不断等比例缩小,由其构成的芯片尺寸也在不断减小,但是随之而来的是急剧增长的功耗密度。然而,传统的MOSFET器件因其导电机制,在室温下存在亚阈值斜率理论极限(60m V/dec),这使得以MOSFET器件为基础的芯片无法持续降低电源电压来降低芯片的功耗。所以具有低亚阈值斜率的超低功耗新型器件的研究十分重要。其中隧穿场效应晶体管因具有极低的关态电流、超陡的亚阈值斜率SS、与
语音是人与人之间最重要的交流方式,随着时代发展,语音也是人与机器之间重要的交互手段。但是在很多环境下,语音信号会被其他信号干扰,影响到沟通的效率及效果。所以如何有效地改善噪声环境中的语音质量具有重要意义。语音增强就是在噪声条件下提高目标语音信号质量和可懂度的基本技术。近年来,随着深度学习的发展,单声道语音增强算法取得了长足的进步。其中,循环神经网络由于可以天然地对语音的序列关系进行建模,成为了语音