基于视频的行人表征学习与特征融合方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:flyingmomo1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文主要针对基于视频的行人再识别任务,研究了视频序列的行人表征方法。不同于面向图像的行人再识别算法,基于视频的行人再识别任务的核心问题在于如何融合图像特征实现行人视频序列的特征表达。另外,本文还研究了无监督的行人再识别任务,其核心问题在于如何在人工标注信息缺失的条件下学习到ID级别的行人表征。本文基于深度学习理论与方法,针对基于视频的行人再识别和无监督的行人再识别分别提出了对应方法。主要创新点包括:首先,提出了一种基于视频双向性的全序列特征融合方法,通过卷积神经网络与双向循环神经网络的联合学习,实现了对于行人视频序列的端到端表征提取与融合。卷积神经网络作为空域特征的提取器,为双向循环神经网络提供了空域特征。双向循环神经网络同时以顺序时空和逆序时空两种形式解析行人视频序列中的时域动态信息,捕捉视频序列中的时空线索,融合全序列所有图像特征,构建了对于行人的完整表征。另外,提出了一种基于强化学习的关键帧特征融合算法,用于融合视频序列中的图像特征。不同于已有的基于时序模型的特征融合方法,该方法训练了一个智能体来判断图像帧的质量,并对是否融合这帧图像的特征做出决策。如果该帧图像特征引入的干扰信息远大于其所带来的正面效果,智能体将会在特征融合的过程中舍弃这一帧图像。通过这一方法,智能体保留了视频序列中最有价值的图像帧,获得了质量较高的行人视频表征。在多个数据集上,此方法有效提升了行人再识别算法的性能。其次,提出了一种基于时空注意力的行人再识别方法,旨在从全局的角度提取行人视频序列中最具有代表性的局部区域。在该方法中,所提出的时空注意力机制同时从时域与空域将行人视频展开,并对各帧图像的各个区域进行评估。相比于其他一些使用注意力机制的方法,本文所提方法同时考虑了时域与空域的一致性,即目标主体在图像中往往存在一些重要区域,这些区域在一定时间内的变化具有连续性。在多个视频行人再识别数据集上,该方法均取得了较好的结果,超过了现有方法。最后,本文针对行人再识别领域数据标注成本过高的问题,提出了一种针对行人再识别任务的无监督表征学习方法。该方法通过聚类与对比学习,迭代式地更新网络模型对于数据集样本分布的感知,在不需要人工标注信息的情况下,学习ID级别的行人表征。同时,通过对已有研究工作的分析,揭示了一个无监督行人表征学习过程中的难点问题:困难正样本问题,即在无监督的对比学习过程中,由于行人ID标签的缺失,本应被聚类为同一簇的正样本之间的距离被拉开,失去了成为同一簇的机会,给优化过程带来了极大的挑战。在多个数据集上的实验表明,本文所提出的算法在行人再识别任务上能取得较好的性能,在部分数据集上甚至接近了有监督算法。综上,本文主要针对行人再识别任务进行了深入的研究,在基于视频的行人再识别领域取得了一定的研究成果,并在无监督的行人再识别领域进行了探索。
其他文献
背景神经病理性疼痛(neuropathicpain,NP)是一种不愉快感和情感体验,与组织损伤相关联。在临床上有残肢痛、幻肢痛、卒中后痛等。神经病理性疼痛因患病率高、发病机制复杂、治疗困难、易于留有后遗症等原因,给患者的生活及工作造成严重的负担。NP机理包括外周和中枢两种学说,其重要的传导枢纽在脊髓背角。有研究显示,NP的早期既有脊髓背角小胶质细胞被激活,胞体表面的特异性IBA1显著表达。在活化的
学位
π-共轭有机小分子因其结构易修饰,合成方法简单以及具有优异的光响应性而被广泛研究,应用于新型光催化剂和光电功能材料的设计开发。模拟自然界光合作用系统,将π-共轭小分子以非共价键自组装的形式,或通过特殊官能团与无机材料相复合构筑复合纳米材料,可实现优异的、协同增强的性能,在光能转化研究领域显示出巨大的潜在应用价值。本论文的研究目的是通过设计制备光功能π-共轭小分子及其纳米复合材料,研究组分间电荷转移
学位
冠状动脉疾病(CAD)是一种高度流行且发病率不断增加的疾病,而冠脉搭桥术(CABG)是CAD的重要治疗方法之一。大隐静脉(GSV)作为人体的自体血管,因其易于取材且具有足够的长度,所以在CABG术中一直是重要的移植桥血管。在植入后的第一年内,静脉移植并不会对全身循环和外科手术产生适应性,进而静脉移植物均显示内膜增厚。大隐静脉桥血管(SVG)的内膜增生由平滑肌细胞(SMC)、蛋白聚糖和Ⅲ型胶原的同心
学位
随着工业产品微型化的趋势,微型制造领域获得了越来越多的关注。微成形技术是微型制造领域最有前景的方法之一,但由于“尺寸效应”的存在,基于宏观连续介质力学的塑性成形理论和传统的塑性成形工艺与设备已经不能满足微成形的需要,微成形在实际应用中存在着变形行为改变和局部缺陷严重等问题。超声振动辅助微成形具有降低成形载荷、减少界面摩擦、提高材料成形性能和提升成形零件质量等优势,可有效解决传统微成形面临的问题,近
学位
微生物在自然界中有着丰富的多样性。但自然界中绝大多数微生物处于未培养状态,尤其是海洋微生物。尽管可以通过免培养的宏基因组等方式来探究大部分未培养成员,却无法通过基于培养的方式对这些微生物进行系统的研究,严重限制了我们对其生理特征、生态功能及天然活性产物的了解。因此,获得尚未培养微生物的纯培养菌株,具有重要的科学意义和深远的应用前景。自然界中大部分微生物难以被纯培养的关键限制性因素之一为在原始生境中
学位
中国共产党,从五四运动的风云激荡中走来;中国大学生,在五四运动的淬炼磨砺中首次登上历史舞台。大学生是每个时代最富有朝气、知识、担当与创造力的一个群体,肩负着每个时代最崇高的历史使命。思想政治工作是一切工作的生命线,是保证中国社会主义事业安定稳固和兴旺发达的重要政治优势。改革开放以来,大学生群体在推动社会生产力发展、提升科学技术水平、建设社会主义文化的进程中发挥着越来越重要的作用,取得了巨大的成绩,
学位
民生是人类社会永恒的主题。新中国成立以来,中国民生事业取得了举世瞩目的成就,特别是党的十八大以来,以习近平同志为核心的党中央把保障和改善民生作为坚持和发展新时代中国特色社会主义的重要战略任务,在发展中保障和改善民生,不断促进社会公平正义,全面增强了人民群众的获得感、幸福感、安全感。在全面小康社会建成之年,从理论上探讨新时代中国民生建设的基本问题——建设什么样的民生、怎样建设民生,具有非常重要的理论
学位
研究背景乳腺癌多药耐药已成为阻碍肿瘤化疗进程和预后的最严重问题。阿霉素(Dox)是临床上治疗乳腺癌的一线化疗药物,但其单用抑制肿瘤效果并不完全,尤其在乳腺癌晚期,乳腺癌细胞发生耐药后,更易发生侵袭转移,给临床治疗增加了难度。因此,如何有效地逆转乳腺癌对阿霉素的耐药性进而改善乳腺癌患者的临床症状就成为重中之重。MicroRNA(miR)是一类长度约为18~25个核苷酸左右的小分子非编码RNA,通过与
学位
我国民办高校整体上处于高等教育“金字塔”的底端,在实现高等教育内涵式发展,加快教育现代化,建设教育强国的背景下,建设一批高水平民办高校,具有重要的历史和现实意义。中国民办高校发展中始终面临资源约束和环境约束双重挑战,以社会创业的理论视角观之,民办高校是西方新公共管理运动、我国市场化改革背景下兴起的兼具公益性与商业性的混合型组织,实质上是采用市场化手段提供教育服务的创业产物。基于大规模调查问卷对高水
学位
随着蜂窝电话网络、电网和互联网等重要基础设施的完善和对应的通讯技术和控制理论的发展,大量实际问题最终可以归结为多智能体系统的分布式趋同优化.这里的分布式体现在优化问题的建模和算法实现都只能通过局部节点以及与邻居节点之间的协作来完成.多智能体系统网络的这个无中心节点特性导致全局优化决策变量的不易获取,是设计分布式算法要面临的最根本困难.本文使用置信度传播和其上构建的有力工具研究分布式趋同优化问题并提
学位