基于注意力机制的视频摘要和行人属性识别算法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:AAAA1234560
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
日常生活中,人类的大脑能够利用有限的资源,快速地筛选出最具价值的信息,这种处理信息的手段被称为注意力机制。最近,注意力机制在自然语言处理、语音识别、图像识别等深度学习领域得到广泛的应用。向深度模型中引入注意力机制,能够更加有效地利用模型的输入输出信息,从而提升模型的性能。本文首次将注意力机制引入视频摘要领域,证明了注意力机制在视频摘要任务中的可行性与有效性;进一步研究基于注意力机制的行人属性识别方法,研究能够比较充分利用输入输出信息的行人属性识别算法。一方面,随着网络视频数量的日益增长,如何有效的存储和处理视频数据成为亟待解决的问题。视频摘要技术从原始的视频中提取富含信息的视频片段或视频帧集,能够快速总结视频重要信息,从而缓解日益爆炸的视频数量带来的问题。本文针对现有的视频摘要算法忽略视频帧之间的语义联系的问题,提出了一种基于注意力机制的视频摘要算法,使用卷积神经网络编码原始视频,使用基于注意力机制的循环神经网络进行解码,充分探究视频帧之间的相互联系,从而生成富含信息的视频摘要。在人工标注的SumMe和TVSUM两个主流数据集上,验证了所提模型的有效性。另一方面,广布城市的监控视频网络为维护城市安全提供了重要的保障。行人是监控系统关注的主要对象,能够自动识别出行人的各个属性,具有重要的现实意义。现有的多数行人属性识别方法将行人属性识别问题转化为图像的多分类问题,忽略了属性间的联系,不利于属性的准确识别。本文提出一种基于联合引导注意力机制的行人属性识别算法,分别使用视觉特征和属性特征引导基于注意力机制的解码器生成属性,充分利用视觉和属性、属性和属性之间的联系,达到准确识别行人属性的目的。在现有的两个主流的行人属性识别数据集PETA和RAP上进行了大量实验,验证了所提算法的有效性。
其他文献
大规模的互联网用户不仅是互联网应用和服务的使用者,同时也是互联网大数据和内容的提供者,其构成了丰富的群智资源。对群智资源的有效利用需要解决任务分配的难题。群智云制造指的是多智能体协同,云中透明协作,基于知识制导和任务多层分解合成,对“泛制造”任务进行完成,其中“泛制造”也包括创新创造。虚拟团队是一个支持跨时间、跨地域的个体在开放互联网环境下相互协作,以完成较复杂“泛制造”任务的组织形式。为了解决任
近年来,在生物短程反硝化过程中富集一氧化二氮(N2O)以同步实现氮素去除和能源回收已成为环境工程水处理领域的研究热点。然而,现有N2O回收工艺存在操作复杂、条件苛刻的不足
近年来,毒品在我国呈现蔓延趋势。强戒所作为执行强制戒毒的重要场所,在戒毒工作中发挥了非常重要的作用。吸毒者由于长期吸毒而产生毒品依赖性,在脱离毒品后会出现一些异常
高空作业车是用来运送人员和设备到达指定高度进行作业的一种大型工程机械设备,其主要搭载对象是施工者,工作过程中的稳定性和安全性极为重要,因此实现对高空作业车在其工作
砷污染导致的健康风险己成为全球性的问题。微生物砷吸附和砷甲基化或砷挥发方法被认为是环境砷污染修复的潜在有效途径之一。然而,受遗传因素和环境因素的影响,使大多数微生
快速便捷、省时省力、应用广泛的固相微萃取(SPME)集采样、萃取、浓缩、进样于一体,不需要有机溶剂,是一种绿色环保的样品前处理技术。但由于目前市售SPME纤维多数采用融熔石英
在虚拟现实技术被广泛应用的背景下,轮机模拟器也逐渐从二维仿真向三维视景仿真进行转变。本文针对当前三维轮机模拟器中虚拟角色漫游功能单一和漫游质量一般的问题,提出采用
对地震作用下已破坏的混凝土柱调查研究表明,由于混凝土柱抗震能力不足而导致大量房屋和桥梁倒塌,因此如何改善混凝土柱的抗震性能成为工程界和学术界的研究重点。鉴于轻骨料
探索CO2的资源化利用是解决其温室效应引起的环境问题及能源短缺问题的一个热点研究方向。利用光催化技术来模拟光合作用将CO2转化为碳氢化合物是一种绿色的固碳技术,而研发
随着中国经济建设的不断发展,铁路建设开始向西北地区进军。在西北地区的盐渍软弱土地区,使用水泥搅拌桩加固其地基的处理方法已被广泛应用。由于盐渍土会导致水泥搅拌桩的劣