基于深度注意力的自然语言描述跨模态行人检索

来源 :天津大学 | 被引量 : 0次 | 上传用户:wzh309420
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的不断发展,大量的视频监控被用于维护社会的公共安全。然而,视频监控虽然为公安部门提供了很多珍贵的线索,但是通过人工的方式在视频监控中寻找线索需要耗费大量的时间和人力。因此,基于自然语言描述的跨模态行人检索作为缓解这一问题的新兴技术,旨在根据自由形式的自然语言描述的询问,在不同的视频监控中找寻符合描述的目标行人。该任务是一项极具挑战性的细粒度跨模态检索任务。
  首先,考虑到自然语言描述信息的多样性和冗余性,提出了一种基于注意力机制的跨模态融合行人检索算法,该算法主要针对文本描述的信息增强构建了一种融合注意力网络框架(Description-Strengthened and Fusion-Attention Network),简称DSFA-Net。DSFA-Net旨在通过注意力机制和跨模态特征融合对文本描述信息进行增强,从而使具有判别性的单词更具有视觉敏感性,在重要的单词和对应的图像内容之间建立起紧密的联系。
  其次,提出了一种基于注意力机制约束的多模态对齐行人检索算法。该算法通过设计一种注意力机制约束模型对行人身份进行分类,从而指导图文映射到一个合理的公共空间。另外,该算法通过图文模态生成融合模态从而实现多模态对齐,并使用全新的交叉排序损失函数对三种模态的距离进行度量,使公共空间中不同的图文匹配对之间具有可区分的间隔距离。我们称由上述方法构建的网络框架为多模态对齐和注意力网络结构(Multi-modal Alignment and Attention Network),简称MAA-Net。
  上述两种方法均在主流的公开数据集CUHK-PEDES上进行了大量的实验,并且验证了两种方法的有效性。
其他文献
异型零件的出现使工业化进程得以快速发展,但是其在生产和使用过程中不可避免产生带有缺陷的不合格产品,而现有的检测技术存在检测效率低、无法检测内部缺陷等问题。因此,开发并设计一种用于异型零件缺陷检测的新型无损检测系统,对预防异型零件在使用过程中产生损坏以及防止重大安全事故的出现具有十分重要的意义。  由于电磁层析成像技术(Electromagnetic Tomography,简称EMT)具有非接触、响
学位
广域信息管理(System Wide Information Management,SWIM)是国际民航组织(International Civil Aviation Organization,ICAO)推荐“航空云”的基础设施,作为美国下一代航空运输系统(Next Generation Transportation System,NextGen)和单一欧洲天空空中计划(Single Europe
波形识别技术,对于认知被动雷达、电子对抗以及无线网络安全等领域具有至关重要的作用。传统的波形识别基于特征提取的方法,典型的特征包括时频分布特征、分形特征和高阶累积量特征等。随着深度学习技术的日益成熟,神经网络的方法被广泛应用于波形识别中,并且性能大大超过了传统的波形识别方法。然而,实测过程中发现,对于在不同信道场景、不同采样率下的接收机采集的数据,已训练模型的泛化能力不理想,考虑到在线波形识别中信
单目标视觉跟踪是视觉跟踪领域中最基础的问题。它旨在根据给定目标的初始位置和初始信息,在随后的视频序列中估计目标的位置和尺度变化,以便完成更高级的任务。视觉跟踪任务的难点首先在于可获得的关于给定目标的训练数据非常有限。其次,跟踪模型面临现实应用场景中存在的遮挡、形变和尺度变化等诸多挑战。最后,视觉跟踪任务对处理速度的要求进一步提升了算法设计的难度。基于相关滤波的跟踪算法根据样本近似循环的特点,利用循
随着海洋在沿海国家的战略地位不断提升,对领海范围进行监测变得越来越重要,为了实现对领海范围内目标的监测,在国家重点研发计划基金的支持下,设计并开发了海上目标监测系统。海上目标监测系统是以任务为主线,利用无人机和卫星资源实现对海上某一段时间、要求成果类型、某一区域内目标的监测,系统主要包括无人机和卫星任务的规划,无人机拍摄视频的直播与回放,二三维地图的联动查看等功能。  系统采用前后端分离的开发模式
印前检测与校正是稿件印刷前的最后一道工序,此过程会检测稿件中的多个印刷参数,确定其是否符合印刷要求,对于不符合印刷要求的稿件进行校正,避免印刷阶段出现错误,此过程也是印刷领域的研究热点和难点。目前印前检测与校正领域存在以下几个难点:稿件检测项目较少且准确度不高,不支持对稿件错误项目进行修正或其他写入操作。检测与修正过程无法实现自动化,仍然需要人工处理每一份稿件。缺乏高效的稿件处理结果校验算法,依赖
随着互联网和多媒体技术的快速发展,图片数据呈几何式增长。其中有一些图片令人们印象深刻,有一些图片却容易被人们忘记。近些年来,研究者们发现这种现象可用图像可记忆度解释,图像可记忆度是图像的固有属性,旨在描述一张图片能够被人记住的程度。目前,对图像可记忆度的研究主要有两方面,一方面是研究影响图像可记忆度的因素,另一方面专注于对图像可记忆度的预测。现有的很多图像可记忆度预测方法通过简单的特征串联表征图像
虽然数码相机拍摄画质日益提升,在低光照或者高感光(ISO)模式下拍摄图像仍会不可避免的引入噪声。而且在很多情况下,需要调高相机的ISO进行拍摄,例如夜间拍摄或者捕捉快速运动的物体。该类实际噪声在空间分布和颜色通道上具有相关性,远比高斯噪声复杂,所以传统的高斯去噪算法难以有效去除该类噪声。鉴于此,本文从盲去噪的角度分析,充分利用卷积神经网络(Convolutional Neural Network,
学位
近年来,随着电子技术的飞速发展,阵列信号处理逐渐成为当前信息处理领域一个热门问题。阵列信号处理主要研究空间分布传感器阵列信号的信息处理问题,波束生成技术是阵列信号的基础,被广泛应用于通信雷达、图像处理、电力、机械振动、医学等领域。阵列信号处理所对应的信号分解和信号重构问题分别是空间谱估计和波束生成,但是在信息科技的发展过程中也不可避免的遇到了阵元间耦合效应加剧影响性能和软硬件成本提高这两个瓶颈问题
场景分割在智能驾驶中有广阔的应用前景,目前针对智能驾驶领域的场景分割算法主要依靠语义分割实现对场景中物体的识别和理解。针对场景中目标物体的类别可以将其划分为两类:基于所有物体的场景分割和以人为核心的场景分割。  在场景分割算法的设计上,提取具有判别力的上下文信息是关键。因此,本文首先提出了一种基于稠密金字塔和协同学习的语义分割模型,由局部上下文金字塔模块和全局上下文金字塔模块级联形成的稠密金字塔,
学位