基于图网络的文本属性行人检索算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:liongliong515
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着国家“平安城市”等公共安全战略的发展,视频监控系统已经被广泛部署在各个公共场合。然而,即使再周全的视频安防系统仍存在死角,在监控摄像头不可及的角落,仅凭目击者的口述信息在海量数据中追踪嫌疑人仍如大海捞针。因此,能够凭借文本信息在监控视频中智能检索特定行人的技术,即文本属性行人检索技术成为了国内外的研究热点。与传统的基于图像的行人检索技术相比,文本属性行人检索仅需要基于文本的属性信息,如年龄、性别、衣着等,即可作为查询信息对监控原始信息进行检索。然而,文本属性行人检索技术受限于图像-文本的信息不平衡性、未知属性组合的干扰和模态间差异等问题,准确率距离实际部署的要求仍有较大差距。因此,本文通过对属性间的内在关系和模态间距离约束方法的研究,构建了文本和图像更具判别力的特征表达,主要研究内容和创新点包括:1.针对图像-文本的信息不平衡性和未知属性组合干扰的问题,本文提出了基于伪标签驱动图卷积网络的文本属性行人检索模型。该模型为端到端结构,主要由三部分构成:属性关系模块、跨模态注意力模块和特征提取网络。属性关系模块通过文本属性在训练样本中的共现概率构建属性关联,具体来说,由单个属性特征表示图网络中的每个节点,由滤值后的属性标签关系矩阵表示每条边。同时,融入伪标签机制对图网络中的边信息进行实时更新,在训练过程中拉近未知属性组合与已知属性组合的分布,增强了模型的鲁棒性。同时,跨模态注意力模块引入深度自注意力变换机制对两模态特征进行约束。实验表明,融入了标签信息的图卷积网络更有利于特征提取器学习到更准确的图像和文本表示,有效提升了模型判别力。2.针对图像-文本检索任务中特征表征能力不强和模态间距离约束成本高的问题,本文提出了基于特征嵌入图注意力网络的模型,利用其注意力机制对特征提取过程进行优化;同时,对跨模态注意力模块进行重新设计,简化模型复杂度,利用图注意力网络的自注意力机制在最大程度上对模态间距离进行约束,消除模态特有特征对模型精度的影响的同时对网络的参数量进行优化,在提升模型准确度的同时,极大地缩短了训练时间。并根据属性的内在特征,在原有损失基础上提出基于弧度的特征度量空间。实验表明,本方法通过简化跨模态注意力模块和引入新的度量空间,使模型获得了更强大的特征提取能力。
其他文献
近年来,超表面吸波器件因其具有体积小、质量轻、吸波性能好的优势,且能够有效解决传统吸波器件在军事、民用领域高指标的工程需求,从而引发了极大地关注。为了满足宽带以及智能的需求、解决不可调吸波超表面应用受限的问题,可调吸波超表面器件应运而生。一般来说,可调吸波超表面可以通过加载可调元器件或者材料的方式来实现,如基于集总元器件、液晶、石墨烯以及微流控等方式。然而这些方式存在制造复杂、需要外加电源的问题。
学位
无线射频识别是一种不需要物理接触只需通过无线射频通信的方式即可实现对指定实体进行自动识别的技术,它是物联网的核心技术之一,被广泛应用在社会生活中的各个领域。由于RFID系统是以无线方式进行通信,所以不可避免的会受到各种攻击,因此RFID系统的安全性问题成为人们关注和研究的重点。在RFID系统中不仅要求后台服务器要安全可靠,而且标签、阅读器和后台服务器之间的通信也要实现安全和隐私保护。当前人们提出了
学位
与其他学科相比,人工智能(artificial intelligence,AI)的历史并不算长,但是随着时代的发展,AI受到越来越多的关注。AI把人们从繁重的工作中解放出来,人们也乐于应用AI解决复杂的问题。但是提高AI的性能并不是简单地增加图形处理器,人们尝试寻找新的神经网络形态,研究新的学习算法,期望在处理速率以及功耗方面有所突破。脉冲神经网络(spiking neural network,S
学位
梯度折射率(Gradient-index,GRIN)透镜具有渐变的折射率分布,理论上通过控制GRIN器件的折射率分布,可以实现各种奇异电磁特性。然而,现有的GRIN透镜普遍缺乏重组能力,一旦被制造出来就只具有静态功能,这一问题极大限制了GRIN器件的应用。本文着眼于现有GRIN器件设计的不足之处,创造性地提出了全电介质GRIN器件的重组方案,利用一种可插拔结构单元,设计了可任意拼接的超材料透镜。首
学位
目标检测作为人工智能各项研究的基础,在各应用领域发挥着重要的作用,其中遥感图像的目标检测在国防安全建设和民用生产等领域具有着重要意义,但由于遥感图像存在目标分布密集、尺寸差异大、方向多变等特点,现有遥感图像目标检测方法表现并不理想,一直是目标检测领域的难点。因此本文分析了遥感图像的主要特点,选择更加灵活、鲁棒的无锚框算法FCOS作为本文研究遥感图像目标检测的基础网络,设计出适合遥感图像的目标检测算
学位
随着计算机硬件水平的提高以及多媒体通信和三维成像技术的发展,三维点云模型的获取变得更为容易,同时也被广泛应用在虚拟现实、文物保护、自主导航、实时巡检等领域。三维点云是空间中一组无规则分布的离散点集,表达了三维物体或场景的空间结构及纹理属性等信息。为了提升表示精度,点云可以包含百万甚至千万个点,并可附加多种类别的属性信息,导致数据量十分庞大,对现有多媒体系统的存储和传输等环节带来了严峻的挑战,影响了
学位
在工业智能化改革浪潮中,各类企业逐渐向数字化转型,利用热门的人工智能技术和互联网上规模庞大的数据为相关企业和人员提供工业信息查询服务成为企业发展的必然要求。然而现阶段工业领域智能查询系统尚不成熟,许多技术性问题亟待解决。本文研究的基于知识图谱的工业领域问答系统是智能制造中的重要一环,极大地方便了企业进行数据存储、技术查询和内部管理,为企业科学决策、高效运转提供技术支撑。问答系统的构建涉及知识图谱、
学位
吸波材料由于能吸收或减弱表面接收到的电磁波能量,改变电磁波辐射环境,在军事隐身、电磁防护、电磁测试等领域具有不可替代的作用。传统吸波材料具有吸收频带窄、涂层密度大、设计成本高和不可灵活调控等不足,无法满足高效、复合、兼容与智能的实际应用需求。近年来,电磁吸波超表面作为新型隐身材料相较于传统电磁吸波材料,具有重量轻、厚度薄、频带宽、可重构及加工设计简捷等优势,为吸波器设计提供了新的思路。目前可调吸波
学位
无人机、卫星等在获取高分辨率遥感影像过程中,不可避免地存在云层遮挡问题,这对遥感影像应用造成一定程度的干扰,因此云检测技术在遥感图像处理中起着重要作用。由于云的多样性和下垫面的复杂性,目前大多数遥感图像云检测方法仍面临着很大的挑战,尤其是对薄云的漏检及雪与云的误检。同时由于卫星和地面的信息传输的带宽有限,图像需要经过压缩才能在有限的带宽资源下传输到地面,因此提高图像压缩的性能和效率也是迫切需要解决
学位
遥感技术的突飞猛进让如今的国家更加安全、社会更加文明、生活更加便利;从军事领域、土地规划到城市交通、天气灾害预警,遥感技术可谓是渗透到方方面面,人类社会已经高度文明,遥感技术更是充当了“千里眼”的角色。但是在遥感数据的使用上,还是有一些待解决的问题,云就其中最重要的影响之一,它给人类的“千里眼”带上了眼罩,使得遥感图像不能以全貌展示价值。根据测定,地球的表面常年有超过一半的地区被云所笼罩,而这些云
学位