基于图神经网络的多标签图像分类研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:youjia88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着图像大数据的兴起,图像中存在的语义信息也越加复杂。单标签分类已不能准确表述图像内容,因此多标签分类开始受到越来越多的关注,且成功应用于图像搜索系统、医疗诊断等领域。为进一步提高多标签模型性能,本文提出基于图注意力表示和基于自适应图模块的两种多标签图像分类方法,主要贡献如下:(1)针对现有的多标签方法只能粗略定位目标语义区域,且无法充分挖掘语义区域之间存在的标签相关性的问题,本文提出了基于图注意力表示的多标签图像分类方法。该方法分为图像特征提取的语义定位模块和标签相关性建模的语义关联模块。语义定位模块利用视觉注意力机制和多模态技术,精确定位图像语义目标,并汇聚目标区域的语义信息,准确获得每个标签类的特征表示。语义关联模块采用图结构方式存储所获语义特征表示,并利用多头图注意力网络捕捉它们之间动态的标签依赖关系,从而提高模型分类效果。最后,本方法在Pascal VOC2007和Mir Flickr25k两个数据集上进行各种基准实验,其m AP分别达到93.5%和84.2%的最优结果,证明了该方法的有效性。(2)现有的基于图神经网络的多标签相关性建模仅仅利用标签共现信息来构造一个共享相关矩阵,忽视了每张图像独有的标签依赖关系,因此本文提出了基于自适应图模块的多标签图像分类方法。通过自适应图模块来对标签相关性建模,利用图像特征和标签词嵌入特征为每张图像动态生成一个特定的强关联矩阵,并引入语义关联模块进一步挖掘标签间具体依赖程度。同时设计标签注意模块,重点突出与标签类别相关联的图像区域,从而准确获取语义特征表示。最后在Pascal VOC2007、Mir Flickr25k和Microsoft COCO三个不同数据集中进行实验,其m AP分别达到93.8%、84.7%和83.9%的最好效果,证明了该方法的有效性。(3)基于所提算法模型实现了一套多标签图像搜索系统。该系统主要实现了以图搜图和以文本搜图两个功能,使得用户能够更加快捷且准确地获取到自己感兴趣的图像。
其他文献
实际生活与科学研究中存在许多的多目标优化问题,由于多目标优化问题不能得到满足所有目标最优的解集,只能找到折中的解集,一次运用能得到多个解的进化多目标优化算法能较好的解决多目标优化问题。根据对一些进化多目标优化算法的研究,本文选择了其中具有代表性的基于分解的多目标优化算法(MOEA/D)作为研究内容。本文对MOEA/D算法进行了研究,该算法在解决拥有复杂帕累托前沿的问题时效果较差,因此本文根据该算法
学位
当今,城市中智能交通系统已经得到广泛的应用,能够为各种智能交通应用提供交通感知数据。然而,智能交通系统的交通感知数据会因为各种因素发生缺失,这会严重阻碍智能交通系统发挥应有的功能。此外,当前分布式的智能交通系统日益普及,然而部署运行智能交通系统产生的成本和费用却十分高昂。因此,本文基于国外政府的公开数据集,深入研究了交通感知数据的精确补全和智能交通系统部署通信成本联合优化两大方面的内容,研究成果如
学位
5G通信商业化进程刺激网络边缘产生了大量异构的时延敏感型、计算密集型应用或业务,多接入边缘计算(Multi-Access Edge Computing,MEC)因其将计算资源下沉至用户侧并允许边缘用户将复杂的计算任务卸载至边缘服务器执行,以及拥有可靠的安全和隐私保护等特性得到了广泛的关注。同时,5G通信的关键技术之一的非正交多址接入(Non-orthogonal Multiple Access,N
学位
目的 :进行儿童康复专科护士培训并分析效果。方法 :于2021年7月—9月对78名儿童康复护士进行全脱产式专科护士培训:理论学习1个月,内容涵盖专科理论、专科技能、护理科研、护理管理与人文素养4个模块;临床实践1.5个月,以14项专科操作技术为重点。培训前后,比较学员护士胜任力得分情况,分析考核成绩,学员对授课教师的满意度及实践基地的评分。结果 :78名学员均顺利结业,培训后学员的护士胜任力得分高
期刊
随着社会经济的发展,轨道已成为城市交通系统的重要组成部分之一。与私家车、出租车、公交车等相比,轨道具有准时、高速、不拥堵的特点。识别轨道通勤者并挖掘他们的通勤出行模式,对于提高服务质量、促进公共交通的使用和优化运营调度具有重要作用。在现代城市TOD(Transit Oriented Development)发展模式下,轨道成为城市生长的重要骨架,研究轨道交通对城市职住关系的影响非常重要的。然而,现
学位
在深度学习领域中,卷积神经网络已经在图像分类、人脸识别、目标检测和语音识别等各种计算机视觉及自然语言处理任务中得到广泛应用。卷积神经网络的推理结果依赖于大量的网络参数及这些参数参与的复杂计算,这会限制它们在计算能力与存储空间有限的设备上的应用。因此,针对卷积神经网络的加速对人工智能的普及应用具有重要意义。静态网络在计算时计算图与网络参数都是固定的,这可能会限制它们的表示能力、效率以及可解释性。与静
学位
随着移动互联网的高速发展和移动设备的迅速普及,人们获得信息的渠道越来越多,其中以微博、Twitter、Facebook等为首的各大社交媒体平台逐渐成为了现代社会的消息集散地,社交媒体对于人类社会中信息的传播做出了巨大贡献,但其也正逐渐成为一把“双刃剑”,由于社交媒体的匿名性和平台缺乏有效的审核管理,平台中充斥着数量巨大的虚假新闻和各类谣言,这些虚假新闻在社交媒体的特性下迅速传播和发酵,无疑对社会造
学位
设备安全稳定运行关系到经济建设发展、人民生命财产安全和社会稳定,确保设备健康运转、有效预防事故发生已经引起越来越高的重视,数据驱动的人工智能和机器学习也正在为起重机械等典型工业设备的健康状态预测中提供技术支持。有关典型工业设备监测数据的预测任务在实际应用中面临极大的挑战性,首先是设备监测数据类型的多样性,其中包括温度、应变、振动、声音、转速、电信号等,不明显特征监测类别会影响状态预测的准确度。此外
学位
近年来,随着城市化进程的发展,国家经济快速发展,城市居民的生活水平不断提升。但随着城市规模扩大,城市人口逐年增加,也给城市建设带来了许多新的问题和挑战。比如,大量的城市人口流动给城市交通系统带来了极大的压力,造成了一系列交通问题和环境问题。与此同时,随着城市的夜生活越来越丰富多彩,城市居民的夜间出行需求日益增加,但是大多城市目前尚未规划夜间的公共交通系统。城市建设,交通先行。交通是城市发展的命脉,
学位
在传统医学诊断过程中,医生需要根据CT图像等数据对病人的身体情况做出准确判断,并及时制定对应的医疗方案。然而,相关CT标注数据的人工获取方法非常耗时费力,需要医生对大量切片图像手工勾画轮廓。人工标注数据重复性低,主观性强,分割结果因人而异。随着深度学习在多个学科领域的深入融合和发展,基于深度学习的医学CT图像处理技术展现出强大的优越性。本文基于大数据集下的腹部多器官图像分割任务,提出并实现了多种精
学位