基于图卷积和多样注意的多标签图像分类研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:liongliong493
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生活的各个方面都离不开图像,而图像分类作为各种以图像为基础的任务中最关键的技术之一,一直都是计算机视觉任务中研究的热点,在生物医学、无人驾驶、航天等领域具有广泛的应用前景。多标签图像分类相比于传统的图像分类任务来说具有类标签数量不确定,标签之间相互作用以及场景复杂的挑战,因此如何解决这些问题成为多标签图像分类研究的突破点。本文首先对目前多标签图像分类的研究现状以及存在的挑战与问题进行了阐述,并对其应用领域进行了简单的介绍;其次对多标签图像分类、图卷积网络、多样性特征学习方法进行了介绍和描述。本文以挖掘标签之间的潜在高阶相关性为研究点,提出弹性网超图诱导图卷积的多标签图像分类方法,来学习标签之间高阶相关性;针对复杂环境下的分类需求,本文考虑学习局部区域的多样性特征,提出基于超图卷积和多样显著注意的多标签图像分类方法,提高方法对于复杂环境的泛化能力。最后,基于以上方法,设计实现了多标签图像分类的原型系统。本文的主要研究内容如下:(1)考虑到多标签图像中物体存在复杂的关联性,一个对象的出现与其他对象有着内在的联系,而且这种关联性通常是成组的,具有高阶性,因此提出了弹性网超图诱导图卷积的多标签图像分类方法。该方法通过构建的弹性超图诱导图卷积来更有效地学习标签的高阶相关性,同时将构造的超图嵌入到图卷积中引导学习更具辨别力的多标签分类器,将该分类器与图像特征相结合实现多标签图像分类。在相关的多标签图像数据集上进行了大量实验,实验结果验证了该方法的有效性,与前沿方法进行比较,该方法能有效提升多标签图像的分类的综合性能。(2)针对多标签图像中不同类别的物体以不同的尺度和姿态被放置在不同的位置以及物体的不同组成和相互作用等复杂场景下的分类需求,提出了基于超图卷积和多样显著注意的多标签图像分类方法。为了解决图像中的物体存在空间位置、尺度大小,遮挡等因素使得全局视觉特征并不利于多标签图像的有效分类,提出了多样显著注意力学习图像局部区域特征方法,将局部特征与全局特征融合,形成图像更丰富特征。同时通过构建的多标签超图卷积更好地表达标签之间的高阶关联关系,生成多标签分类器,用融合的图像特征与分类器结合进行多标签图像分类。在分类阶段,加入局部损失,使之能学习到更具有多标签图像表征能力的特征。在相关的多标签图像数据集以及场景解析数据集上进行了实验,实验结果表明,该方法能够进一步提升多标签图像分类的综合性能。(3)采用Python语言、Matlab GUI和深度学习框架并利用所提出的方法,设计实现了多标签图像分类的原型系统,该系统集成图像预处理、超图构建、模型训练、多标签分类四个功能。原型系统的界面简单易操作,能够给用户带来良好的体验感,功能满足多标签分类需求,表明了研究方法的可用性。
其他文献
当今时代,数据中蕴含的信息价值巨大。数据共享可以打破信息壁垒,更进一步发挥数据的价值。跨群组的数据共享可以实现不同群体、不同组织之间的数据交流与交换,实现互利共赢。现有方案主要依赖云存储等第三方存储服务提供的低成本和高效的数据托管,实现海量、跨地域的数据共享。但是,这种跨信任域的数据共享方式也存在着严重的隐私问题亟待解决。本文分析了现有研究的隐私保护技术以及面向群组数据共享的隐私保护方案存在的优势
学位
受益于纳米通信技术的快速发展,基于扩散的分子通信系统(Molecular Communication via Diffusion,MCv D)近年来受到了极大的关注。基于生物启发的MCv D是一种以生物化学分子为载体,根据分子扩散特性以实现多纳米机之间信息共享的通信技术。相比于传统无线通信,MCv D具有能耗低、易实现和生物兼容性高的优势,成为组建纳米通信网络的首要选择。本文所述MCv D系统主要
学位
随着医疗领域信息化的普及,个人医疗数据电子化已经成为当下医疗信息管理领域的发展趋势。一方面,传统医疗机构中心化的存储方式会导致个人医疗数据的使用权无法真正地掌控在用户手中,而且个人医疗数据容易被篡改,用户无法验证它的真实性。另一方面,医疗机构之间难以实现个人医疗数据共享,不利于用户在其它医疗机构就诊。因此,如何使用户掌握自己的医疗数据,并在医疗机构之间安全可信地分享医疗信息成为当前医疗领域的研究热
学位
与《义务教育语文课程标准(2011年版)》相比,《义务教育语文课程标准(2022年版)》的“教材编写建议”有多处修改,而且每一条都有新增内容。这些变化的政策背景和理论依据主要表现在五个方面:教材建设是国家事权,基于课程标准编写教材,教材编写要促进学生学习,语文教材编写要有利于整本书阅读,教材编写要适应互联网时代。本文针对“教材编写建议”的实施,择要提出四条建议:坚持正确政治导向,全面落实课程标准,
期刊
随着物联网技术(Internet of things,Io T)的发展,纳米物联网(Internet of Nano-Things,Io NT)应运而生。在纳米技术中,纳米机器间相互协作能够完成更为复杂的任务,将纳米技术应用到物联网可以使数据在纳米级通信组件中进行交换,但传统通信技术由于其尺寸和能耗等本身的限制很难实现纳米级通信,受自然启发的分子通信(Molecular communication
学位
硝酸盐是植物生长所必需的无机氮素,硝酸盐的吸收作为氮同化过程的源头,在调控植物生长发育和响应逆境中发挥重要作用。一氧化氮(NO)作为氮代谢产物之一,与硝酸根之间的调控作用尚不明确。水曲柳与白桦是东北地区的主要树种,在逆境中尤其是镉污染条件下,对氮素吸收同化的影响尚未研究,因此本文探索NO与镉胁迫对水曲柳和白桦硝酸根吸收同化的影响,主要研究结果如下:基于水曲柳转录组数据,鉴定了37个FmNRT家族成
学位
语文单元整体教学要在“变”与“不变”的辩证统一中求发展,既要坚持课文作为范例的功能定位,也要转换课程设计和实施的视角。任务群向度下的单元整体教学,要站在实践的立场,对课程结构、课程内容、教学方案等进行逐层转化和改造,以大概念、人文主题、基本问题等多引擎驱动大单元学习,辩证处理单元和单篇的关系。单元教学模式并非整齐划一,而是多样的,包括“项目化”“微专题”“分布处理”“多中心”等,各种模式并行不悖、
期刊
随着物联网时代的到来,计算机所需处理的数据以几何倍数增长,这意味着存储系统对读写吞吐率的要求越来越高。非易失性内存NVM(Non-Volatile Memory),因其具有低延迟与接近内存的读写速度等特性,成为解决计算机系统“存储墙”问题的重要手段。但现有的存储系统软件栈难以有效发挥NVM存储设备高性能的优势,存在I/O(Input/Output)栈过长、锁粒度大、并发程度低等问题,成为影响NVM
学位
声动力-化疗联合疗法的实施方案依赖于声动力和化疗的分别进行,又或只是递送声敏剂和化学治疗药物载体系统的简单拼接,操作繁琐、时空同步性不佳,有些递送系统制备步骤繁多、结构复杂、稳定性差,从而加大了实施难度。目前,肿瘤组织缺氧,酸性微环境以及较高水平的H2O2和还原型谷胱甘肽(Glutathione,GSH)限制了多种抗肿瘤治疗模式。因此,亟需开发一种制备方法简单、结构简洁、安全性高,具有肿瘤靶向性且
学位
表观遗传是指在DNA序列不发生改变的情况下,发生了可遗传的基因表达改变,导致表型变异的现象。而组蛋白修饰作为表观遗传的重要研究内容,影响染色质状态和随后的基因表达。PcG类蛋白的PRC2复合体以及TrxG类蛋白的COMPASS复合体作为H3K27me3和H3K4me3的修饰酶,最早在果蝇中被发现共同调控身体形成重要基因的特异性表达,维持胚胎发生过程中身体部分形态的正确发生,在细胞命运决定中起着至关
学位