基于多尺度信息的小样本图像分类方法及其应用研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:shshay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习方法在计算机视觉中取得了巨大的成功,使用深度学习模型实现灾害图像分类成为一种新的思路。然而由于自然灾害发生的不确定性和危险性,灾害图像样本难以获取,而深度学习模型的参数量一般较大,通常需要海量数据的支撑,如若只使用少量数据来训练模型,模型往往会过拟合,性能差强人意。因此如何使用少量样本训练出能够进行实际应用的模型,即小样本学习,已经成为一个需要迫切研究的课题。度量学习是小样本学习领域中的主要研究方向之一,但目前基于度量学习的算法例如原型网络和关系网络存在以下两点不足:其一,算法在度量阶段仅使用余弦相似度或3×3卷积等单尺度的比较方式来计算样本间的相似度,当图像中物体大小差异过大时,模型的准确率会有所下降;其二,现存的对图像中物体进行分类的度量学习算法,难以解决对图像中物体所处灾害状态进行分类的灾害图像分类问题。针对第一点不足,本文深入研究了适用于不同尺寸物体进行比较的度量学习算法,提出了针对通用物体图像分类的基于多尺度比较的小样本物体图像分类模型;在此基础上,针对第二点不足,在小样本灾害图像分类的具体应用场景中,提出了针对实际应用的基于多尺度比较和注意力机制的小样本灾害图像分类模型。本文的具体工作如下:1、针对图像中物体尺寸差距过大的问题,通过系统地探索多尺度信息对模型效果的影响,本文提出了基于多尺度比较的小样本物体图像分类模型,简称多尺度比较网络。多尺度比较网络首先使用四层编码器对支持样本和测试样本进行编码以获得其特征图,然后对这些特征图进行深度拼接,最后将特征图送入由两个多尺度比较模块和两个全连接层所组成的比较器进行比较,得出支持样本和测试样本之间的相似性,进而得出测试样本所属类别。此外,本文探究了多尺度信息,包括多尺度特征提取、多尺度特征比较、不同尺度的选择、尺度的数量以及多尺度所带来的参数量提升对分类准确率的影响。在两个基准数据集——Omniglot和Mini-Imagenet上的实验结果验证了多尺度比较网络的有效性,并且与关系网络相比,多尺度比较网络在Mini-Imagenet数据集上所有实验的各项指标中均有约2%的准确率提升。最后本文结合实际应用自建了小样本灾害图像数据集,并在其上进行了实验,能够有效处理同一灾害下不同尺寸物体的多尺度比较网络仍有不错的表现。2、针对现存小样本图像分类算法更加关注图像中具体物体所属类别,与灾害图像分类更注重图像中所发生灾害、与其中物体类别无关,两者目标不相符的问题,本文在针对通用小样本图像分类的多尺度比较网络的启发下对比较尺度的选择与设计进行了改进,提出了一个基于多尺度比较和注意力机制的小样本灾害图像分类模型。模型首先使用具有残差结构能够防止网络退化的特征提取网络对支持集和测试集图像进行特征提取,然后将两者特征进行深度拼接,送入能够削弱无关物体信息的注意力机制网络中得到特征所对应的注意力权重,接着将注意力权重与特征在平面空间维度按元素相乘后得到优化后的特征,最后将特征送入更加注重物体状态、偏像素级比较的灾害比较网络中得出两张图像的相似度,进而得出灾害所属类别。本文在自建的小样本灾害图像数据集上进行了实验,验证了小样本灾害图像分类模型的优越性,与关系网络和多尺度比较网络相比,小样本灾害图像分类模型有明显的准确率提升。最后本文进行了尺度数量选择实验和消融实验,进一步探究了各个模块在小样本灾害图像分类模型中所起的作用。
其他文献
目的:分析比较猩红热与非猩红热患儿临床特征差异,以提高儿科医生从疑似病例中识别猩红热患者、排除非猩红热患者的能力。方法:选择2017年1月至2019年12月在首都儿科研究所附属儿童医院感染科就诊的以猩红热样皮疹为主要临床表现、临床诊断不除外猩红热的患儿作为研究对象,收集其病历资料,根据GAS病原学结果分为病例组(793例)和对照组(793例),回顾性分析患儿的临床特征。应用SPSS23.0统计软件
领域自适应是迁移学习的一个重要分支,其目标是将从有标签源域数据中学习到的知识迁移到分布不同且缺少标签的目标域中,来帮助目标域完成学习任务。目前,大多数方法只是针对单个源域,并且假设源域和目标域的特征空间同构,需要在特定场景下才能来确保其有效性。然而,实际应用中,可用的源域可能不止一个,而且不同领域的特征空间也可能异构。因而,跨多个异构的领域迁移知识值得深入研究。本文旨在研究面向多源异构数据的领域自
在现实世界中,存在大量的网络结构的数据。网络结构会带有若干属性,通常包括节点的信息、边的信息以及网络全局的信息等等。其中,节点的信息会用来描述节点的特征以及状态,例如在一个社交网络中,用户节点的信息就包括用户的身份信息、兴趣爱好等等,而边的信息会用来描述两个节点之间的关系,例如两个用户之间的亲密程度或者用户和商品之间的吸引度,这些信息分别是网络节点的属性以及边的属性,总的称为网络属性。通过研究和掌
当今社会,由于煤油等不可再生资源的消耗,以及温室气体的影响,必须要有一种新型清洁能源来代替这些不可再生资源,用太阳光来驱动半导体的光催化制氢技术自然受到了广泛的关注。目前光催化制氢领域研究中,常用的半导体材料有数百种。但是其光生电子-空穴复合率都比较高,影响其光催化活性。利用助催化剂来修饰半导体,不仅可以有效提升电子-空穴分离速率,还可以作为反应活性位点,从而改善单一传统半导体的光催化效率。本文采
在供应链管理中,针对产品制定合适的定价决策是至关重要的一环,它会直接影响到各企业的运作效率和最优利润,而产品的定价决策问题会同时受到供应链权力结构、消费者环境意识与企业公平关切的外部影响。此外,在我国的重要工业部门中,水泥因其环境负荷大与能源依赖程度高的特点,已经成为推动绿色经济的焦点行业。鉴于此,本文以水泥行业为例,研究不同权力结构的供应链中,考虑消费者环境意识与企业双公平关切的供应链定价决策问
近几年,我国越来越强调“绿水青山就是金山银山”的发展理念。去年九月,在联合国大会上,我国宣布了“碳达峰、碳中和”的减排目标,并于今年两会首次将这一目标写入了政府工作报告。在这样的时代背景下,我们迫切需要开发一种制造高效、清洁能源的技术,光催化分解水制氢技术是极有潜力的一种。不幸的是,还存在一些“瓶颈”极大的限制了光催化分解水制氢的实际应用。例如:光生电荷的高速复合猝灭、对太阳光的吸收范围不足(主要
本研究以社会建构论心理学和语言学为理论基础,设计出了一套主要针对来华工作的外国人的一对一汉语口语在线教学课程,借助网络学习工具,为汉语基础薄弱,但又急需使用汉语和当地人进行简单交流的学习者提供帮助。笔者通过文献研究发现当前国内外在成人汉语口语一对一教学方面的研究成果极少。而该领域是国内汉语国际教育市场的一个重要组成部分,近年来发展较迅速,对相关研究有着现实需求,因此确定了设计出一套针对相关人群的在
半导体光催化分解水制氢为缓解21世纪能源危机和环境治理提供了切实可行的新方案。二氧化钛(TiO2)作为最早被发现具备光解水制氢特性且最兼具市场商业化开发的光催化材料,一直备受科学家的青睐。在众多应用中,光催化应用是TiO2材料研究最为深入和投入最高的领域,这源自TiO2材料本身的特性以及可优化的空间。TiO2的宽禁带导致光生载流子快速复合及紫外光响应是TiO2本身最为“致命”的两大缺陷,研究发现光
情感时间序列由归属于各个时间片的文本集合的累积情感值依时间顺序连接而成,是一种能够将文本数据形式化为时间序列的有效工具。面向异常检测的情感时间序列研究主要基于情感时间序列应用异常检测方法,分析由文本集合生成的情感时间序列中的变化模式,挖掘能够引起用户情感变化的异常事件。目前情感时间序列异常检测研究大都存在以下问题:一方面,生成的情感时间序列不够准确,无法真实反映用户的实际情感变化;另一方面,基于情
葡萄糖脱氢酶(GDH),是一种四聚体短链脱氢酶,广泛应用于临床血糖检测,生物燃料电池以及辅因子再生等。由于游离GDH易失活、难与反应液或产物分离、回收和再利用,故将其进行纯化和固定化的策略可以有效降低成本,增强酶的稳定性,实现快速分离和重复利用。本文制备了两种含Ni2+磁性纳米颗粒,并用于组氨酸标签重组GDH的一步纯化和固定化。第二章采用水热法制备了镍铁氧体(NiFe2O4)磁性纳米颗粒并用于选择