基于深度网络的少样本学习算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:mileyChina
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着人工智能的兴起,越来越多人开始关注深度网络。通常,需要使用大量的数据样本对深度网络模型进行训练,才能得到较好的分类效果,但是很多应用场景中都无法获取足够的样本数量。为了解决样本数量匮乏的问题,专家学者们提出了少样本学习的概念。图像分类中的少样本学习的目标是在每类标记样本较少的情况下,对未标记图像进行正确的分类。目前基于度量的少样本学习算法在图像分类任务上已经获得很优异的性能。这类算法首先获得样本在特征空间上的特征向量,通过已知样本的特征向量计算该类的类原型,未知样本的类别根据该样本特征向量与各原型的距离来确定。计算原型的传统方法是平均每个类中标记样本的特征向量,而这样的计算方式可能会导致计算出的类原型受到个别样本的影响而产生巨大的偏差。针对该问题,本文借助注意力网络的思想,提出了一种更加合理的原型计算方法,来获得更加鲁棒的类原型。在网络的训练过程中,传统的方法只考虑训练样本中查询集样本的分类损失而未考虑支撑集样本的分类损失。但是当支撑集的样本较为分散并且部分类别较为相似时,网络可能就无法对支撑集样本进行适当分类,进而影响了网络在查询集的效果。针对该问题,本文提出在总体损失中加入支撑集的分类损失,以此最小化同一个类别内样本特征向量的距离、最大化不同类别样本特征向量的距离。此外该损失间接增加模型训练过程中的数据量,在支撑集的基础上对网络进行适当微调。传统的少样本学习方法将在辅助数据集上训练好的模型直接应用到少样本学习的目标任务上,但是由于辅助数据集的样本类别和少样本学习的目标任务中的样本类别不相交,辅助数据集和少样本学习的目标任务数据集样本特征分布存在差异,进而降低了训练出的模型在少样本学习的目标任务上的性能。针对该问题,本文借助域适应的思想,在网络中加入一个域判别器,来寻找两个数据域中共同的特征,学习一个能够同时表现两个数据域特征的空间,进而提高网络在少样本学习的目标任务数据集上的分类性能。本文在Omniglot、mini Image Net以及两个细粒度分类数据集上执行少样本图像分类任务。实验结果表明,本文提出的原型计算方法和支撑集分类损失对于提高少样本学习算法的分类性能很有帮助。同时实验结果也表明,在网络中加入一个判别器能够有效对网络进行微调,训练出更加适应于目标任务的网络模型。
其他文献
短临强降雨,一般指短时间内降雨强度高的一种强对流天气现象,主要发生在每年的汛期。短临强降雨往往伴有强风,冰雹和雷暴等极端气候现象,容易引起山洪、泥石流、城市洪涝等自然灾害。提高短临强降雨的预测准确度是气象研究人员的重点研究目标之一,但由于短临强降雨的高突发性,气象数据的高维非线性导致传统预测方法效果不佳。而且传统预测方法往往只采用了单方面的气象数据,模型抗干扰性不强,非常依赖于数据的准确性。针对以
学位
文本检测与识别是计算机视觉、模式识别与人工智能领域的热点研究方向。传统的光学字符识别方法对存在变形、噪声、不同结构布局和复杂背景等复杂场景下的文本检测与识别任务表现较差。随着深度学习技术的发展,基于深度学习的文本检测与识别算法在复杂场景下取得了较好效果。然而,相较于英文字符,中文中仅常见字符就多达数千个类别,这使得数据集构建困难;其次,不同于英文文本通常词内字符间距小,词间距大,中文文本字符间距可
学位
深度网络在各种任务上都显示出了强大的力量,被认为是一种潜在的实现通用人工智能的机器学习架构。然而,深度网络学习的典型模式是:给出一组固定的训练数据集,网络通过学习获得任务相关知识,当学习任务完成后,网络就会直接应用到具体的任务中,而不需要再学习新的知识。这种学习模式所建立的模型是静态的,难以适应不断变化的现实任务需求。深度网络迫切需要一种增量学习方法,能够促使模型从连续呈现的数据流中动态地学习新知
学位
论辩挖掘旨在从非结构化的文本中识别论点并对其关系进行分类,是自然语言处理领域的热点研究课题之一。近年来,随着深度学习的不断发展,论辩挖掘领域的相关研究已取得不错的进展,但仍存在诸多挑战:现有工作未充分考虑标注数据稀缺,缺乏对文本结构信息的有效利用,导致了模型难以识别长论点部件;以往方法在进行序列标注时尚不能很好地刻画标签间的长依赖关系;当前的研究在获取文本表示信息时,未能充分利用文本的词汇特征,导
学位
如今,推荐系统已经演变成为能帮助用户做出合理决策的工具。为了给用户提供更有效的推荐,大量的推荐模型已经被提出。在这些模型中,基于内容的推荐模型和基于协同过滤的推荐模型都只注重长期、静态的用户偏好而忽视短期、动态偏好。为了解决上述问题,越来越多的研究开始集中在基于会话的推荐模型。传统的会话推荐算法使用马尔可夫决策过程对会话数据进行建模,但是马尔可夫链无法刻画用户的长期偏好。基于RNN的会话推荐算法能
学位
复杂经济系统理论以动态的、复杂的观点来研究社会经济系统,是一种更全面的、建立在非均衡基础上的经济理论。目前对于复杂经济系统的研究主要是通过仿真的方式进行。但是在传统仿真技术中,系统内经济主体行为是基于给定规则,这就难于解释经济系统中反馈与涌现等现象,因此对复杂经济系统研究的支撑不够。对此,本课题设计了一个多主体的经济系统仿真模型,同时引入深度强化神经网络对系统中的经济主体的行为进行控制。针对经济系
学位
数字微流体生物芯片(Digital Microfluidic Biochip,DMFB)由于其低成本,便携性和高效率等优点,在医疗保健行业中发挥着重要作用。研究学者发现人们对于其安全问题的重视程度远远不及其在市场上的发展程度,其实它与同类芯片产品一样,易受硬件木马等攻击威胁。研究人员已将其遇到的安全问题分为三类:硬件木马、盗版问题、伪造品问题。本文主要通过研究传统芯片安全检测技术,结合生物芯片的特
学位
多目标跟踪(MOT)其主要任务是给定一个图像序列,找到图像序列中运动的物体,并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。多目标跟踪在智能安防和智能驾驶方向有着重要的应用和需求。许多研究认为简单场景中的多目标跟踪已经取得了较好的效果,但在拥挤场景中,考虑目标运动的复杂性和存在遮挡等问题,多目标跟踪仍然是一个非常具有挑战性的问题。本文主要针对多目标跟踪中的身份交换(
学位
随着多媒体技术和计算机视觉的不断发展,立体图像的视觉效果使其得到广泛关注。相较于二维图像的平面感,立体图像带给人们的是更加真实和自然的视觉体验。由于图像采集过程受各种因素影响,不同视点下拍摄的相同物体的亮度和色度可能发生变化,导致立体图像左右视图之间产生颜色或亮度差异,这种差异会影响深度信息重建,进而使观众感到视觉疲劳。为了解决现有颜色校正方法中校正效果与时间效率不平衡问题,本文主要研究基于卷积神
学位
人群计数是指对人群图片中的人数进行估计,人群定位是指对人群图片中每一个人在图片中的位置进行精确定位。近些年,基于密度图和深度学习的人群计数发展迅速,成为当前人群行为研究的主要研究方向之一。但目前大部分研究侧重于对网络结构进行改进,缺少对密度图生成方法的研究。对此,本文提出了一种新的密度图生成方法,可以生成质量较好的密度图,使一个轻量的人群计数框架在不同拥挤程度的人群场景中达到领先的人群计数性能;且
学位