基于无监督迁移学习的图像识别技术研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:lyaa1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域的图像识别问题上,计算机的识别正确率已经远远超过人类。然而,许多机器学习的算法需要建立在一个严格的假设上:训练数据和测试数据必须属于相同的特征空间并且拥有相同的分布,即存在独立同分布的假设。一旦分布改变,大部分统计方法需要重新进行训练并且需要重新收集新的数据。在许多实际的应用场景中,重新收集数据会耗费大量的人力物力,一旦环境再次改变,新收集的数据将变得再次不可使用。在一些数据很难被获取的任务中,这样的做法更是不现实的。所以,在这种情况下,研究在两个域之间进行知识的迁移的技术变得迫在眉睫。迁移学习就是用来解决这一问题的,其旨在利用已有的数据或者模型,帮助感兴趣的数据或者模型的学习,在已有的源域中提取有用的“知识”并迁移到感兴趣的目标域当中。在图像识别领域,迁移学习往往可以被称作域适应(Domain Adaptation,DA)问题。DA问题假设源域和目标域具有相同的任务,但是两个域的分布是不一样的。DA问题可以分为有监督和无监督的,有监督的域适应问题表示目标域有一部分有标签的数据,而无监督域适应问题表示目标域没有任何标签信息。本文主要关注于无监督的情况,因为这种情况更接近于实际情况。现有的无监督域适应算法往往是单步骤的,其往往只能得到局部最优解,无法继续挖掘模型解的最优点。针对此,本文首先提出了一种两步骤的渐进训练策略,同时通过三个引导项来学习到一个不变的、具有判别性的域不可知的子空间。其次,现有的适应方法往往采取伪标签的策略,即利用源域训练得到的分类器来生成目标域的伪标签。但是却忽略了错误伪标签带来不可靠的分布对齐问题。针对此,本文提出了另一种算法来获得更可靠的分布对齐的同时建立更充分的域差异减小模型。最后,基于迁移学习的最传统的两个问题,即负迁移和欠适配问题,本文提出了一种域协同适应模型旨在缓解这两个问题。具体的,本文提出如下三种模型。
  ①引导子空间学习模型。该模型通过三个引导项学习到域间的不变、判别和域不可知的子空间,并且应用了一种两阶段的渐进式训练策略。首先,子空间引导项通过将源域子空间拉近目标域子空间来减小域间差异。其次,数据引导项利用双映射将两个域的数据映射到统一的子空间。最后,为了提高子空间的判别性,标签引导项被提出来预测源域和目标域的标签。除此之外,为了处理非线性的域偏移,非线性引导子空间学习模型被提出。该模型的贡献主要有三点。1)提出了一个由三个引导项组成的模型,并且通过一个两步骤的引导学习原理学习到目标域子空间。据笔者所知,这是通过引导学习模型进行域适应和迁移学习的第一项工作。2)将提出的方法进一步推广到再生核希尔伯特空间(Reproduced Kernel Hilbert Space,RKHS)中,并提出了非线性引导子空间学习模型。3)通过用真实标签替换伪目标标签,模型可以轻松地适应监督和半监督的设置,并且退化为“单步”方法。大量的实验表明,所提出的模型优于现有方法。
  ②利用分类器竞争的可靠域适应模型。模型提出了一种可靠的域适应方法。具体的,引入了双重任务分类器和特定于域的双重映射,以对抗的方式将容易被错误分类和不可靠的目标域样本对齐为可靠的样本。此外,同时消除了流形和类别空间中的域差异。该模型的贡献主要有三点。1)提出了可靠域适应模型来解决域间差异减少不足和分布对齐不可靠的问题。2)提出了非线性的可靠域适应模型,该方法可以轻松地扩展到核版本来处理非线性域移位。3)在许多具有挑战性的数据集上进行的广泛实验表明,该方法可以在包括浅层和深度学习方法的最新算法上达到可比的性能。
  ③域协同适应模型。过度拟合(负迁移)和欠拟合(欠适配)的困境始终是迁移学习/域适应问题的一个基本的挑战和未充分研究的问题。该模型将重新审视这个棘手的问题,并提出一个更安全的迁移学习框架,称为域协同适应模型。该框架本质上是一种双向的迁移模型。通过域之间的双边协同适应,可以大大降低负迁移和欠适配的风险。具体的,该模型提出了具有两个项的对称双边迁移损失来相互制衡。首先,每个目标样本都是由公共子空间中的源样本低秩表达的,因此可以保留信息量最大且可传递的源域数据从而避免负迁移问题。其次,每个源样本都由目标样本对称地稀疏表示,这样可以利用最可靠的目标样本来避免适应不足的问题。在各种跨域数据集中进行的实验表明,域协同适应模型框架的性能优于许多最新技术。
其他文献
证明不等式的方法有很多种,如分析法、反证法、导数法、向量法、换元法等.其中换元法是较为常用的方法之一.换元法是指将代数式或其中的某一部分用一个新元代替,使问题获解的方法.在证明不等式时,我们通过引进新的变量,可以把分散的条件联系起来、使隐含的条件显露出来、把条件与结论联系起来,从而把问题转化为简单的、熟悉的问题来求解.  由此可见,运用换元法证明不等式,关键在于合理进行换元,其一般步骤为:观察题目
期刊
一道题目主要是由条件和结论或所求目标所构成,而解答数学问题的关键就是,探索问题的已知条件与所求目标之间的联系,灵活运用所学的定理、公式、定义、性质等,从而找到正确的解题思路.  一、结合条件与所求目标,对问题进行合理转化  在解题时,我们首先要明确题目的已知条件和所求目标,然后由题目的已知条件出发,深入分析已知条件、挖掘出隐含的信息,将其与所求目标关联起来,再结合所学的定理、公式、定义、性质等,对
期刊
你知道世界各国最受欢迎的大学专业都是什么吗?《青春时光》杂志(Youth Time magazine)开展的一项全球调查得出的结果可能会让你大吃一惊。  调查结果显示,中国人最爱理工科,印度人则偏爱艺术和法律,美国人和德国人对医学和工程学情有独钟,澳大利亚是唯一一个不待见IT专业的国家。除了俄罗斯外,商务管理专业在世界各国都很吃香。  一起来看看这些专业选择潮流的背后原因。  China:7 ou
期刊
2021年普通高等學校招生全国统一考试(浙江卷)数学试题
期刊
论文提出了一种基于互质原理的阵列结构NOCA,NOCA可以获得更高的可达自由度和更弱的耦合。在原始互质阵列的基础上,NOCA采用一般化的平移策略,其阵元位置和可达自由度均可以用闭式表达式描述。特别的,NOCA采用简单的LN个单位的平移,其可达自由度为2(LN+MN+M-1)+1,当L=?+12」时,可达自由度取最大值。此外,当阵列再额外移动M个单位时,自由度可以再增加2M,即达到2(LN+MN+M-1)+1。另一方面,自由度的增加意味着虚拟阵元的分布区间更加宽广,因此,共用一个差分下标值得虚拟阵元数将变少
长期的照片个体识别可以让我们对动物种群的人口统计数据、生活史、运动方式和社会结构有更深入细微的了解。中华白海豚在其成长过程中有着独特多样的颜色和斑点,是照片个体识别的理想物种。并且与其他鲸豚类动物相比,中华白海豚在地理上的可及性、生物学特性、生态功能以及文化地位,使得它具有更高的研究和社会关注度。为了提高对中华白海豚这一濒危海洋动物的保育研究的效益,一方面,我们需要提高中华白海豚照片个体识别的效率,让海洋生态学家有更多时间进行户外研究,另一方面,我们需要实现数据处理的标准化,促进不同团队间的合作。
分类讨论法是指根据题目的特点和要求将问题分成若干类,转化成若干个小问题来求解的方法.分类讨论法在解题中发挥着很大的作用,尤其是在解答一些结论不唯一、需考虑方面较多的含参函数问题时,运用分类讨论法能达到化难为易、化繁为简的效果.而在解答含参函数问题时,我们常常要对二次项的系数、零点的个数进行分类讨论,下面举例说明.  一、分类讨论“二次项的系数”  当二次函数中的二次项系数是未知参数时,我们需对二次
期刊
窄带物联网(narrow-band Internet of things,NB-IoT)是3GPP提出的一种大规模低功耗广域(low power wide area,LPWA)技术,主要用于以数据采集和传感为目标的应用场景,适用于智能电表、智慧农业、智慧物流等领域。为了提供无线通信服务,NB-IoT系统的小区基站必须要能与终端成功建立连接。实现小区基站与终端成功建立连接面临以下挑战:一是小区覆盖范围广,分散部署的大量终端受地形地物分布影响大;二是具有不同功能的异构终端共存会形成相互干扰;三是小区基站与终端
(作者單位:安徽省淮南市寿县第一中学)
期刊
伴随着信息时代的到来,人们对于高速率的信息传输需求与日俱增,现今提高信息传输速率的方法主要有改善频谱利用率和加大信号的传输带宽等。
  功率放大器作为通信系统中重要的组成部分,由于其固有的非线性特性,输入和输出信号之间并不是严格的线性关系。当输入信号具有较大的传输带宽或高峰值平均功率比时,这种非线性失真行为所带来的影响尤为明显,导致系统的通信能力下降,严重影响用户的通信体验。因此,关于功率放大器线性化技术的研究是一项重要的且具有实际应用价值的通信课题。数字预失真法作为功率放大器线性化技术中的研究方向