论文部分内容阅读
近年来,面向开放和动态环境的学习范式逐渐受到来自各个领域的关注,类别增量学习(Class Incremental Learning,C-IL)是其中一类重要的研究方向。在类别增量学习中,测试集中会出现训练集中从未出现过的类别的数据,因此要求模型不仅能够正确分类已有类别的示例,而且能够自动发现新增类别。该问题被形式化定义为增量类学习(Learning with Augmented Class,LAC)问题。近年来,增量类学习问题引起越来越多的关注,一些专门算法被提出并取得不错的表现。但由于研究仍处于初期阶段,增量类学习中仍有很多问题未被很好地研究,包括:(1)未知类别监督信息的缺失;(2)已知类间类别分布的不平衡性广泛存在于增量类学习的真实世界的应用中;(3)未知类别数据分布分散将会加大增量类学习的难度。为了克服上述三个难点,本文基于LACU框架展开研究,成果包含以下两个部分:增量类学习的本质困难是缺乏未知类别的监督信息,而且已知类类别分布的不平衡性会进一步增加增量类学习的难度。本文提出一种基于标记置信度传播的算法LCP(Label Confidence Propagation)来解决不平衡增量类学习问题。LCP通过预估未标记数据的类别标记来扩大标记训练集,一方面获取了部分未知类别的估计样本,从而解决了训练过程中缺失未知类别监督信息的挑战;另一方面获取了更多已知类别的样本来表征类别概念,从而降低了类别不平衡带来的损害。实验结果表明了LCP算法的有效性,及对高不平衡比例和高开放程度的鲁棒性,且越多的未标记数据越能发挥LCP算法的优势。当把多个未知类别视为同一个新类时,该类别实际包含多个子类概念,其在特征空间的分布会十分分散,这将导致学习任务变得困难。本文针对这一挑战提出了一种基于特征选择的LACU-FS(Learning with Augmented Class with Unlabeled data via Feature Selection)算法。LACU-FS旨在构建一个使所有未知类别尽可能地聚集在一起且不破坏各个已知类别可分性的特征子空间,从而降低模型识别未知类别的难度。LACU-FS通过预估未标记数据的类别标记来获取未知类别的估计样本,然后对标记空间中的任意两类组合分别利用随机森林算法选择出最有利于其分类的特征集合,合并得到的特征集合即可获得所需特征子空间。实验结果表明了LACU-FS算法的有效性,且数据越复杂越能发挥LACU-FS算法的优势。论文第一章介绍增量类学习的研究背景、有待解决的问题和本文的研究内容,第二章介绍基于标记置信度传播的LCP算法,第三章介绍基于特征选择的LACU-FS算法,第四章对本文工作进行总结与展望。