论文部分内容阅读
在过去的许多年里,人们在图像分类(Image categorization)领域已经取得了巨大进步,尤其是基于卷积神经网络(Convolutional neural network,CNN)的图像分类算法,在现有的图像分类任务上取得了最好的性能。然而,现有的基于卷积神经网络的图像识别算法都基于两个假设:第一个假设是存在着一个大规模的(large-scale)的图像训练集用于训练整个卷积神经网络;第二个假设是来自测试集的图像样本和训练集的图像样本都是独立同分布的(Independent and identically distributed,i.i.d.)。然而,在现实生活的一些应用中,并不存在一个大规模的训练集。换句话说,人们不得不利用少量的样本来训练一个卷积神经网络。这类问题被称为数据有效学习(data efficient learning)问题。本文关注的问题是图像分类中的数据有效学习问题,亦即,在样本不充分的情况下的,我们训练一个卷积神经网络以执行图像分类任务。为了解决这问题,一种直觉就是利用增加样本个数的方法,进而解决样本不充分的问题。为此,这篇论文创新性地提出了隐变量增强(Latent variable augmentation)算法,即通过隐变量增强算法,间接地增加训练样本的个数,进而提升在样本不充分下的图像分类精度。本文首先提出了两种基于隐变量增广的图像识别数据有效学习算法。第一个方法称为基于生成对抗网络的隐变量增强算法(latent variable augmentation method based on generative adversarial networks,Lavagan)。第二个方法称为基于变分自编码的分类算法(classification method based on variational auto-encoders,Cevae)。这些算法主要包含了两个任务:一个是基于自适应隐变量分布的隐变量增强任务。通过这个任务,一方面,我们可以得到多个可靠的隐变量分布;另一方面,基于这些隐变量分布人们可以增加样本的个数,并以此提高模型的泛化能力;另外一个任务是将增强的隐变量应用于分类任务中。接着我们考虑了上述的两个任务,进而为上述两种算法分别提出了一个统一的目标方程,以使得上述的两个任务相互协作。再而,为了求解模型的参数,本文分别提出了一个交替双玩家最小化博弈优化算法(Alternative two-player minimization game optimization method)以及变分随机梯度下降(Variational statistical gradient decent,VSGD)来最小化上述目标方程,最终求出模型的参数。进一步地,为了证明算法的有效性,这篇论文分别使用了霍夫丁不等式(Hoeffding’s Inequality)和切尔诺夫界定方法(Chernoff Bounding method),分析了算法的经验误差上界。最后,我们在现有的图像数据集上实施了本文提出的算法,并且与现有的算法进行比较。实验发现本文提出的Lavagan算法和Cevae算法在数据有效学习问题设定下能对数据作出预测,这表明了算法的可行性。此外,与现有的算法实验结果进行比较,本文提出的Lavagan算法和Cevae算法输出了更好的性能,这验证了 Lavagan算法和Cevae算法在面对数据有效学习问题时是有效的。本文的主要工作可以总结成如下四点:(1)我们创新性地提出了两种不同的隐变量增强算法,分别是Lavagan算法以及Cevae算法,以解决图像分类数据有效学习问题。通过隐变量增强,人们可以提高在样本不充分情况下卷积神经网络的泛化能力。并且据我们所知,本文是第一个提出通过隐变量增强思想以提高在图像分类数据有效学习这个问题下的分类器性能。(2)在本文提出的Lavagan算法以及Cevae算法中,我们分别为其提出了一个统一的目标模型。这个模型主要关注了两个任务。第一个任务是,模型从一系列自适应并且受约束的隐变量分布中采样出大量的隐变量。第二个任务是,模型将上述采样得到的隐变量用于训练一个图像分类器。为了优化上述目标模型,本文分别利用了交替双玩家最小化博弈优化算法以及VSGD算法,通过最小化上述目标模型,进而得到算法的参数。(3)为了从理论层面上验证本文提出的隐变量增强算法面对数据有效学习问题时是可行的且有效的,我们使用了霍夫丁不等式和切尔诺夫界定方法,分析了本文提出的基于隐变量增强的图像分类算法的经验误差上界,以及传统卷积神经网络的经验误差上界。通过对比人们可以发现,本文提出的算法的经验误差上界小于传统的卷积神经网络的经验误差上界。这表明,本文提出的算法是具有可行性以及有效性的。(4)为了从实际应用中验证本文提出的隐变量增强算法面对数据有效学习问题时是可行的且有效的,我们在现有公开的图像数据集上实施了本文提出的Lavagan算法以及Cevae算法,并且将结果与现有的针对样本不充分的图像分类算法的实验结果进行比较并且对结果进行分析。经过比较,人们可以发现对比其他算法,本文提出的算法取得了更好的分类性能,并且本文提出的隐变量增强算法具有可行性。