现阶段,数据资源易于获取,以集合为研究对象的分类问题已成为模式识别与计算机视觉中的一个研究热点。相比于传统的基于单幅图像的分类任务而言,图像集包含了丰富多样的图像信息,包括不同姿态、不同光照条件、多表情、遮挡等,充分利用这些信息更加有利于分类。目前,图像集分类任务存在很多难点,考虑到数据集内部结构的复杂性,利用单一视图建模无法有效地反映集合信息;考虑到数据间统计分布相关性较弱时,基于参数统计学习的方法将导致性能下降;考虑到图像集数据位于高维空间,存在冗余特征,实现有效的特征提取对于提升模型分类性能至关重要。本文从图像集协同表示、流形学习、半监督学习、线性回归重构等多种角度开展研究,主要工作如下:（1）提出一种新的基于协同表示的多核降维方法。针对基于协同表示的凸包/仿射包建模方法无法有效地实现特征提取,本文借鉴多核降维思想,将学习最优核函数和鉴别投影融合在统一框架中。该方法能够从多种基核函数中自动学习到一个最优核函数,避免了复杂的核函数参数调整问题,同时通过最小化图像集凸包的类内残差同时最大化图像集凸包的类间残差,学习到一个正交投影矩阵,将原始图像集数据降维到具有更强鉴别特性的低维子空间中。鉴于以上特征提取准则与协同表示分类机制一致,学习到的协同表示系数对于不同类别对象具有良好的鉴别特性。实验结果验证了所提出的方法能够获得较好的分类性能;（2）提出一种新的基于数据依赖核的半监督学习方法。当训练集和测试集数据之间统计相关性较弱时,传统的基于参数统计分布建模的方法无法取得较优的分类性能。本文首先利用高斯混合模型将每个图像集数据表示成多个高斯组件,并采用半监督学习思想,同时利用了有标签的训练样本和无标签的测试样本,基于流形距离构建了可以反映图像集数据潜在特性的图结构,并推到出两种具有数据依赖特性的概率核函数。所设计的核函数能够挖掘数据之间潜在的联系信息。最后采用核化的模糊鉴别分析方法增强类内高斯组件的紧致性,同时最大化类间高斯组件的间隔。通过多组实验验证了所提出模型的有效性;（3）提出一种基于双阶统计量的联合降维和度量学习方法。首先利用两种统计量（均值和方差）表征图像集数据的欧氏特性和非线性流形特性,并引入三种距离度量方式实现跨域的多视图融合,该策略能够挖掘图像集不同表示视图间的补偿信息。通过优化学习度量矩阵和投影变换矩阵构建联合的降维和度量学习框架,从而不同的数据表示形式可以映射到统一的度量学习空间中,使得同类数据更紧密,不同类数据更加分散。通过大量实验表明本方法相比于其他图像集分类方法,优势更明显;（4）提出一种新的基于鉴别分析框架的双线性回归分类方法。该方法基于鉴别分析思想,旨在学习一个投影矩阵,在诱导空间中实现图像集之间的虚拟样本线性重构,使得属于同类图像集的表征点尽可能接近,不同类图像集的表征点尽可能分散。这一特征提取准则与最终的线性回归分类机制相吻合,因此可以实现比较好的分类性能。此外,通过采用核映射技术,本文提出了一种核判别扩展方法来解决非线性问题。由实验结果可得,本文提出的方法能够将原始图像集映射到具有鉴别特性的空间中,在人脸识别分类任务上能够获得较好的分类精度,而且在小样本物体分类上优势更明显。