在传统的识别问题中,通常以物体的单个或者很少量的样本为单位进行训练和识别。随着视频采集设备的更新换代以及网络资源的触手可及,人们获取到的图像涵盖了物体的各种表观变化,比如拍摄角度的变化、光照方向的变化等等,从而为分类问题提供了大量的样本。因此,如今基于图像集的识别问题受到了越来越广泛的关注,得到了越来越普遍的应用。但是采集到的图像数据往往是高维数、非线性的,这导致了“维数灾难”现象的出现,并给直接理解及分析图像集蕴含的内在结构带来了很大的困难。因此,利用降维技术对高维数据进行处理是识别问题中的重要步骤。其中,基于流形学习的数据降维由于其发现和保持图像数据的高度非线性内在几何结构的有效性,而成为最热门最普遍的识别研究方法。经典的流形学习方法如ISOMAP,LLE等,以单幅图像为单位进行输入,从流形学习的角度将训练集的图像构建成单流形。本文针对基于图像集的识别问题,其输入单位为图像集,将每个图像集构建成流形,基于图像集的识别问题就转化成多流形识别问题。本文在结合流形学习和图像集识别的研究中做的主要工作包括:1.在流形-流形距离计算的理论框架下,本文从理论上和实验上阐述了构建局部线性模块的方法、局部子空间之间的距离度量、多流形识别的方法。2.本文提出的基于判别型典型相关分析的多流形识别(Multi-manifold Recognition Based on Discriminative-analysis of Canonical Correlations,MRDCC)方法在基于图像集的人脸识别数据库和物体识别图像库上进行系统的实验验证。实验结果表明,MRDCC方法作为一种图像集匹配方法,在本文实验采用的数据库上具有优于其他对比方法的性能。3.本文提出以局部子空间为单位进行训练和匹配,将流形-流形的匹配问题转化成子空间-子空间的匹配问题。综上所述,本文提出一种有效的多流形识别算法,算法的有效性在Honda/UCSD人脸视频库和ETH-80物体识别库上进行验证,并在子空间-子空间匹配问题上进行有益的探索。