聚类分析作为数据挖掘和模式识别等领域的重要工具,一直以来都是非常热门的研究话题之一,并得到了非常广泛的应用。但是,随着应用环境的不断变化,特别是进入“大数据”时代,数据规模的庞大性和结构的复杂性对聚类分析提出了越来越严峻的挑战,特别是数据的高维度越来越普遍,包括各种图像数据、生物基因表达数据、搜索引擎数据等的维度往往高达上万维。传统聚类算法通常是针对低维度数据设计开发的,在进行高维数据的分析处理时通常会遇到严重瓶颈,无法满足高维数据的稀疏性以及避免“维数灾难”的影响。如何设计开发高维数据聚类算法,满足日益增长的需求,正成为数据挖掘和模式识别领域的重要研究课题。高维非线性数据的表示是困扰聚类任务的一个难题。现有的聚类算法尽管可以通过凸松弛来缓解这个问题,但毫无疑问这不是原始问题的最优解。近年来,流形学习理论揭示了图像视频等数据具有潜在的非线性低维流形结构,从而成为图像视频等高维数据的处理和表示提供了有效的理论和技术工具。本文在基于自表示的子空间聚类的基础上,通过结合数据的流形表示和子空间聚类的方法,在符合数据内在结构的流形空间上进行聚类,探索数据的流形表示和子空间聚类更优的结合方案以及合适的应用场景,构造新的子空间自表示聚类模型,并给出相应的优化求解方法。本文的主要工作概括如下:（1）提出了一种利用多阶统计特征的子空间聚类表示模型。对于无监督的任务,充分利用先验信息非常重要。基于此,我们使用多阶统计特征从不同视角对数据集进行特征描述提出了多几何稀疏子空间聚类算法（MGSSC）。从其在人脸,物体,纹理等数据集上的实验结果可以看出我们提出的方案是可行和有效的。（2）提出了一种在SPD流形上基于低秩核子空间聚类表示模型。实验发现,构造样本的协方差矩阵作为样本的二阶特征能够获得较优的聚类结果。这是因为高维图像数据的SPD流形表示具有捕获数据非线性流形结构固有分布特征的能力。然而,仅仅将流形数据映射到能够使用欧氏方法的特征空间可能无法让流形数据在高维特征空间形成线性的子空间结构。基于此,我们使用SPD流形作为图像样本的流形表示,首先提出了一种基于SPD流形表示的低秩核子空间聚类算法。此外,基于核方法的聚类,其聚类表现很大程度上取决于核函数的选择,而对于无监督的聚类问题无法获得充足的先验信息选择合适的核函数。因此,我们进一步将多核学习能力结合起来,进一步的拓展了我们的模型。大量的实验表明,本章所提出的模型与现有的模型相比具有优越性。（3）提出了一种在Grassmann流形上的低秩核子空间聚类表示模型。欧氏距离这种线性的度量方法不适用于图像视频等具有复杂非线性结构的高维数据。基于此,我们利用基于正交子空间的流形表示方法将图像集、视频数据建模到Grassmann流形上,通过使用核方法将Grassmann流形数据映射到再生核希尔伯特空间中,并且对这个过程施加了低秩约束,以期望能够在高维特征空间中形成线性的子空间结构。并且我们将相似度矩阵计算和后续谱聚类过程融合到同一个模型当中。此外,在本章中,我们提出了一个新的JN-art style图像集数据集,包含了中外15位画家的共300幅画作。在多个图像集以及视频数据集上的实验结果可以看出我们提出的方案是可行的,并且获得了很好的聚类效果。（4）提出了一种针对行为识别视频数据的多流形子空间聚类表示模型。针对视频数据,尤其是行为数据集,时序信息可能会对聚类效果有所帮助。此外,不同的行为视频所对应的声音信息往往也很有鉴别性。基于此,我们在利用原始视频数据中的图像信息为基础,通过利用提取视频的光流特征以及视频对应的声音信息,并建模到流形空间中,提出了一种新的多流形子空间聚类表示模型。通过研究多流形表示间的差异,实现多个流行表示的互补性,以此增强该模型对于视频数据的聚类性能。