在数据挖掘领域中,聚类分析作为一种数据分析技术,已经发展较为成熟,在机器学习、模式识别等许多领域有着广泛的研究。在大量成熟的聚类算法中,谱聚类因其广泛应用性与扩展性,逐渐受到研究关注。但是现存的大多数谱聚类算法在处理海量数据时计算复杂度和空间开销比较大,并随着数据集维度的增加,算法处理能力的下降,一定程度上影响了聚类结果。为满足当前高维海量数据的分析需求,本文着眼于降低时空复杂度以改进算法效率,同时利用以自编码器为代表的降维技术来提高聚类精度,并将改进的算法应用到大规模复杂网络社区检测中,主要的研究内容包含以下三个方面:（1）针对大多数基于谱聚类框架的子空间聚类算法将高维数据映射到低维子空间时,不能较好捕获数据间几何结构的问题,提出一种引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息。算法结合低秩表示与深度自编码器,利用低秩约束来捕获数据全局结构,并约束神经网络的潜在特征表示为低秩。自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性。此外,引入归一化层,通过概率的形式预测簇划分,并在联合学习框架中进行训练优化。实验表明该算法在高维数据集表现出良好的聚类性能。（2）针对大多数现有谱聚类算法在处理大规模数据集时面临聚类精度低、相似度矩阵存储开销大的问题,提出一种结合度量融合和地标表示的深度嵌入聚类算法。引入相对质量概念进行节点评估,选出评分较高的点作为地标点,依据稀疏表示近似获得相似度矩阵,从而降低存储开销。同时考虑到近邻点的拓扑信息,将欧氏距离与Kendall Tau距离融合来度量地标点与其他样本之间的相似度,提高聚类精度;以栈式自编码器取代拉普拉斯矩阵特征分解环节,构建深度嵌入模型,并将所获得的相似度矩阵作为模型的输入,通过联合学习嵌入表示和聚类来进一步提高聚类精度。实验表明在大规模数据集上该算法具有较好的聚类性能。（3）为了解决在大规模复杂网络背景下,利用现有网络嵌入方案难以捕获并保留网络结构,获得低维网络特征表示的问题,基于前面所提出的低维特征表示及相似度矩阵的构造方案,提出一种面向复杂网络社区检测的深度嵌入网络模型。该模型的输入矩阵结合自适应度量和地标表示,在保留全局和局部结构信息的同时降低内存消耗。此外,受深度自编码器和非负矩阵分解模型启发,将单层映射的NMF模型转变为包含编码器和解码器两模块的多层映射NMF深层嵌入模型,用来学习低维网络特征表示,从而实现更精确高效的社区检测。通过在九个真实网络的实验验证了所提算法的有效性。