电力设备的在线监测数据呈现出大数据的特性,而变压器故障诊断存在小样本分类效果差等问题。大数据存储和处理技术可有效解决传统单机工具无法有效处理的情况。该课题构建了包含Spark、Hadoop等在内的云计算平台,选取大量DGA数据(大量未标记数据,少量有标记数据)进行实验分析、研究,实现了故障诊断及方法的优化。基于Spark计算框架实现了变量预测模型并行化处理。首先,采用HDFS作为内存式存储系统,面向行存储的RowMatrix作为分布式矩阵存储结构,利用广播变量、调整分区数进行并行度优化。其次,训练四种数学模型获取故障类型的最佳模型及相关参数完成故障诊断。采用标准数据集验证该算法对高维特征向量有较好的适应性。以油色谱数据作为应用实例,在识别精度方面与支持向量机算法进行对比。基于并行变量预测模型,结合堆栈降噪自编码网络,实现SDAE-VPMCD混合模型的故障诊断及预测。首先,归一化处理变压器油色谱数据;其次,对堆栈降噪自编码网络进行逐层训练学习,获取数据的高层特征表示并确定网络结构参数;然后,训练变量预测模型中四种数学模型,获取故障类型的最佳模型及相关参数;最后,采用少量有标签数据微调混合模型,确定最优网络参数完成故障诊断。将该混合模型应用于油色谱数据的特征提取和故障诊断,验证了该模型的性能和鲁棒性。