系统前端的管道泄漏监测主要采用声波法、负压波法等,这些方法最主要的缺点在于无法识别各种复杂的工况,从而产生较多误报。另外随着长输管道中数据量的不断增长,在传统单台服务器上,基于Oracle、SQL Server、MySQL等关系型数据库构建系统的方式,将很快导致系统性能的大幅下降。因此构建一个基于大数据的工况分析与识别泄漏辅助检测系统可以有效的解决原有系统的问题。本文中以CDH为基础,基于长输管道数据量的快速增长,在实验室现有资源下构建了一个大数据平台,目的在于解决随着系统运行时间的增长,导致数据不断增多,使得关系型数据库的系统优化和扩展困难,无法满足系统性能需求的问题。对现有的大数据体系架构中的组件进行合理分配和管理,保障了今后大量数据管理的安全性,可维护性以及实时检测系统性能的可扩展性。以 Spark Streaming 为核心,Flume,Kafka,HBase 为基础构建了一套实时数据处理框架。从源数据的解析和预处理,模拟实时数据传输的过程,到Flume进行数据的实时采集和Kafka进行数据的流量缓存,最终通过Spark Streaming进行数据的业务处理,以及HBase中数据的存储,整个流程完整的实现了大数据平台下数据的实时处理。本文中通过对工业现场采集数据的研究和处理,完成了压力的时序特征到频率特征的转变,通过对现有机器学习分类算法的研究和尝试,结合Spark分布式计算的特点,找到了对现有离线数据集训练结果良好的分类算法,运用在线和离线相结合的学习方法,加载离线学习模型,对实时数据进行分类预测,通过定期更新离线数据集的方式,提高模型预测的准确性,到达在线学习的目的。本文通过IDEA建立Spring Boot的web项目,根据ECharts的丰富的前端模型库,建立前端压力预警界面,将HBase中由Spark Streaming预测的结果实时在前端响应出来,为生产环境提供泄漏辅助检测,区分由工况造成的误报。