论文部分内容阅读
随着电网结构的复杂化和用电负荷的日趋多样化,以谐波污染为代表的电能质量问题日益突出,导致了巨大经济损失。利用电能质量数据监测装置获取电能质量数据,基于实时数据分析预测及处置电能质量问题被认为是有效的解决手段。然而,电能质量数据具有来源广泛,指标多样,数据海量的特点,电能质量数据的汇集与存储已经不能利用传统关系数据库的方法,电能质量数据管理面临实时存储性能的挑战;此外,数据来源广泛导致的“脏”数据问题也会对数据分析结果产生严重影响,如何发现并修正“脏”数据是电能质量数据管理面临的关键问题。针对上述问题,结合电能质量数据的特点,利用大数据技术,研究电能质量数据的实时存储和数据治理问题。开展的主要工作包括:1.结合电能质量数据的时序性强,数据量大,多数据源的特点,设计适合于电能质量数据的键值对存储结构,构建分布式电能质量数据存储系统,实现多源电能质量流、批数据的汇集与实时存储。2.提出一种基于蚁群算法的任务调度模型,对分布式电能质量数据存储系统的任务调度层进行优化,提高数据汇集与存储效率,实现节点负载均衡。3.以数据治理环节中的数据质量优化为研究目标,实现基于阈值,基于斜率变化和基于云模型的异常数据处理方法,筛查异常数据。4.实现电能质量数据存储系统,对任务调度和异常数据处理进行实验。实验结果表明:基于蚁群算法的任务调度模型比系统原有调度结构的存储效率平均提高2.65倍,且能实现负载均衡;对于波动性大的谐波数据,自适应云模型的异常数据处理方法相比基于正态分布和云模型的方法,筛查异常数据的准确性更高。