论文部分内容阅读
随着科学技术的发展和国民经济的增长,对电能的需求量日益增加,同时电力用户对电能质量的要求也越来越高。为了提高电能质量,电能质量监测数据采集系统的监测数据采样频率需要明显提高,监测范围也将大大扩展,由此涌现出海量的电能质量监测数据。目前电力系统的电能质量的分析计算基于调度中心的集中式计算平台实现,面对大规模电能质量数据,其计算速度慢,任务执行效率低,分析结果存在严重滞后性。基于传统关系型数据库的数据管理难以满足其要求,或需付出高昂的成本代价实现。如何对海量电能质量数据进行可靠快速的处理成为电能质量分析中的重要问题。本文通过对Hadoop计算框架和MapReduce并行编程模型等云计算关键技术进行研究,在现有的电能质量分析计算平台的基础上,结合Hadoop在海量数据存储和处理方面的优势,开展基于Hadoop的海量电能质量数据云计算平台设计和实现工作。在数据存储方面,通过对电能质量监测数据存储和处理特征分析,实现了基于HBase的大规模数据存储平台,具有可扩展性和高可靠性,同时结合面向列存储数据库HBase和关系数据库SQL Server各自的特点,分别存储不同类型的数据,不仅提升了平台性能,而且使平台可以较为方便地整合到现有的电能质量监测系统中,以增强现有系统;在数据处理方面,通过对现有的电能质量分析算法程序重构,实现了基于MapReduce的电能质量分析处理,并对基于MapReduce电能质量分析作业提出了一些配置参数优化方式,增强了分析处理过程并发性,提高了电能质量计算分析效率。此外,针对HDFS存在的单点故障问题,课题设计的平台增加了热备节点,实现了具有高可用性的存储系统。在实验部分,对比现有传统方式电能质量分析处理,计算了不同时间段的电能质量稳态谐波指标,验证了基于Hadoop电能质量分析平台的正确性和优越性。