论文部分内容阅读
进入21世纪后,智能电网一向是电力行业研究和应用的热门,受到了中国以及其他国家的高度重视和大力推广。智能电表是智能电网建设的重要环节,在智能电表大力推广和不断发展过程中,电力部门和相关企业积累了大量的电力数据,这些数据不光具有海量、高频、异构、分散等特点,并且数据之间存在关联性和相似性。传统电力系统的数据采集、存储及处理能力已远不能满足需求,面对超大规模的智能电表数据生成量,能够正确并且实时地对电力数据进行采集、存储和应用成为电力系统建设一直寻求的目标。随着通信技术和云计算的快速发展,人们对多样化、便捷化、个性化的用电缴费管理服务需求不断增加,智能电表云服务已成为一个迫切的发展趋势。本文从智能电表云服务的国内外研究现状出发,结合电力企业现实工作中遇到的一些问题和需求,给出了新的思路和解决方法,提出了“基于Hadoop的智能电表云服务系统”的设计目标和原则,主要为了解决传统电力系统中存在的电量数据采集实时性和可靠性差,海量异构电量数据存储和处理难,以及用电服务单一、不透明等问题。首先详细介绍和总结了智能电表云服务的国内外研究情况,着重分析了现有技术在数据采集、存储和应用方面所面临的问题;对云计算技术尤其是Hadoop平台的研究现状进行了总结和分析。根据系统的功能和性能需求,设计了基于Hadoop的智能电表云服务系统的整体架构,明确了设计难点和关键支撑技术。其次,在本文构建的并行数据采集和分布式存储计算方案的基础上,对云服务系统的数据采集层、数据存储层和系统应用层进行了详细的分析和设计,利用WIFI高速率、远程通讯的特性以及双机备通讯服务器实现了电表数据的主动上报,完成了基于传统数据库与Hadoop集群相协作的大数据存储和基于分布式编程模型Map Reduce的大数据分析计算功能,实现了云服务系统基本的用电缴费管理服务。最后本文详细介绍了Hadoop、HBase分布式集群的安装及配置方法,通过实验对比分析,证明使用Hadoop平台存储和处理海量数据,可以取得优于传统方法的效果,具有高效的数据存储和访问的能力;设计分布式Map Reduce程序处理海量日志文件,可以很轻松实现海量数据的并行处理;此外通过整合系统各个模块,对云服务各功能进行了相关测试,验证了方案的可行性和高效性。