论文部分内容阅读
摘 要：在大数据时代，针对大数据管理的需求，根据大数据的特点和支持大数据管理系统的特定性，电力系统也要在数据存储、数据访问、数据分析等方面进行相适应地管理，针对海量数据，采用NoSQL存储系统支持海量电力信息数据的存储和柔性管理。其中，介绍相关前沿研究和研究挑战，支持电力信息数据的体系结构，基于NoSQL的大数据管理，进而为电力系统未来发展趋势提供分析与预测。
关键词：大数据 数据管理 电力系统 NoSQL
中图分类号：TP301 文献标识码：A 文章编号：1674-098X（2014）02（c）-0190-01
随着电网建设投入力度的不断加大，数字化电网、数字化变电站等研究应用的不断深入，电力系统面对的数据存储规模从目前的GB级发展到TB级。随着这种海量大数据（big data）成几何级数集增长，传统的关系型数据库已无法满足其存储与分析处理的要求，如何高效获取、存储、分析、共享甚至于展示海量数据已是目前迫切需要解决的问题。
1 大数据概述
随着云时代的来临，针对用户网络数据急剧增长，提出大数据存储系统的概念。云计算作为计算资源的底层，支撑着上层的大数据处理，实现海量数据实时交互式的查询和分析。大数据包括结构化、半结构化和非结构化数据。据IDC公司统计，2011年全球数据总量的75%来自于非结构化数据，至2012年末，非结构化数据占有比例超过75%。大数据具有类型复杂、海量、快速和价值的特点（“4V”），其中价值是其他3V服务的目标。大数据的总体架构分为三层：据存储，数据处理和数据分析，其中，数据存储层解决类型复杂和海量，数据处理层解决快速和时效性要求，数据分析层解决价值，通过数据分析和挖掘实现。三层相互配合，让大数据最终产生价值。数据存储层中，通过关系型数据库、NoSQL数据库和hdfs分布式文件系统三种存储方式实现。其中，NoSQL数据库实现海量数据的存储，属于非关系型、分布式数据存储系统，以Key-Value数据格式、面向文档方式以及图数据方式存储，实现数据极高的并发读写性能、良好的查询性能、弹性的扩展能力。
2 面向NoSQL的电力信息数据的海量存储
电力系统为确保电网安全稳定运行与及时监控管理，需要使用多种业务子系统提供足够的数据支持，为此，各业务系统运行期间均会产生大量能有效反映电网运行状况的监控数据与历史数据，同时，各类业务子系统的二次应用系统数量不断增多，产生数据的种类与范围也不断扩展，存储数据从GB级转向TB级。随着PMU采集装置的普及以及广域动态监测系统WAMS的发展，带来了更加突出的海量电力信息数据存储问题。如此海量规模的电力信息，通过常规的关系型数据库来存储，无论从写入速度还是查询效率上都将很难满足应用的需求，因此，NoSQL数据库的特点满足海量数据存储管理。NoSQL数据库通过集成分布式系统、集群、分区等技术实现分布式存储，能有效扩展存储规模，实现海量数据存储和检索。由于，数据发展趋势是半结构化数据（电子邮件、XML等）和非结构化数据（文档、图片、视频等），针对每秒数万次的读写请求，NoSQL数据库能从容应对。
NoSQL数据存储系统总结起来有两种架构：master-slave结构和P2P环形结构。Master-Slave结构的系统设计简单，可控性好，通常基于水平分区实现数据分布，将master节点和slave节点的功能分开，减轻节点的功能负载，由master节点维护其管理的slave节点，但master中心节点易成为瓶颈；P2P环形结构的系统无中心节点，各节点平等，自协调性好，扩展方便，基于Hash分布数据，负载均衡性好，但不利于支持范围查询，并且系统设计复杂，可控性较差。由于所述的两种体系结构有很大差别，它们所采用的支持技术也不同，导致了不同体系结构的系统所支持功能的局限性，Cloudy为用户提供了一个可配置采用master-slave或DHT体系结构的Demo系统。在电力系统中，支持数据存储系统的体系结构应结合P2P分布式结构和master-slave集中式结构两者的优势，如Chord和master-slave的结合、CAN与master-slave的结合等，侧重采用面向组件的灵活可配置的体系结构，结合两者的优势，综合考虑数据存储的全局性和局部性。
3 结语
大数据在2013年短短一年的时间里扩展到经济社会的各个层面与领域，像雨后春笋般在各个行业涌现。NoSQL数据存储系统基于大数据的各种应用需求，提出了各具特色的产品。电力系统在大数据时代，遇到空前的机遇与挑战，将数据存储、数据挖掘、数据驱动等研究，应用到电力系统中，今后还面临更多新的问题需要研究者去探讨研究。
参考文献
[1] Big data.2011.http：//en.wikipedia.org/wiki/Big_data.
[2] Li GJ.The scientific value of big data research. Communications of the China Computer Federation，2012，8（9）：8-15（in Chinese）.
[3] NoSQL.2011.http：//zh.wikipedia.org/wiki/NoSQL.
[4] Tatemura J，Po O，Hsiung WP， Hacigümü H.Partiqle：An elastic SQL engine over key-value stores.In：Proc.of the SIGMOD.New York：ACM Press，2012.
[5] Rao J，Shekita EJ，Tata S. Using Paxos to build a scalable， consistent，and highly available datastore.In：Proc.of the VLDB. 2011.
[6] 互聯网分析沙龙.海量数据来了.2011. http：//www.techxue.com/portal.php？mod=view&aid=55.
[7] 李国杰.大数据研究的科学价值[J].中国计算机学会通讯，2012，8（9）：8-15.
[8] Divyakant Agrawal，Philip Bernstein，Elisa Bertino et al. Challenges and Opportunities with Big Data，Cyber Center Technical Reports，February 2012.Available at：http：//docs.lib.purdue.edu/cctech/1.
关键词：大数据 数据管理 电力系统 NoSQL
中图分类号：TP301 文献标识码：A 文章编号：1674-098X（2014）02（c）-0190-01
随着电网建设投入力度的不断加大，数字化电网、数字化变电站等研究应用的不断深入，电力系统面对的数据存储规模从目前的GB级发展到TB级。随着这种海量大数据（big data）成几何级数集增长，传统的关系型数据库已无法满足其存储与分析处理的要求，如何高效获取、存储、分析、共享甚至于展示海量数据已是目前迫切需要解决的问题。
1 大数据概述
随着云时代的来临，针对用户网络数据急剧增长，提出大数据存储系统的概念。云计算作为计算资源的底层，支撑着上层的大数据处理，实现海量数据实时交互式的查询和分析。大数据包括结构化、半结构化和非结构化数据。据IDC公司统计，2011年全球数据总量的75%来自于非结构化数据，至2012年末，非结构化数据占有比例超过75%。大数据具有类型复杂、海量、快速和价值的特点（“4V”），其中价值是其他3V服务的目标。大数据的总体架构分为三层：据存储，数据处理和数据分析，其中，数据存储层解决类型复杂和海量，数据处理层解决快速和时效性要求，数据分析层解决价值，通过数据分析和挖掘实现。三层相互配合，让大数据最终产生价值。数据存储层中，通过关系型数据库、NoSQL数据库和hdfs分布式文件系统三种存储方式实现。其中，NoSQL数据库实现海量数据的存储，属于非关系型、分布式数据存储系统，以Key-Value数据格式、面向文档方式以及图数据方式存储，实现数据极高的并发读写性能、良好的查询性能、弹性的扩展能力。
2 面向NoSQL的电力信息数据的海量存储
电力系统为确保电网安全稳定运行与及时监控管理，需要使用多种业务子系统提供足够的数据支持，为此，各业务系统运行期间均会产生大量能有效反映电网运行状况的监控数据与历史数据，同时，各类业务子系统的二次应用系统数量不断增多，产生数据的种类与范围也不断扩展，存储数据从GB级转向TB级。随着PMU采集装置的普及以及广域动态监测系统WAMS的发展，带来了更加突出的海量电力信息数据存储问题。如此海量规模的电力信息，通过常规的关系型数据库来存储，无论从写入速度还是查询效率上都将很难满足应用的需求，因此，NoSQL数据库的特点满足海量数据存储管理。NoSQL数据库通过集成分布式系统、集群、分区等技术实现分布式存储，能有效扩展存储规模，实现海量数据存储和检索。由于，数据发展趋势是半结构化数据（电子邮件、XML等）和非结构化数据（文档、图片、视频等），针对每秒数万次的读写请求，NoSQL数据库能从容应对。
NoSQL数据存储系统总结起来有两种架构：master-slave结构和P2P环形结构。Master-Slave结构的系统设计简单，可控性好，通常基于水平分区实现数据分布，将master节点和slave节点的功能分开，减轻节点的功能负载，由master节点维护其管理的slave节点，但master中心节点易成为瓶颈；P2P环形结构的系统无中心节点，各节点平等，自协调性好，扩展方便，基于Hash分布数据，负载均衡性好，但不利于支持范围查询，并且系统设计复杂，可控性较差。由于所述的两种体系结构有很大差别，它们所采用的支持技术也不同，导致了不同体系结构的系统所支持功能的局限性，Cloudy为用户提供了一个可配置采用master-slave或DHT体系结构的Demo系统。在电力系统中，支持数据存储系统的体系结构应结合P2P分布式结构和master-slave集中式结构两者的优势，如Chord和master-slave的结合、CAN与master-slave的结合等，侧重采用面向组件的灵活可配置的体系结构，结合两者的优势，综合考虑数据存储的全局性和局部性。
3 结语
大数据在2013年短短一年的时间里扩展到经济社会的各个层面与领域，像雨后春笋般在各个行业涌现。NoSQL数据存储系统基于大数据的各种应用需求，提出了各具特色的产品。电力系统在大数据时代，遇到空前的机遇与挑战，将数据存储、数据挖掘、数据驱动等研究，应用到电力系统中，今后还面临更多新的问题需要研究者去探讨研究。
参考文献
[1] Big data.2011.http：//en.wikipedia.org/wiki/Big_data.
[2] Li GJ.The scientific value of big data research. Communications of the China Computer Federation，2012，8（9）：8-15（in Chinese）.
[3] NoSQL.2011.http：//zh.wikipedia.org/wiki/NoSQL.
[4] Tatemura J，Po O，Hsiung WP， Hacigümü H.Partiqle：An elastic SQL engine over key-value stores.In：Proc.of the SIGMOD.New York：ACM Press，2012.
[5] Rao J，Shekita EJ，Tata S. Using Paxos to build a scalable， consistent，and highly available datastore.In：Proc.of the VLDB. 2011.
[6] 互聯网分析沙龙.海量数据来了.2011. http：//www.techxue.com/portal.php？mod=view&aid=55.
[7] 李国杰.大数据研究的科学价值[J].中国计算机学会通讯，2012，8（9）：8-15.
[8] Divyakant Agrawal，Philip Bernstein，Elisa Bertino et al. Challenges and Opportunities with Big Data，Cyber Center Technical Reports，February 2012.Available at：http：//docs.lib.purdue.edu/cctech/1.