论文部分内容阅读
摘要：近年来随着信息技术的不断开发与应用，大数据已成为相关领域的主要应用措施，当前对于大数据分析平台的建设与应用得到了获得了广泛的重视和研究，其已成为相关用户进行数据处理与分析的服务平台。本次研究主要对大数据分析平台的相关体系架构及建设情况进行详细的分析，并基于智能电网实际案例对大数据分析平台的应用进行的深入的探讨。通过一系列的分析加深对大数据平台的认知，从而为相关领域的研究提供更有价值的数据资料。
关键词：大数据；分析平台建设；分析平台应用
1.大数据分析平台相关研究
1.1大数据分析平台的体系架构
大数据分析平台的设计理念主要是依据区域性智能数据中心与高速互联网作为基础建设，以互联网服务体系为架构，将大规模数据的保存、处理、挖掘及分析作为技术支持，利用智能系统与互联网技术为用户提供数据存储、管理及分析等服务功能。
大数据分析平台的拓扑架构如下图所示，区域智能数据中心提供基于云计算的大规模数据存储及数据分析平台，通过平台服务器对外接口进行数据保存、分析、提取等服务。用户通过浏览器平台或智能终端程序提出数据保存和分析的服务请求，在浏览器上通过网络传输系统将服务申请发送给服务平台，然后数据平台再对服务请求进行分析，并将其发送给工作流引擎调度执行，最后再将所得结果通过网络传输给用户。
1.2大数据分析平台建设的分析
依照大数据分析平台的总体功能要求，对大数据分析平台进行规范、合理的建设，平台的硬件拓扑结构如下图所示：
（1）平台的核心硬件资源配置
①存储资源：两台一体化NAS存储设备，数据存储总量为350TB。②计算资源：60台RH2288服务器，CPU内核攻击960核，内存累积近8TB，硬盘存储总量在700TB以上。③网络资源：联想交换机，防火墙。
（2）平台的核新软件资源配置
①操作系统：Ubuntul4.04。②Hadoop管理软件：Cloudera5.3。③数据可视化软件：Tableau9.0。④报表系统：Fine Report。⑤数据挖掘软件：Matlab，R。
为了确保技术研发的测试和能应用系统运行两种场景的不同需求，大数据平台的拓扑结构从逻辑上分成两个集群：基于Hadoop的开发测试集群、基于Hadoop的生产运营集群。
2.智能电网大数据分析平台应用分析
2.1应用需求与特点
（1）多源异构数据融合
针对应用目标项目需要分析和处理的数据主要有：用户信息、地理位置信息、电力设备信息、用电信息等具有不同来源和结构特点的大规模数据，必须要对相关的数据进行统一的融合建模，从而为后续的建模分析工作提供主体数据集。
（2）数据噪声预处理
由于采集设备与采集条件等因素的影响，在原始数据集中涵盖很多的缺失值、异常值等数据噪声，必须要对各类噪声数据进行及时的发现和有效的处理，从而为后续的建模分析结果的有效性提供坚实的保障。
（3）用电模式分析模型
必须要严格遵照电网公司的经营管理需求，对于共同应用环境下用电模式分析的具体目标进行提取，设计和关键用电模式分析模式；项目首先要对不同行业、地區、时段下的用户用电模式的特征和差异进行全面的考量，并基于此来实现用户分群与用电预测。
（4）电力大数据应用平台
为了能够促使电力大数据分析的自动化、规模化应用得以实现，项目将要构建科学、有效的应用平台，从而对电力大数据进行采集、融合、预处理、建模、分析、结果等全过程的一体化的应用，使得数据应用平台能够为电力企业提供全面的、高效的服务。
2.2应用案例设计与结果分析
（1）时间序列数据失值发现与处理
通过对数据的观察和分析，得出在项目委托方积累的庞大的用电数据中，出现了较为严重的缺失值问题，其也是传统行业在大数据应用中出现的主要弊端。数据质量问题很大程上决定者数据分析模型结果的准确性，所以对缺失值问题的发现和处理是首要考虑的。
（2）用电模式发现
对大数据进行预处理后，首先要对用电模式分析目标实施数据挖掘建模，从而对电力用户在应用过程出现的共同性、规律性进行总结。用电模式发现可促进电力企业对不同时段的用电量和峰值进行准确、有效的控制。从而保证电力企业的用电调配能力得到有效的强化，试图对阶梯电价以均衡峰值期间的用电压力进行分析。
（3）基于用电模式的用户分群
通过以上对用电模式分析的研究，有助于对基于用电模式的用户分群作详细的探讨，寄望于对用电模式存在的特征进行细化，继而对不同模式下的用户群体进行分类。将获得分析结果用在电力企业的运营服务中，使其能够对用户的群体特征进行深入的了解，能够对不同时间与时段的用电量进行有效的预测，从而为开展阶梯电价提供有效的参考数据。
结束语：
现阶段大数据的优势和作用已获得社会各界的广泛认可，其所创造的经济效益和社会价值也获得相关领域的高度关注。我国人口基数大，市场复杂、多样，其中蕴含丰富、庞大的数据资源，所以实施快速有效的数据挖掘、分析、应用刻不容缓。而大数据分析应用平台是这个时代不可或缺的数据处理设施，同时也为我国技术开发与应用提供了有效的支持。
关键词：大数据；分析平台建设；分析平台应用
1.大数据分析平台相关研究
1.1大数据分析平台的体系架构
大数据分析平台的设计理念主要是依据区域性智能数据中心与高速互联网作为基础建设，以互联网服务体系为架构，将大规模数据的保存、处理、挖掘及分析作为技术支持，利用智能系统与互联网技术为用户提供数据存储、管理及分析等服务功能。
大数据分析平台的拓扑架构如下图所示，区域智能数据中心提供基于云计算的大规模数据存储及数据分析平台，通过平台服务器对外接口进行数据保存、分析、提取等服务。用户通过浏览器平台或智能终端程序提出数据保存和分析的服务请求，在浏览器上通过网络传输系统将服务申请发送给服务平台，然后数据平台再对服务请求进行分析，并将其发送给工作流引擎调度执行，最后再将所得结果通过网络传输给用户。
1.2大数据分析平台建设的分析
依照大数据分析平台的总体功能要求，对大数据分析平台进行规范、合理的建设，平台的硬件拓扑结构如下图所示：
（1）平台的核心硬件资源配置
①存储资源：两台一体化NAS存储设备，数据存储总量为350TB。②计算资源：60台RH2288服务器，CPU内核攻击960核，内存累积近8TB，硬盘存储总量在700TB以上。③网络资源：联想交换机，防火墙。
（2）平台的核新软件资源配置
①操作系统：Ubuntul4.04。②Hadoop管理软件：Cloudera5.3。③数据可视化软件：Tableau9.0。④报表系统：Fine Report。⑤数据挖掘软件：Matlab，R。
为了确保技术研发的测试和能应用系统运行两种场景的不同需求，大数据平台的拓扑结构从逻辑上分成两个集群：基于Hadoop的开发测试集群、基于Hadoop的生产运营集群。
2.智能电网大数据分析平台应用分析
2.1应用需求与特点
（1）多源异构数据融合
针对应用目标项目需要分析和处理的数据主要有：用户信息、地理位置信息、电力设备信息、用电信息等具有不同来源和结构特点的大规模数据，必须要对相关的数据进行统一的融合建模，从而为后续的建模分析工作提供主体数据集。
（2）数据噪声预处理
由于采集设备与采集条件等因素的影响，在原始数据集中涵盖很多的缺失值、异常值等数据噪声，必须要对各类噪声数据进行及时的发现和有效的处理，从而为后续的建模分析结果的有效性提供坚实的保障。
（3）用电模式分析模型
必须要严格遵照电网公司的经营管理需求，对于共同应用环境下用电模式分析的具体目标进行提取，设计和关键用电模式分析模式；项目首先要对不同行业、地區、时段下的用户用电模式的特征和差异进行全面的考量，并基于此来实现用户分群与用电预测。
（4）电力大数据应用平台
为了能够促使电力大数据分析的自动化、规模化应用得以实现，项目将要构建科学、有效的应用平台，从而对电力大数据进行采集、融合、预处理、建模、分析、结果等全过程的一体化的应用，使得数据应用平台能够为电力企业提供全面的、高效的服务。
2.2应用案例设计与结果分析
（1）时间序列数据失值发现与处理
通过对数据的观察和分析，得出在项目委托方积累的庞大的用电数据中，出现了较为严重的缺失值问题，其也是传统行业在大数据应用中出现的主要弊端。数据质量问题很大程上决定者数据分析模型结果的准确性，所以对缺失值问题的发现和处理是首要考虑的。
（2）用电模式发现
对大数据进行预处理后，首先要对用电模式分析目标实施数据挖掘建模，从而对电力用户在应用过程出现的共同性、规律性进行总结。用电模式发现可促进电力企业对不同时段的用电量和峰值进行准确、有效的控制。从而保证电力企业的用电调配能力得到有效的强化，试图对阶梯电价以均衡峰值期间的用电压力进行分析。
（3）基于用电模式的用户分群
通过以上对用电模式分析的研究，有助于对基于用电模式的用户分群作详细的探讨，寄望于对用电模式存在的特征进行细化，继而对不同模式下的用户群体进行分类。将获得分析结果用在电力企业的运营服务中，使其能够对用户的群体特征进行深入的了解，能够对不同时间与时段的用电量进行有效的预测，从而为开展阶梯电价提供有效的参考数据。
结束语：
现阶段大数据的优势和作用已获得社会各界的广泛认可，其所创造的经济效益和社会价值也获得相关领域的高度关注。我国人口基数大，市场复杂、多样，其中蕴含丰富、庞大的数据资源，所以实施快速有效的数据挖掘、分析、应用刻不容缓。而大数据分析应用平台是这个时代不可或缺的数据处理设施，同时也为我国技术开发与应用提供了有效的支持。