海量电能质量数据的实时存储与治理技术研究

来源 :北方工业大学 | 被引量 : 2次 | 上传用户:Lynn_lin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电网结构的复杂化和用电负荷的日趋多样化,以谐波污染为代表的电能质量问题日益突出,导致了巨大经济损失。利用电能质量数据监测装置获取电能质量数据,基于实时数据分析预测及处置电能质量问题被认为是有效的解决手段。然而,电能质量数据具有来源广泛,指标多样,数据海量的特点,电能质量数据的汇集与存储已经不能利用传统关系数据库的方法,电能质量数据管理面临实时存储性能的挑战;此外,数据来源广泛导致的“脏”数据问题也会对数据分析结果产生严重影响,如何发现并修正“脏”数据是电能质量数据管理面临的关键问题。针对上述问题,结合电能质量数据的特点,利用大数据技术,研究电能质量数据的实时存储和数据治理问题。开展的主要工作包括:1.结合电能质量数据的时序性强,数据量大,多数据源的特点,设计适合于电能质量数据的键值对存储结构,构建分布式电能质量数据存储系统,实现多源电能质量流、批数据的汇集与实时存储。2.提出一种基于蚁群算法的任务调度模型,对分布式电能质量数据存储系统的任务调度层进行优化,提高数据汇集与存储效率,实现节点负载均衡。3.以数据治理环节中的数据质量优化为研究目标,实现基于阈值,基于斜率变化和基于云模型的异常数据处理方法,筛查异常数据。4.实现电能质量数据存储系统,对任务调度和异常数据处理进行实验。实验结果表明:基于蚁群算法的任务调度模型比系统原有调度结构的存储效率平均提高2.65倍,且能实现负载均衡;对于波动性大的谐波数据,自适应云模型的异常数据处理方法相比基于正态分布和云模型的方法,筛查异常数据的准确性更高。
其他文献
建筑材料是建筑工程施工的重要物质支持,在整个建筑施工的资源比例中占据着重要的地位,建筑材料的质量直接关注到整个建筑工程最终完成的效果。对建筑材料进行试验与检测并非
以上海轨道交通网络为研究对象,基于复杂网络理论,采用SpaceL方法构建上海轨道交通网络拓扑结构模型,通过计算网络的多个特征指标值,实证分析了其复杂网络特性;以网络全局效
为筛选出适合膜侧高产栽培的糜子品种,于2019年在西吉县开展了糜子品种比较试验。结果表明,宁糜15号产量最高,达到2 155.35 kg/hm^2,较宁糜14号和宁糜17号分别增产18.43%和36
本文利用江苏省农村地区39个村725户农户的调查数据,实证分析土地流转对农户内部收入差距的影响。研究结果表明,土地流转使农户在生产要素投入方面进行重新配置,进而改变其收
全球环流模式在东亚地区模拟可靠性评估研究表明存在不确定性,尤以降水更明显.该模式更难于模拟小范围(如一个省)和小时间尺度(如日)的气候变化.本研究用3个区域气候模式作1991年东亚夏季