基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究

被引量 : 0次 | 上传用户:hjss2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代电网规模与容量不断扩大,能量流与信息流互动,构成智能调度应用的基础,为了增强调度监控的协调与交互,各式新型智能电子设备不断接入,电力系统监控中监测点数量增多,数据量呈几何形式大规模增长,数据结构既复杂又多样。典型的如某风电场风机SCADA系统一个月产生的数据量约达2490GB,运行一年就将达到20多个TB[1,2],现有的数据管理系统通常采用传统磁盘阵列来存储与管理数据,相应的数据库管理软件采用关系型数据库处理方案,数据需要集中处理,对单台服务器有较高性能要求,而且数据管理系统的扩展性相对较差、可靠性也不高,虽然能满足一般数据处理应用,但是在应对大规模数据处理方面存在困难,若通过传统关系数据管理系统对海量数据集中式处理计算,已远远满足不了未来智能调度监控海量数据存储、共享、自动化处理要求,大数据集信息的有效存储与计算仍是目前调度监控系统所面临的一个难题。学术界在电力领域引入云计算,将云计算技术引入调度监控大数据的存储处理,研究调度监控大数据的应对方案。作为目前研究较普遍的Hadoop云框架,突破了传统数据集中存储处理的模式,具有强大的分布式并行处理能力,其所具有的冗余容错、高可靠、高伸缩等突出优势,为调度监控系统海量化大数据的有效存储与计算处理提供了一种新的解决思路。某些特殊的工业配电系统如铁道供电系统除具有一般配电系统的特点外,还具有其自身特点,其安全性不仅涉及供电安全更涉及行车安全,其智能调度监控对系统可靠性要求高,因此,本文结合工程应用中数据处理实际要求与Hadoop云平台,构建基于Hadoop的铁道供电调度监控系统,并构建基于Hive的调度监控数据仓库和基于HBase的分布式调度监控数据库,以铁道供电调度监控量测大数据作为研究对象,进行数据压缩存储研究。实验表明:RCFile文件格式的查询和压缩性能优于TextFile与SequenceFile,且三种文件格式经Deflate、Gzip、Lzo的压缩查询效率得到提高;验证了HBase良好的实时读写性能;实现了Hive与HBase的信息融合交互;验证了基于云计算的监控系统的数据容错能力。研究结果对调度监控系统处理大数据具有重要的理论和实践价值。
其他文献
环境行政决策程序是指政府行政机关就可能对环境造成重大影响的拟议行动做出决策所应遵循的步骤、顺序、方式和时限的总称。环境行政决策程序正当化就是一个提供环境行政决策
在体验经济时代下,主题公园的发展更加趋向于动态体验化。同时,人们随着物质生活水平的提高开始追求精神层面的需求满足,颇具体验性的军事拓展活动逐渐进入了人们的视线。国内目
目的:内镜下经蝶入路已成垂体瘤手术的首选术式,通过对我科37例垂体瘤患者的临床资料的回顾性分析,对垂体瘤的诊断、内镜经蝶入路手术的适应症、手术技巧、手术疗效、手术并发症
近年来,我国经济处于迅速发展阶段,产业链升级给中小企业带来了发展机遇。然而中小企业普遍存在经营规模较小,抗风险能力弱、自有资本少等特点,造成了融资难的困境。供应链金融的
随着商品标识如生产日期、条形码、品牌图案等标识的广泛使用,使得能够喷印这些标识的喷码机成了许多企业必备的设备。然而,国内对喷码机的研究起步晚,开发时间短,技术方面又与国
现代化虽是一个舶来的概念,但是一个不可抗拒的历史潮流。中国农村的现代化走过了一个简单模仿到自主探索的过程,当前的农村现代化本质上是中国人民自主探索中国特色社会主义道
许多动词如“搞”“干”“弄”“做”等因其使用的广泛性和意义的模糊性在现代汉语中被划分为一个小类——泛义动词。目前泛义动词的研究正处在发展的阶段,而其中的“弄”意
人感染结膜吸吮线虫较为少见,北京、河南及湖北省光化县等地曾有少数病例报告。最近我们在鄂西山区巴东县野三关公社发现眼结膜吸吮线虫患者1人,其周围猫狗同时受染。 Peop
家庭游戏设备,一个陌生的游戏市场 谈起游戏,国内的消费者们一定非常熟悉。从老幼皆宜的《斗地主》、《消消乐》到年轻人热情投入的《王者荣耀》、《魔兽世界》,谁还没有玩过一
随着经济全球化、工业化、科技化的迅猛发展,面对人口、资源、环境压力的日益加剧,世界已进入了所谓的“城市世纪”、“城市时代”。城市作为生产空间载体和人类生活的聚居地,日