【摘 要】
：
数据从来源端经过抽取、转换、加载至目的端的过程称为ETL.在三网融合和5G移动业务广泛开展,运营支撑系统数据库数据量日益增大及数据个性化需求增多的背景下,海量数据自动化处理及可视化实现成为迫切的需求.本文介绍了当下主流数据ETL的过程节点与技术方案,并经过多种方案的综合对比,最终选取Python+Kettle+Streamlit模块技术方案的开发应用.该方案解决了数据ETL依赖人工及时效性不高的问题,减少了数据开发人员重复编写大量SQL及数据脚本工作量,节省了大量运营维护时间,实现数据结果集直观展示.
论文部分内容阅读
数据从来源端经过抽取、转换、加载至目的端的过程称为ETL.在三网融合和5G移动业务广泛开展,运营支撑系统数据库数据量日益增大及数据个性化需求增多的背景下,海量数据自动化处理及可视化实现成为迫切的需求.本文介绍了当下主流数据ETL的过程节点与技术方案,并经过多种方案的综合对比,最终选取Python+Kettle+Streamlit模块技术方案的开发应用.该方案解决了数据ETL依赖人工及时效性不高的问题,减少了数据开发人员重复编写大量SQL及数据脚本工作量,节省了大量运营维护时间,实现数据结果集直观展示.
其他文献
本文结合江西广电网络互动点播云平台的实际情况,从媒资、应用、管理、系统等方面对个性化特色专区制作的建设思路进行了介绍.
县级融媒体中心是执行中央推动传统媒体和新兴媒体融合发展的主体,而针对县级融媒体中心乃至传统媒体传播效果的评估体系一直是学界和业界攻关的重要课题.本文研究梳理了县级融媒体中心传播效果体系构建的现状,综合考察指标体系、数据获取、主客观赋权等因素,建构了三级梯度的指标评价体系,并在主观赋权的层次分析法和客观赋权的熵值法基础上二次加权,最终形成一级指标传播力、引导力、影响力、公信力的权重,各指标与权重相乘,得出最终的传播效果评价.
动力环境监控系统(简称动环监控系统)是各类机房安全运行的重要保障.江西广电网络云数据中心的供配电、不间断电源、精密空调、安防、消防等系统中都安装了动环监控系统,极大地提高了数据中心运维的可靠性.本文主要介绍了江西广电网络云数据中心根据自身需求规划和设计的动环监控系统.
随着人们对健康饮食的日益关注,有“移动厨房”之称的便携式电加热饭盒因即热即食、省时省事而快速走红.现介绍了便携式电加热饭盒的行业现状,对该产品的质量问题进行了分析并提出建议,以期有助于提升产品的质量和安全性能.
标准物质作为分析测量行业中的重要测量手段,在质量控制等领域起着不可或缺的作用,标准物质的期间核查是保证标准物质测量数据准确可靠的重要依据,是控制实验室质量的一种简便有效的方法.文章结合标准物质的定义和适用性给出了标准物质的几种期间核查方法,比如外观检查、保存条件、重复性、稳定性、核查质控样品、参加能力验证或质控图等,采用这些方法对不同的标准物质进行期间核查,从而更好的保证实验室测量结果的可信性.
主干光缆监测管理系统的数据管理是主干光缆线路运维数智化的关键.本文重点研究影响地理信息数据、光纤光学长度数据精度的因素,并讨论数据采集的需求及实施方案.实际应用情况表明,数据的精准采集及维护对光缆线路数智化运维有较好的提升作用.
随着大数据与大数据思维的发展与成熟,基于大数据技术的智慧安防建设正成为现代安防行业发展的主旋律.本文结合安防大数据技术的发展现状、存在问题和应用趋势等,探讨未来智慧电台安防系统建设的思路.
在现今的信息化浪潮之中,应急广播与新媒体的融合发展将有助于更好地发挥自身在防灾救灾等方面的优势,并推动应急广播的优化转型.本文对媒体融合发展下的应急广播体系建设进行了一定的分析和研讨.
随着千兆网络的发展,有线运营商正在积极部署XG-PON设备,以增强有线网络竞争力.本文从背景、系统互通必要性、系统互通实现方式等几个方面,提出有线电视网络用XG-PON系统互通的相关建议.推进XG-PON系统互通以及OLT和ONU解耦,能够为实现网络规模发展和降低网络建设成本提供技术支撑.
ODM模式是一种委托生产制造模式,以ODM模式方式申请CCC认证证书在强制性产品认证中十分常见.ODM模式的认证通常会免除初始工厂检查和型式试验,认证成本低,大大为企业减轻了负担,但是在认证过程中存在个别制造商套用CCC证书、申请不规范等风险.现以儿童用品强制性产品认证为例,对ODM模式申请认证的过程进行风险分析,并从申请资料评审、获证后监督管理等方面提出了应对建议.