大数据环境下面向电信行业数据管理平台的设计与实现

来源 :闽南师范大学 | 被引量 : 0次 | 上传用户:Tengshuo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的发展给传统企业的发展带来了冲击,不仅包括传统实体店线下销售的模式被电商冲击,还包括虚拟运营商对传统运营商的冲击,传统电信运营商需要顺应时代趋势做出相应转型。电信运营商必须面对如何处理海量数据的问题,以及如何提高运营效率来满足用户日益个性化的需求。本文尝试设计了一套面向电信行业的数据管理平台来简化对海量碎片化的数据处理工作,帮助运营人员制定精准营销方案来提高运营效率。在熟悉了数据挖掘相关理论知识及技术、分析了电信行业业务发展方向及数据特点、掌握了Web应用平台开发及数据存储等相关技术的基础上,本文做了以下工作:第一、利用Node.js开发技术,设计并实现了一套Web应用数据管理平台来展现对电信数据进行有效挖掘的直观结果,并尝试通过友好的交互体验来降低进行电信数据挖掘相关工作的技术门槛。第二、根据对电信运营商的用户数据、产品数据及历史营销数据的类型及特点的了解,制定了一套适用于电信运营商的数据流量业务的数据分析方案,并且构建了基于数据流量产品的用户细分模型。第三、针对数据存储,构建了Hadoop分布式存储系统的集群环境,利用分布式文件系统HDFS完成数据存储,通过分布式数据仓库Hive实现使用HQL进行查询分析。第四、针对数据的分析处理,利用R语言服务器程序Rserve操作Hive表中数据执行相关分析挖掘算法,并将结果通过RIO库传递到Web前端。利用支持实时双向连接的Web应用技术Node.js来建站,将Rserve做海量数据处理的后端服务器,分布式存储系统Hadoop来做数据存储,本文给出了实现电信数据管理平台的一整套解决方案,此方案性能卓越且有很高的粘性,可以方便地与其它相关主流技术进行结合与扩展。通过实际编码得到了数据管理平台的仿真结果,经测试,本平台能较好地完成数据的存储与分析工作,并且针对并发情况也能很好地处理,稳定运行。
其他文献
<正> 诺氟沙星(氟哌酸,1)化学名为1-乙基-6-氟-1,4-二氢-4-氧代-7-(1-哌嗪基)-3-喹啉羧酸,是1983年第一个上市的新一代含氟喹诺酮类合成抗菌药。目前估计已在70多个国家临床
古城是城市历史文化发展的见证,也是最主要的交通发生与吸引区域。城镇化与机动化飞速发展的同时,古城和其他片区间的人口流动也不断增长,且古城中数量最多的支路与街巷在交
<正>在国家长期推进法治化的今天,事实婚姻的上升趋势构成了对婚姻法律制度的极大挑战,这必然应该引起我们的重视和反思。我国《婚姻法》规定,申请结婚的当事人须亲自到婚姻
随着心血管介入技术的广泛应用,特别是在高龄、合并严重糖尿病、肾衰竭、心功能衰竭、容量不足等患者中的应用,对比剂肾病(CIN)越来越常见。该文结合近年来CIN防治指南和临床
设计了一种新型无毛刺冲孔模具.用该模具进行板料冲孔可实现无毛刺冲裁,孔的光洁剪切带长度可达材料厚度的80%~85%,并可显著提高孔的尺寸精度和形位精度,达到精密冲裁的加工效
<正>本刊综合预计沃尔特迪士尼公司董事会将在1月23日开会讨论收购皮克斯工作室相关事宜,如果收购成功,迪士尼公司将重登全球最大动画制作公司的宝座,同时计算机业界先锋 Ste
用超临界溶液快速溶胀法制备了醋酸泼尼松超细微粒,并采用单因素试验考察了影响制品粒径的因素。结果表明,增大萃取温度、预膨胀压力或收集距离,或减小预膨胀温度或喷嘴孔径
目的:探讨胃镜联合腹腔镜手术切除胃间质瘤的安全性、可靠性。方法:回顾性总结天津市人民医院消化外科自2004年7月至2009年3月共30例胃间质瘤患者采用胃镜联合腹腔镜手术切除
<正>患者男,46岁,因"中上腹隐痛1年、黑便半月"入院。查体:浅表淋巴结未及肿大,心肺听诊无异常;腹平坦,末见胃肠型、蠕动波,全腹浅静脉未显露,中上腹轻压痛,无反跳痛及肌紧张
<正> 用不完全氧化转化天然气的产物作为气体还原剂还原硫酸钠制取硫化钠的方法。其特点可以减少硫的损失并且增加产品收率。