论文部分内容阅读
互联网的发展给传统企业的发展带来了冲击,不仅包括传统实体店线下销售的模式被电商冲击,还包括虚拟运营商对传统运营商的冲击,传统电信运营商需要顺应时代趋势做出相应转型。电信运营商必须面对如何处理海量数据的问题,以及如何提高运营效率来满足用户日益个性化的需求。本文尝试设计了一套面向电信行业的数据管理平台来简化对海量碎片化的数据处理工作,帮助运营人员制定精准营销方案来提高运营效率。在熟悉了数据挖掘相关理论知识及技术、分析了电信行业业务发展方向及数据特点、掌握了Web应用平台开发及数据存储等相关技术的基础上,本文做了以下工作:第一、利用Node.js开发技术,设计并实现了一套Web应用数据管理平台来展现对电信数据进行有效挖掘的直观结果,并尝试通过友好的交互体验来降低进行电信数据挖掘相关工作的技术门槛。第二、根据对电信运营商的用户数据、产品数据及历史营销数据的类型及特点的了解,制定了一套适用于电信运营商的数据流量业务的数据分析方案,并且构建了基于数据流量产品的用户细分模型。第三、针对数据存储,构建了Hadoop分布式存储系统的集群环境,利用分布式文件系统HDFS完成数据存储,通过分布式数据仓库Hive实现使用HQL进行查询分析。第四、针对数据的分析处理,利用R语言服务器程序Rserve操作Hive表中数据执行相关分析挖掘算法,并将结果通过RIO库传递到Web前端。利用支持实时双向连接的Web应用技术Node.js来建站,将Rserve做海量数据处理的后端服务器,分布式存储系统Hadoop来做数据存储,本文给出了实现电信数据管理平台的一整套解决方案,此方案性能卓越且有很高的粘性,可以方便地与其它相关主流技术进行结合与扩展。通过实际编码得到了数据管理平台的仿真结果,经测试,本平台能较好地完成数据的存储与分析工作,并且针对并发情况也能很好地处理,稳定运行。