海量销售数据处理平台的设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:chiale
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来伴随着云计算技术和大数据处理技术的飞速发展,数据分析与数据挖掘等领域在企业中越来越被重视。通过对数据的处理,可以帮助优化现有的业务处理流程,甚至为企业制定今后业务的发展方向提供必要的数据支持。所以在各个行业各个领域里,数据已经变成企业的财富,希望利用新兴数据处理技术获取数据的潜在价值。在每个企业发展过程中,无疑积累了大量的与销售活动相关的数据。这些数据中囊括了客户信息、产品信息和合同信息等等,种类繁多且数据量庞大。然而,这些数据往往很少能够被充分利用,更多的是用作绩效考核以及信息查询。云计算技术及大数据处理技术出现之前,传统的数据处理方式已经不能在有效的时间范围内处理如此海量的数据。本课题利用云计算和大数据处理技术对隐藏在销售业绩背后的大量数据进行分析和挖掘,设计并实现一个高效的、易用的数据处理平台。希望通过本数据处理平台,可以帮助简化,甚至优化现有的业务处理流程,并能够为业务发展方向的制定提供必要的数据支持。本文首先介绍了本课题的研究背景和意义以及主要内容,然后对本课题中使用到的主要技术进行阐述。在此基础上,结合这些技术的特点、业务数据的特性和业务需求,论述了平台的设计方法和实现方式,提出了具体的系统解决方案。并重点对两个具有代表性的共通数据处理功能和跨平台数据聚合功能进行详细说明。最后通过系统测试验证功能的正确性,通过大数据量的测试验证数据处理的高效性。本课题寄希望借助云计算技术和大数据处理技术的特点,提高系统资源使用率的同时,可以把海量数据的处理时间控制在可以接受的范围内。数据分析和挖掘处理利用Hadoop的MapReduce计算框架对海量数据先拆分然后并行分析处理,使海量数据的处理速度达到质的提升。由于销售相关数据分布在多个独立的外部既存系统中,在数据分析处理之前需要把所有的相关数据聚集到本处理平台的基于Hadoop的HDFS(分布式文件系统)的数据仓库中。例如,客户信息需要从客户信息系统中获取,产品信息需要从产品管理系统中获取,合同信息需要从合同管理系统中获取等等。另外,为了确保本数据处理平台的数据有效性,将会定期与其他外部既存系统同步所管理的信息。基于用户可操作性的考虑,本数据处理平台以网页的形式呈现给用户。用户可以通过网页提交每一个数据处理请求,然后通过网页查看处理结果或者下载处理结果文件。网页作为与用户的接口,需要简单实用,便于用户操作。数据处理结果以表格、图表等形式呈现给用户,方便用户查看,同时用户也可以下载原始的数据文件。目前,本数据处理平台的系统设计和主要功能实现已经基本完成,某些次要功能还在设计并不断完善中。用户已经可以通过本数据处理平台获取数据分析结果,并给与了积极的反馈。同时,大数据处理功能和跨平台数据聚合功能的测试结果表明本数据数据处理平台的数据处理性能已基本达到了设计目的。
其他文献
煤炭是我国经济和社会发展的重要能源基础。随着开采深度的增加和开采条件的劣化,采煤工作面底板突水问题愈加严重,因此研究底板突水的发生和发展规律具有重要意义。本文首先
利用2005年第二次土地调查矢量数据等数据资料,运用景观生态学理论与Voronoi图Cv值相结合的方法分析了黑龙江省宝泉岭垦区农村居民点的空间分布特点,同时结合GIS手段对影响农村
对多种类型测量审核活动的结果评价方法进行较为系统的研讨。关于测量审核重复性评定:采用单一试样时,可依据方法重复性限r评定;采用能力验证分割试样时,可依据稳健统计实验室内Z
诗歌翻译是属于特殊的艺术范畴,它与文学创作相类似,但有其独特的美学原则,艺术内涵和技术方法。通过美学理论研究诗歌翻译,对于如何的理解翻译活动有着重要而深远的意义。《
挥发性有机化合物如甲苯等是一类主要的大气污染物,对人类健康及生态环境有很大的危害。研究开发有效去除空气中甲苯的方法具有重要意义。催化氧化是一种较为有效的去除方法,
我国经济步入新常态以来,伴随国家“双创”政策引领,小微企业迅猛发展,商业银行面临较为严峻的内外部经营环境,如何加快金融服务战略转型调整,开启小微金融服务改进的新方略
大数据时代早已来临,将大数据技术应用到公共治理领域更有利于我国政府的管理与国家的发展。我国在大数据技术应用方面与西方发达国家相比还有很大差距,存在大数据意识淡薄、
目前,随着我国新课程改革进程的不断推进,如何在日常教学中培养学生的创新意识及创新能力,成为教学中的重点问题。以往的教学经验表明,美术教学对于培养学生的创新意识及创新
铁路货运量是衡量铁路竞争力的关键性指标,对货运量及其发展趋势的准确预测与把握,可为铁路运输组织及各级运输管理方案的制定提供重要依据,为发展铁路货运提供可靠的数据支持。目前国内外关于铁路货运量预测的方法研究较为深入,各种模型的预测性能和适用条件各不相同,因此应根据待预测的对象来选择合理的预测方法,充分发挥各预测方法的优点,保证预测结果的可靠性。SVM(支持向量机)是基于统计学习理论的一种学习方法,具
目的 建立一种模拟面神经爆炸伤的动物模型。方法 麻醉下在距犬面部 5cm、10cm、15cm处放置雷管模拟爆轰波致伤效应 ,并在雷管爆炸同时 ,用滑膛枪发射钢珠弹致犬同侧咬肌切