近年来,随着信息通信技术的发展,各行各业对其系统的数据采集、处理和积累的数据量越来越多,数据量呈爆炸式增长。在此背景下,大数据在各个领域得以高速发展,全球正大步迈向大数据新时代。随着数据量越来越大,数据的高效存储和实时分析处理等需求也随之被提及。想要从海量的数据中既快速又有效的分析出对于我们有意义的数据信息,就需要一套贴合实际业务需求的数据实时统计分析系统。电商行业作为互联网行业,在如今的大数据时代,同样也面临着相同的挑战,目前主流的电商数据分析都是基于非实时数据的,存储的往往是T+1的数据,无法满足对数据的实时处理的需求,有些企业把调度调整到半天甚至更短。这种方式具有耗时较长以及高吞吐量,只满足对时效行不高的场景需求。本论文为满足实际业务中的实时数据统计分析需求,基于Flink技术实现对用户产生的行为数据以及业务交易数据进行实时分析。本论文分为四大模块,分别为数据实时采集,数据建模,数据实时统计分析以及数据接口可视化。数据实时采集模块中日志数据通过Nignx实时采集至Kafka中,业务数据采用Flink CDC实时同步到Kafka消息队列,事实数据和维度数据分别存入下一层Kafka中和Kudu数据库,通过Flink拉取Kafka上的业务数据进行实时处理,计算结果实时写入至Kudu中;结合实际需求场景对接收到的数据进行数据建模,设计合理且复用性高的宽表。最后的统计分析通过接口传输给前端Sugar大屏展示。本论文主要应用于电商行业的大数据实时分析。本系统满足运营人员对实时流数据进行在线实时处理分析,运营人员可以直观的从Sugar大屏上实时的看到商城营销数据分析。本系统可以通过错误日志分析模块使线上App的错误日志预警得到即时响应。本系统同时也为推荐算法部门提供模型训练数据,以及本系统的接口和宽表层数据可以作为模型入参,为商城的实时推荐提供不可缺少的数据源。