随着互联网的发展，网络数据呈现指数级的增长，IDC数据表明，全球企业数据正以55%的速度逐年增长，大数据中蕴含着巨大的商业价值，引起了企业的广泛关注，然而，大数据给数据的同步、存储、和数据统计分析带来了一定的问题和困难，现有的工具逐渐无法有效的处理这些问题。Google首先推出了MapReduce用来应对其对大数据处理的需求。Hadoop是开源版本的MapReduce，并逐渐成为许多互联网公司基础计算平台的一个核心部分。本文旨在实现基于Hadoop的日志统计分析系统。本文在对此系统进行需求分析的基础上，设计了以Hadoop、HBase集群为基础，数据源层、存储层、计算层相互融合的体系结构，设计并实现了日志同步、统计分析作业定制、任务调度、数据查询四大功能。日志同步提供数据从不同数据源到Hadoop集群的数据收集、聚合和移动，以便数据的分布式存储；统计分析作业的定制支持MapReduce、Streaming、Hive三种不同类型的作业，满足对统计分析多样性的需求；任务调度对所有用户提交的作业进行统一管理和调度。数据查询对存储在集群中的数据提供多种查询方式。本文综合使用了Hadoop生态圈的各种开源技术，包括Flume NG、Sqoop、HDFS、MapReduce、Hive、HBase，从日志数据的收集同步，到日志的存储和计算分析，到最终分析结果的查询，涵盖了使用Hadoop进行日志统计分析的典型流程和技术。本文使用开发语言Java和shell，开发工具为Eclipse IDE，VIM，Hadoopeclipse-plugin。在多台CentOS机器之上搭建Hadoop集群，进行分布式存储和计算。用户通过统计分析系统进行日志同步、统计分析任务提交和调度、结果查询等操作。