在互联网逐步走向大数据时代的今天,行业中的各个部分都在不断的受到大数据的冲击,网络流量分析也不例外。随着网络带宽的逐步提升,网络流量数据也在不断增加。现有的数据量已经远远超出普通服务器所能处理的范围,而且还有继续大幅增长的趋势。于是,使用大数据平台成为了势不可挡的趋势。Hadoop平台作为业界广泛接受的分析平台,成为了最佳的解决方案。本文围绕Hadoop中MapReduce技术在网络流量分析中的应用展开,以实际生产环境为背景,设计了基于Hadoop的流量分析程序。程序以MapReduce为基础,实现了在大数据量情况下的数据分析,有效地将MapReduce的各项技术融入到分析程序中,使得分析程序更加高效、简洁。为了进一步提高分析程序的效率,本文对MapReduce作业的实现进行了分析。通过分析MapReduce框架的执行流程,总结了影响MapReduce执行效率的主要因素及其对作业运行时间的影响。同时通过实验验证了这些结论,证明了分析的正确性。最后,在分析结论和网络流量分析的任务特点的基础上,本文提出并实现了基于MapReduce的多作业合并组件。该组件主要针对网络流量分析中同一输入数据反复使用的场景,提供了一个接口简单的函数库,能让作业的编写者在几乎不需要修改代码的情况下,利用原生Hadoop框架,实现多个作业的合并运行。合并后的作业能通过一次读取输入数据,完成多个分析任务,从而有效地减少了数据读取所消耗的时间,明显地提高了分析任务的整体运行效率。同时依据实验,通过几个典型场景以及生产中使用的实际分析作业,验证了合并组件的效果,证明了这一解决方案的有效性。