近年来,大数据已成为科技界和企业界关注的热点,具有广阔的研究和应用前景,但面临处理时效性与数据可用性等诸多挑战。大数据处理任务经常在数据变化较小的情况下不断重复运行,这是大数据处理的一个主要形式。大数据增量变化的特性表明以增量的模式进行大数据处理能够极大地提高性能。为此,本文针对如何在云环境下高效地进行增量大数据管理进行研究,侧重于大数据存储模型、并行处理模型、任务调度策略三个方面,构建了基于Hadoop平台的增量大数据处理框架。主要工作包括。(1)提出支持增量处理的大数据存储模型,为大数据并行处理提供基础保障。在Hadoop环境中对分布式文件系统进行增量存储设计,使用Rabin指纹算法实现对用户输入的数据进行基于内容的数据分块,增量处理时判断分割数据块的重复性,即可实现增量处理框架高效地使用上次处理的中间结果。(2)提出适用于大数据增量处理的并行处理模型与算法,提高大数据并行处理的效率。此模型主要实现增量Map和增量Reduce模型设计,增量处理时通过判断处理的Map (Reduce)任务是否相同,实现重复使用存储服务器存储的中间结果,提高增量处理的并行处理效率。(3)提出基于负载感知的公平调度策略,合理利用资源。为平衡每个TaskTracker的工作负载,综合考虑每个运行Slaves的负载参数,通过实时监控各个Slaves的工作负载值来判断是否需要对其上的Mapper和Reducer进行任务的重新分配,以此实现高效、合理地使用集群中的各种资源。总之,本文研究了基于Hadoop平台增量处理的问题,提出了新颖、有效的解决方法,解决了在原有系统中低效、耗时的问题。实验结果验证了这些方法的有效性和高效性。