随着信息化时代的发展,各种各样的数据随之而来,数据结构多样化以及数据规模对相关技术提出了巨大挑战。对于处理大数据的许多应用,MapReduce编程框架的优势很明显,在谷歌、阿里巴巴等国内外著名互联网公司得到很好的应用。目前高性能计算机的性能不断提高,在生物、天体物理学等领域得到广泛应用。因此,能否充分利用现有的高性能计算平台并在其上高效部署和使用MapReduce编程框架成为了人们关注的热点研究问题。本文在高性能计算机上成功部署MapReduce编程框架的基础上,分析其在I/O过程以及任务调度中存在的问题,对存在的问题深入剖析,并提出优化方法。本文的研究工作主要包括以下几个方面。(1)研究了面向高性能计算平台的Hadoop框架涉及的理论和技术,对MapReduce编程模型以及主要I/O过程进行深入的分析。MapReduce编程模型直接部署在高性能计算机上,会产生兼容性、数据本地化优势减少和I/O竞争加剧等问题。目前该课题研究主要集中在对中间数据网络传输和存储方式的优化,取得了一定的效果。本文结合目前研究成果,对任务调度和存储资源管理等方面进行进一步优化。(2)对于面向对象存储系统高性能计算机的Hadoop平台,提出一种基于节点网络内存的shuffle过程优化策略,并设计了任务调度和文件系统两个层次的实现方法。同时针对共享文件系统处理中间数据和临时数据的I/O效率问题,提出了一种基于均衡调度的高性能计算平台的Hadoop框架I/O优化方法。通过分析各存储节点的I/O负载信息,实时选择存储目标,从而实现存储系统的动态负载均衡。(3)对于面向多层存储架构高性能计算机的Hadoop平台,提出了一种I/O加速节点多分组的任务调度方法,利用节点对应不同reduce任务中间结果量优化调度策略。对于多作业的情况,提出了基于存储服务隔离的I/O服务质量维护方法,为高优先级的作业提供独立存储服务,保证存储服务质量。(4)在对象存储系统高性能计算机和多层存储架构高性能计算机的模拟实验环境中分别对上述几类优化方法进行实验验证。通过与现有方法进行对比,验证优化方法的效果,并对实验结果进行深入分析。