论文部分内容阅读
由于计算机在21世纪的大规模应用与普及，硬件和软件以几何倍数的发展，极大推进社会的信息化前进的步伐。可是人们渐渐发现即使耗资巨大的服务器集群也开始不能满足互联网庞大用户每天需要地搜索需求、科研计算需求和数据存储需求，这样催生了云计算的出现和发展。 云计算恰恰不是将所有运算任务集中在超级计算机中，而是将计算分布在简单的PC机中，让这些PC协同工作完成运算任务，这样可以降低能耗、提高计算利用效率。由于巨型机能源的消耗和热量的散发得不到有效的解决，而普通的PC机的CPU和存储利用率又很低，所以Google想到了利用普通PC机来协同完成巨大的运算任务。云计算的出现，有效地解决了服务端的海量数据存储和超级计算能力不足的问题。 本文将通过开发一个小型云计算系统原型来详述云计算的两个关键技术:MapReduce和云计算文件系统。根据对云计算的技术深入分析和研究，提出了一个小型云计算系统原型。本文可以分为三个部分: (1)本文首先给出准确的云计算定义，而后具体阐述了云计算体系结构。并以Apache开源Hadoop项目为例，详细介绍了云计算的两个核心技术:MapReduce编程模型与分布式云计算文件系统及这两个技术在Hadoop项目中的架构和实现。 (2)在分析了这两个云计算核心技术后，本文主要要旨是设计一个小型云平台系统原型，它是根据Hadoop项目的主从式并行计算MapReduce与主从式文件系统这两大核心技术开发设计的。它具有云计算基本特点如:计算和存储的整合、文件的分布式存储、并行性计算等。 (3)本文论述的应用原型开发并经过测试证明其可用性。通过以上系统原型的实现说明云计算技术的框架应用可行性，从中深入理解云计算技术的核心理念，最后展望云计算未来的发展方向。