近年来,随着互联网技术的的高速发展和广泛应用,人类活动的每时每刻都会有大量的数据产生并进入计算机系统,我们将这些数据进行存储、分析和挖掘,并基于这些数据来提供各种多样化、个性化的应用和服务,这就是已经到来的云计算时代。云存储作为云计算的延伸和发展,其实质是向用户提供以网络为基础的在线存储服务,在大数据背景下,对海量数据的存储是云计算最基础的要求,当前大多是利用分布式环境来进行组织存储。但随着数据量的爆炸式增长,以及人们对数据要求的提高,当前的分布式架构也面临着高扩展性和高可用性的挑战。本文主要研究并实现了一个分布式文件系统,并基于该系统提供了一个云存储引擎。该系统以HDFS和Ceph为基础,通过将元数据节点(Name Node)进行分布式化的研究,最终提出了一个具有良好扩展性的架构,使得系统理论上具备支撑数亿级别的文件数据存储的能力。同时,通过对一些具有良好可用性系统的调研与分析,提出了一个适合本系统的高可用架构。系统通过使用Libevent+thread pool来提高对网络响应的高并发异步I/O处理,并利用流水线写数据技术来提高网络带宽的利用率。系统中的文件是以块的形式分布在数据服务器节点(Data Node)之中,每个块通过冗余存储在其他数据节点中保存了副本,从而保障了文件的安全性,防止了节点宕机时导致文件丢失。最后,该系统还支持集群新节点的注册和动态增加服务,具有良好的扩展性。本文主要完成的工作有:1、设计并实现了一个分布式文件系统,并基于该系统提供了一套完整的云存储引擎解决方案。2、实现了云存储引擎中文件相关操作模块的功能。3、以HDFS和Ceph文件系统为基础,实现了对分布式系统元数据服务器的扩展性改造,达到了海量文件数据存储的目的。4、在云存储引擎中采用了高可用性的架构设计,保证了分布式文件系统的单点可用性。5、采用冗余存储机制,达到了云存储引擎副本一致性管理的目标。