当前,随着计算机和信息处理技术的迅猛发展,应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。传统的存储技术在面对海量数据的挑战时显得愈加的乏力。由Apache基金会研发的分布式计算平台Hadoop,迅速成为了大部分科研机构和企业进行大数据研究的首选。与此同时,随着互联网行业的强势崛起和快速发展,催生出了海量的不同类型的小文件,而Hadoop最初的设计主要是针对大文件的存储,而对海量小文件的存储并未多加考虑。如果将海量的小文件不经任何预处理直接上传至HDFS,将会造成NameNode内存中元数据臃肿和文件访问效率低下的问题。利用Hadoop在大文件处理方面的优势,基于合并的思想对小文件进行优化处理,可以使得Hadoop同样适用于海量小文件的存储。在海量小文件优化方案实施之前,本文首先对NameNode的内存消耗和访问效率进行了量化分析,得出了可以从减少NameNode所管理的文件数量,减少DataNode从磁盘上获取数据块的时间消耗等方面着手的结论。本文的合并方案是基于MapFile实现,在进行小文件合并操作的同时为其创建索引,并将索引信息存放至HBase中,同时为了加快文件的检索效率,引入了缓存功能模块,针对小文件的特性采用了改进的缓存置换策略。鉴于HDFS提供的Hadoop Shell和Http访问方式并不能为用户带来直观清晰的体验,对文件的操作也不是很方便,本文中设计实现了一个基于CBFS的虚拟文件系统。通过该文件系统将远端的HDFS虚拟化为本地Windows文件系统中的一个磁盘,给用户带来直观体验的同时,大大方便了用户的操作。最后通过将本文提出的优化方案,与原始HDFS和Sequence file进行测试对比,发现不论是NameNode的内存高消耗还是文件访问的高延迟问题都有所改善,证明了本文提出的小文件优化方案的可行性和有效性。