随着互联网呈现爆发式增长趋势,数据越来越成为大家关注的问题,然而现有Hadoop框架在处理小文件问题时出现了很大的瓶颈,本文针对小文件的特点和Hadoop框架的特点给出两种解决方案。Hadoop分布式文件系统HDFS由名字节点和数据节点构成,当海量小文件存入HDFS后,由于名字节点中记录了文件的元信息,海量小文件会大量占用名字节点中的内存,因此降低名字节点的内存消耗成为一个重要的目标。在读取文件时,由于客户端需要先后与名字节点和数据节点发生数据交换,所以使用合理的方法加快文件访问速度是另一个重要目标。本文将小文件分为结构相关小文件和逻辑相关小文件,前者小文件间有明确的关联性,对其采用文件合并策略,建立本地索引策略,将小文件合并成一个大文件,并使用三级缓存和预取,减小名字节点的内存消耗及小文件的读取时间。后者小文件间没有明确的关联性,采用文件分组策略,建立全局索引策略,将小文件放到同一个逻辑单元中,并使用三级缓存和预取,减小名字节点的内存消耗及小文件的读取时间。