随着科技的发展,互联网行业得到了高速发展,国家也大力发展互联网+,其中大型服务架构,服务器集群,云计算,电子商务,社交通信等成为了科技领域最热门的话题,这些技术的发展,带来的是海量数据存储,大数据的处理以Hadoop的HDFS为代表,通用文件存储以Google的GFS文件系统为代表。但面对移动互联网的海量图片,信息等几kb到几十kb的小文件,他们的存储性能却无法达到要求。通用文件存储大多数都是基于GFS架构进行设计,GFS架构属于典型的集中调度的文件存储,通过中心节点Master完成系统的元数据存储和整体调度,Master维护着所有文件的元数据信息,同时负责调度读写请求到指定数据节点,数据服务节点注册,一致性修复调用等,这就导致了面向海量小文件时元数据占用磁盘空间巨大,严重浪费磁盘资源,同时所有请求都需要通过Master进行调度,当Master故障时整个系统将处于不可用状态。本文为了解决通用存储系统在小文件的不足,主要针对一下三方面进行深入研究:首先针对海量元数据带来的磁盘空间浪费的问题,通过构建文件存储的key值,将文件的元数据信息通过一定的协议固化在key上,通过这种方式间接实现了无元数据的存储。然后提出了一种无中心的架构,通过注册中心记录服务端提供的服务节点信息,如IP,端口等;然后系统划分为Server-Client结构,Client是提供给业务端的基础组件,业务系统通过Client与服务端进行数据传输,通过让Client集成负载均衡,协议解析,数据传输等模块,业务系统读取注册中心上的服务节点并本地缓存,通过监听机制,实时刷新本地的服务端列表,通过该机制可以让业务系统单独与Server进行交互,而无需多次访问注册中心,即使注册中心因为某种原因无法访问,短时间内也不影响Client对服务端的访问,真正做到了无中心架构,保证了系统任意一个节点出现故障时不会对整个系统的可用性造成影响。为了解决海量小文件造成的操作系统元数据增长,以及磁头寻道和磁盘旋转带来的IO性能问题,构建一种基于写入队列的合并存储机制,充分利用了连续存储空间带来的IO性能提升。最后通过对系统负载均衡算法的优化提出weight-link动态权重链表负载均衡算法,同时提出触发式一致性检测机制,从每个技术点进行局部优化,然后从整体带来质的改变,提升小文件存储的整体性能。最后通过和开源的WeedFS文件系统的并发实验对比,经过本文研究优化的小文件系统比WeedFS系统的稳定性有很大提升,且性能也要高于WeedFS。