据统计,全球云存储系统中有大约百分之三十到百分之六十的重复数据,对于普通用户个人的存储可以高达百分之七十。然而重复数据处理技术大多应用在备份领域,在文件上传之前进行重复数据处理研究相对较少。如果对在线数据去重进行详细设计无疑会对文件系统整体处理性能带来巨大的提升。针对云存储系统中文件系统层基础上的文件级数据去重技术,本文采用了一种客户端服务端任务划分的文件去重思路。其包含两个方面:首先是提出基于布隆过滤器的文件预筛选算法,其次提出了PIA算法用于文件递增分段摘要计算。最后基于上述方法,本文对整个去重系统进行了设计。首先,文件上传后需要经过预筛选环节,经过布隆过滤器和表分区中文件客观属性的对比,系统中不存在的文件将直接上传,不参与后续计算。其次,对于系统中可能存在的文件,在PIA算法中进行详细的比对,上传文件后客户端未完成的工作便由服务端继续完成。本方法在客户端逐层判断文件是否已经存在于系统中,将判断为不存在于系统中的文件上传到服务端,使之不参与客户端的后续计算,达到提升服务端资源利用率和降低客户端开销的目的。最后在FastDFS分布式文件系统中进行试验,并将本文提出的PIA算法与去其重组件FastDHT的全文件摘要算法对比。实验结果表明:在不降低重复文件删除率的情况下,本文提出的PIA算法相较于FastDHT的全文件摘要算法,具有时延小,CPU占用率低,内存占用低的特点,最优情况下去重时延降低至2ms,CPU利用率降低24.17%,内存占用率降低37.5%。