随着大数据时代的到来,数据已呈爆炸式的增长,海量数据的存储已成为数据中心的首要问题,重复数据大量存在于信息处理与存储的各个环节中,如文件系统、邮件附件、web对象以及操作系统与应用软件中。传统的数据保护技术如周期备份、版本控制、快照等更是加速了重复数据的增长,导致网络带宽与存储资源的消耗以及存储成本的增加。为了提高存储资源利用率,降低数据管理成本,重复数据删除技术的提出与应用已经成为目前企业与数据中心的研究热点。云存储服务具有高可靠性、高通用性、高扩展性及大容量存储等特点,因此对云存储技术的研究不仅紧跟IT技术发展的趋势,而且具有较高的应用价值。在云存储环境中构建大规模、高性能、分布式重删系统,具有很大的优势与挑战。本文在云存储环境中设计了一套在线的集群重删系统架构,并在数据路由问题、索引查询优化问题等方面进行了相关研究,主要完成工作有：(1)基于开源的HDFS分布式文件系统,以集群重复数据删除技术为基础,设计并实现了具有重复数据删除功能的分布式文件系统H-Dedup。根据重复数据删除技术的特征,合理设计系统架构与软件功能模块,使得重复数据删除技术有效融入集群存储架构中。(2)设计面向重删的局部相似路由算法,基于数据相似理论,以超块粒度为路由单位,并对超块进行采样,选取少量特征指纹,以有状态路由方式进行路由匹配,减少网络带宽消耗,快速定位存储位置。使得分布式存储系统在保持较高的存储性能以及吞吐率的同时,快速定位存储节点并取得较高的数据去重率。(3)为了缓解索引查询过程中磁盘瓶颈问题,设计了基于内存的相似索引表,进行数据局部去重,以避免出现大量的磁盘随机读写现象。根据数据的局部性特点设计了全局LRU缓存,最大程度维护和利用数据的局部性,减少磁盘访问次数；为了弥补单节点内低去重率问题,设计了基于访问频率的容器热点指纹索引,提升单点内的数据去重率。