随着云计算和大数据等信息技术的快速发展,现代社会迎来了大数据时代。数据呈爆炸式增长,特别是企业为了数据的安全,将数据周期性的备份到云存储中,产生了海量的重复数据,给云存储厂商造成了巨大的压力。为了消除重复数据降低存储开销,将重复数据删除技术运用在云存储系统中具有重要意义。本文从云存储数据备份实际需求出发,对重删技术中的关键步骤数据分块和指纹索引进行研究,提出了基于相似性检测的小窗口基于内容的分块算法Ultra FS CDC和基于相似度的段指纹更新策略以及相应的Top-k-Near-p指纹缓存预取方法;进一步设计并实现了基于重复数据删除的备份系统。具体工作如下:1、针对CDC算法分块过程计算开销高,分块长度分布不稳定,抵抗边界漂移能力差,检测低熵字符串能力差的问题,本文提出了Ultra FS CDC算法,Ultra FS CDC拥有较为综合的性能表现,其中速度比state-of-art CDC算法高2-10倍,分块稳定性与Rabin一样,低熵字符检测能力比AE-opt V2高40%但并不会影响分块速度,本文从理论和实验分析验证了算法的有效性。2、优化指纹索引中磁盘访问瓶颈问题,针对BLC算法的较高的磁盘写开销的缺点,本文提出以段的相似度来决定是否更新段标识的策略,同时利用数据段的相似性和空间局部性,设计了Top-k-Near-p的缓存预取方法。实验结果表明,本文所提方法与BLC算法相比,在不产生碎片的情况下降低60%以上的指纹更新开销以及提高15%以上的索引速度。3、设计并实现了一个重删备份系统;为了充分利用多核CPU计算能力,设计了流水线备份工作流,同时为了进一步缓解服务器指纹索引的压力,实现了双端索引的优化方法。最后,对重删备份系统进行功能和性能测试,另外将系统应用于Ceph云存储和云计算平台Open Stack镜像管理的场景中,实验效果表明备份系统能够高效的消除冗余数据,满足企业和个人备份需求;在Open Stack镜像管理系统中,节省了大量的网络带宽,缩减镜像存储空间,可为企业节省一笔可观的费用。