信息技术的快速发展,数字资源的爆炸式增长对于数字图书馆既是机遇也是挑战。一方面数字图书馆的内容变得更丰富,可以为读者提供更高质量的服务;另一方面,数字资源的高速增长、多元化给数据整合带来了难题。本文选取了书目数据的整合过程,探讨了数字图书馆在海量的数字资源整合的过程中可能出现的问题以及相应的解决方案。　　 本文对图书查重进行了形式化的描述,并以此作为查重算法设计的依据。　　 现阶段书目数据的整合面临的最大问题就是数据规模较大,传统的算法已经不适应海量的数据。　　 数据划分可以有效的减少数据计算规模,利用数据子集的特征值判定整个数据子集是否可能存在与待查数据重复的数据可以有效的减少计算量,提高查重效率。本文提出了一个数据划分的标准,并提出使用覆盖绝大部分数据的字段,主题名作为划分字段。采用了以词为标准的划分方式,为词库中的每一个词建立一个数据子集,以数据子集中所有数据的主题名中共同包含词的为此子集的特征值。这是一种允许一条数据存在多个数据子集的划分方式。在数据划分的条件下,数据查重的计算过程可以分成计算候选集和数据判重计算两个过程。　　 采用分布式的计算模型可以有效解决单机计算能力有限的问题。并为系统性能的提升找到了便捷的方法。在分布式的查重模型中,将系统的节点分成了两类,一类是分发任务的任务调度节点,一类是执行任务的计算节点。在比较粗粒度、中粒度和细粒度的任务划分方式后,结合目标和现实条件选择采用了粗粒度的任务划分方式。　　 最后利用开发出的基于划分的分布式图书查重子系统进行了4个实验。实验显示,系统在效率上的得到了有效提升,索引中的数据规模的增长对于系统的性能影响并不明显,在恰当的查重子任务数据规模下,增加计算节点可以提高系统的查重效率。