随着数据量的日益增长,大数据的可用性却不断下降,数据质量问题的重要性日益凸显。低质量的数据经常会导致误导分析结果和有偏见的决策,并导致收入、信誉和客户的损失等。为了使数据能够满足用户不同操作下的所需要求,对数据质量相关的研究成为数据管理领域的重要工作。完整性是衡量数据质量的核心标准之一。数据完整性是指数据相对于所描述的客观世界的完整程度,具有高完整性的数据集可以帮助企业进行信誉评估,结果分析和决策。因此对数据集进行完整性评估,对识别高质量的数据至关重要。然而在大数据集成环境下,对数据集进行完整性评估,存在许多挑战。首先,要想获得精确的元组完整性评估,我们需要访问所有数据源的元组。在当前的大数据背景下,这会带来巨大的时间成本,是不切实际的。其次,在实际情况中,很多数据集并不存在唯一标识的元组ID,再加上描述同一实体的元组在不同数据集中可能存在一些数据描述上的不一致,这会导致我们很难判定哪些元组是指代真实世界中的同一实体。第三,在众多研究中,缺乏统一的数据完整性评估模型,无法给出数据集的元组完整性评估系数。本文考虑从多数据源的角度,对目标数据集的元组完整性进行研究。基于数据压缩的相关理论和技术,本文同时考虑了基于元组ID和元组匹配规则的完整性评估,主要研究成果如下:1.本文研究了基于元组ID的元组完整性评估。提出了从多数据源的角度对数据集的元组完整性评估,利用数据压缩设计了对数据源构造签名的随机算法。该算法在不直接访问元组ID的情况下,对目标数据集的元组完整性进行评估,并对算法的有效性和效率进行了分析。在真实数据集和合成数据集上的实验结果表明,我们所提出的随机算法可以对目标数据集的完整性进行有效的评估,在效率和性能方面明显优于用于对比的精确算法。2.本文研究了基于元组匹配规则的元组完整性评估。在数据集不存在唯一标识时,利用元组匹配规则进行实体识别。首先,定义了基于元组匹配规则的数据完整性评估模型。其次,设计了利用元组匹配规则在元组层构建第一层签名,对得到的第一层签名集构建数据集层的第二层签名的二级随机算法。在真实数据集上的实验结果表明,二级随机算法具有很好的可扩展性,可以有效的对基于元组匹配规则的目标数据集的完整性得分进行评估。