当前各行业对安防报警设备的需求量越来越大,安防行业的结构化数据呈爆发式增长,同时也存在许多脏数据,尤其是相似重复记录,为数据的应用带来了极大的麻烦。现有的数据清洗算法主要是针对各行业定制的,无法直接在安防行业的结构化数据中使用。本文首先针对安防行业的数据特点对相似重复记录清洗算法进行了改进,然后开发了一个面向安防行业的数据清洗框架,最后将改进的算法嵌入到了本文设计的安防行业的数据清洗框架中。本文的主要工作和创新如下:(1)对近几年的数据清洗算法尤其是相似重复记录清洗算法进行了文献综述,分别对比了当前缺失值清洗算法和错误值清洗算法的优缺点,并且对相似重复记录检测算法和合并算法的改进方法进行了分析。然后还对现有的数据清洗框架进行了总结,并分析了其不适用安防行业的原因。(2)针对相似重复记录检测方法,引入了卷积神经网络,通过对LeNet-5模型的改进,提出了两种改进模型,一种是以词向量矩阵为输入的模型,另一种是以相似度矩阵为输入的模型。经过实验的验证,以词向量矩阵为输入的模型的精确率、召回率和F1值均在0.96以上,以相似度矩阵为输入的模型的精确率、召回率和F1值在0.98左右,最终对两个模型进行K折交叉验证,得出两个模型都具有较强的泛化能力。(3)针对相似重复记录合并算法,从四个方面改进了多趟近邻排序算法。分别是以分词为单位进行关键词提取加排序,使重复记录的位置更加接近;在同一类相似重复记录聚集的地方扩大窗口,使连通图更加完善;对被检测为相似重复记录的记录对进行再次检测,使效率和召回率都得到提升;将连通图中所有的最大团合并成的新连通图中的记录视为相似重复记录进行合并,排除成为相似重复记录概率较低的记录。(4)设计并实现了面向安防行业的数据清洗框架,并将本文提出的模型和算法嵌入到了框架中。为安防行业数据清洗工具开发提供了支持和参考。