【摘 要】
：
为了在大规模文档去重中提高相似数据检测的精度,对基于Simhash算法的大规模文档去重技术进行深入研究。在原有算法的基础之上对Simhash签名值的计算过程作出改进,引入ICTCLA
【基金项目】
：
国家自然科学基金(11501302)资助项目
论文部分内容阅读
为了在大规模文档去重中提高相似数据检测的精度,对基于Simhash算法的大规模文档去重技术进行深入研究。在原有算法的基础之上对Simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征值的词性与词长两大影响因素考虑其中。然后对产生的签名值进行汉明距离的比较,从而精确地判定出待比较者是否为相似数据。实验结果表明:改进的算法性能得到提高,并且总体优于Shingle算法和原Simhash算法。通过提高签名值的精度能够实现大规模文档中相似技术的精确检测,达到理想的去重效果。
其他文献
地面自动气象观测设备运行状态检测机制不足一直是困扰我国地面气象观测运行保障工作的一大难题。本研究从运行监控实际业务需求角度出发,在梳理现有业务运行地面自动气象观
<正>悠悠民生,服务为先;社会管理,创新为大。为确保城市管理社会创新体现时代性,近日城管局不断创新管理理念,把"以人为本、执政为民"的要求贯穿始终,以市民日常生活需求为着
由于具有原材料资源丰富、价格低廉、比容量较高等特点,钠离子电池被认为是最适合大规模储能的一种新型二次电池体系。与正极材料相比,钠离子电池负极材料的研究相对滞后,开
当前 ,现代信息技术与语文课程整合进入新的发展阶段。以多媒体和网络为核心的现代信息技术为课程的整合提供了物质平台和理想的教学环境 ;构建主义学习和教学理论为语文教学
随着社会实践的不断发展,传统人事行政管理体制下政府权力运作过于集中的弊端日益暴露出来。现代政府在人力资源开发过程中,应积极转变不合时宜的集权范式,适度分权,从而促进
<正> 一、课题提出的背景课题提出有两种方式:一种是教师提供备选课题,由学生结合自己情况自由选择;另一种是学生确定选题后,请教师指导,由教师提出修改意见后确定。我们选择
欧洲绘画史上钟情于苏撒拿这个宗教题材的画家很多,但苏撒拿在不同画家笔下却变成了拥有不同模样不同精神品质的女人,特别是在不同性别画家的画笔下。笔者对两幅同名画进行比
<正>甘肃省天水市充分发挥宣传教育的先导作用,坚持环境宣传、媒体宣传、活动宣传、载体宣传、物化宣传、监督宣传"六位一体"的人口文化宣传模式,建立"保障有力、纵横联动、
黄秋葵蒴果肉质润滑,富含多糖和果胶,具有加工产品丰富及保肝强肾功效特点,近年来在龙海市得到快速发展。为了充分发挥其新优品种及保健蔬菜的强大市场优势,特总结出黄秋葵在
年画历史悠久,其中的童子图像是人物题材中的典型代表,具有其独特的艺术魅力。本文从年画中童子图像的艺术原型、不同历史时期的特征、艺术特色、现实意义等几个方面,来阐述