基于Bloom Filter的网页去重算法

来源 :微型电脑应用 | 被引量 : 0次 | 上传用户:netxyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现在的互联网中存在网页重复的问题,这些问题将会使数据挖掘,搜索的复杂度加大。现有技术一些不足之处,针对互联网中的重复网页采用基于Bloom Filter的网页去重算法。使用了现有的网页去杂算法,对网页进行预处理,同时利用Bloom Filter结构大大降低了网页去重算法的时间复杂度和空间复杂度。从网页中提炼出表示网页特征的一些长句,从而把网页去重过程转换为一个搜索长句的过程,使用Bloom Filter减小了算法的时间复杂度。
其他文献
<正>奶牛养殖业作为新兴产业和朝阳产业,得到了快速发展,与此同时,奶牛各类疾病发病率尤其是普通病的发病率居高不下,严重影响着我国奶牛业的健康发展和乳品安全。徐孝宙等[1
随着社会的不断发展,现代社会对掌握变电设备的运行操作和维护工作特别重视。因为变电设备有没有到位这对用户的正常用电和各个企业的生产起到关键作用。因此,要防患于未然,
通识教育是高等教育的重要组成部分,起着尤为重要的育人作用。独立学院作为高等教育的一种独特形式,发展迅速,正在承担着日益加重的高等教育任务,其通识教育的发展状况如何,
作者结合教学实践,主要论述了初中科学课尾复习小结的功能、方法和应注意的问题。
就目前 Cu- Se系发黑液在应用中出现的问题出发 ,研制了一种新发黑液配方 ,一定程度上提高了膜层色泽、耐蚀性、结合力等性能指标 ,适合钢型范围广 ,可用于工业生产。
<正>开展课外阅读是新课程理念下开放式大语文教育不可或缺的组成部分,是切实提高学生语文能力的重要途径。通过课外阅读,学生还可以间接地向社会、向自然、向生活、向实践学
为了研究全身及局部应用抗生素治疗临床型乳房炎后病原菌的构成及比例,本试验对全身及局部灌注治疗后仍未痊愈的奶牛进行基本信息汇总并对乳样中病原菌进行形态学分离鉴定及1
热红外侦察是当前武器装备在战场中面临的重要威胁。本文阐述了热红外伪装的基本原理和手段,介绍了热红外伪装涂料用的颜料和粘合剂的发展现状,指出了现有伪装涂料的不足之处
本文介绍了UML2.0规约的修订过程和一些新特性,并且以高校的选课系统为例子,描述了UML2.0中的活动图,用况图,类图,顺序图以及通讯图相对于UML1.0的改进。最后还对UML的未来发
教育的定义应该是实然和应然的统一、事实判断和价值追寻的结合、科学性和艺术性的交融。教育是一种培养人的社会实践活动,是教育者和学习者在一定的活动中相互作用和影响的