论文部分内容阅读
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署.实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用.
双结构网络中URL去重机制研究
【摘 要】
：
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署.实验结
【机 构】
：
东南大学计算机科学与工程学院
【出 处】
：
太原理工大学学报
【发表日期】
：
2016年1期
【基金项目】
：
国家863计划课题基金资助项目:基于内容聚类与兴趣适配的高效内容分发技术(2013AA013503);国家自然科学基金资助项目:具有互补双结构的新型网络及关键技术研究(61472080);中国工程院咨询研究基金资助项目:国家第二网络战略研究(2015-XY-04)
其他文献
氯乙烯单体(vinyl chloride monomer, VCM)是一种重要的化工原料,主要用于合成聚氯乙烯。随着石油工业的迅速发展,氯乙烯的产量在全球直线上升。我国目前年产量约占全球产量
新中国成立以后 ,在相当长的一段时间内 ,毛泽东几乎是中国唯一的教育改革家和教育思想家。抛开那些非教育的因素 ,即那些过于偏激的非理性的破坏性做法 ,冷静地探讨晚年毛泽
研究者以239名10岁、11岁和12岁的儿童为实验对象,采用四种作业时间(2分钟、4分钟、6分钟和8分钟)和两种指导语导向(无导向、导向独特性)为实验条件,考察了这些条件对儿童发
卧式车床中六功能式进给箱的用例赵奋盾古晓利古纯效（山西省机电设计研究院）（山西省轻工业品进出口公司）（太原工业大学）卧式车床中的进给箱，可按不同的特征进行分类，若按其功能的多少