新型分布式Web Spider的设计

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户：yidingtongguo

【摘要】

：

针对日益突出的网页访问问题,设计了一种新型分布式WebSpider。该分布式WebSpider采用中央控制节点来协调各个webspider的行为,利用宽度优先搜索来获得高质量的网页,通过对DN

【作者】

：

何绍荣鲜乾坤

【机构】

：

四川理工学院计算机学院

【出处】

：

计算机工程与应用

【发表日期】

：

2011年16期

【关键词】

：

中央控制节点宽度优先搜索线程搜索引擎 central control node breadth-first search thread search

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

针对日益突出的网页访问问题,设计了一种新型分布式WebSpider。该分布式WebSpider采用中央控制节点来协调各个webspider的行为,利用宽度优先搜索来获得高质量的网页,通过对DNS缓存来提高访问webserver的速度,以增加并行线程数量的方式来增加网页下载速度,并能动态地加入webspider节点和子中央控制节点,具有很强的灵活性和扩张能力。实验结果表明该分布式WebSpider作为搜索引擎的前端能够快速有效地下载网页,具有较好的性能。

其他文献

基于TCP友好性的网络流量均衡模型

随着多媒体流技术的快速发展，网络中的流量呈爆炸式的增长，UDP流所占的比例越来越大，具有TCP友好性的网络流量均衡是保证网络高效和稳定的重要措施。引入排队理论，采用分析的方法

期刊

传输控制协议(TCP)友好性流量均衡资源均衡度遗传算法Transmission Control Protoeol（TCP）-friendlyflow

PDTDFB变换和双变量模型在图像去噪中的应用

对金字塔复方向滤波器组和贝叶斯最大后验估计理论架构下的双变量模型进行研究的基础上,结合二者的优点,提出一种新的图像去噪算法。PDTDFB(Pyramidal Dual-Tree Directional Filter Bank)变换具有近似时移不变性、多尺度、多方向选择性好的特点;双变量模型充分突出图像分解后系数的尺度内和尺度间的双重相关性;对噪声估计方法做出了详细阐述。仿真实验表明,与已有的多尺度

期刊

图像降噪金字塔复方向滤波器组(PDTDFB)贝叶斯估计双变量模型image denoisingpyramidal dual-tree directio

中国现当代文学教学的实践性探讨

在当下中国现当代文学教学面临诸多困扰的情况下,教学方法的改革势在必行。针对学生不读文学作品的现象,要大胆引入影视文化资源和开辟第二课堂,激发学生阅读中国现当代文学

期刊

中国现当代文学教学方法教学实践

新型分布式Web Spider的设计

其他学术论文