分布式多线程Spider的设计与实现

来源 :现代计算机:下半月版 | 被引量 : 0次 | 上传用户:wuwei72323
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
搜索引擎已经是当今从浩瀚的网上资源获取信息的最快最方便的工具,因此也已成为计算机工业界和学术界争相研究、开发的对象。Spider是搜索引擎的核心模块,通过设计一个分布式多线程Spider景统.在实验中得到较好的测试结果。
其他文献
东莞供电局是特大型供电企业,年供电量达到600亿千瓦时,该局城域网处于光纤传输单链路运行状态。未建设备用通道,为保证城域网承载的OA、营销等重要系统的稳定性和连续可用性,建
傅立叶变换自提出之日,便受到以严格著称的数学家们诟病。傅立叶变换之所以对近代工程和自然科学产生了深刻的影响,在于傅立叶变换符合实际情况,给工程应用带来了极大的便利
目的:分析不同孕周发病的重度子病前期的临床特点其及对妊娠结局的影响。方法:回顾性分析我院2003年6月至2005年6月的重度子痫前期患者病例资料共计109例。按照发病孕周划分为3
近年来,在“三农”经济大踏步发展的同时,农村金融却受到体制的困扰渺现出了重重矛盾,对经济发展的支持渐感乏力。建没社会主义新农村对农村金融提出了更高的要求,全面深化农村金
蚁群算法是一种基于蚁群系统原理.具有自组织能力的、新型的启发式的优化算法.为了研究QoS路由问题.本文利用蚁群算法探讨该算法在网络中的应用.在网络应用中QoS路由的任务是在网
数据挖掘是当今数据库系统研究和应用领域中的热点问题.聚类是数据挖掘中的核心问题。I-Miner是一个企业级的数据挖掘工具,利用I-Miner软件进行聚类分析,将聚类结果呈现丰富的可
自七十年代以来我省普遍出现辣椒生育不良,植株矮缩,叶、花、果有时脱落的现象,致使辣椒产量大幅度下降。一般7月上旬开始发生,7月下旬至8月上旬达到高峰。8月中、下旬病情又
期刊
目的:探讨罗哌卡因辅以芬太尼腰麻用于剖官产的临床可行性.方法:将70例急诊剖官产术者,随机分为罗哌卡因组和布比卡因组.分别采用罗哌卡因10mg或布比卡因10mg+芬太尼10μg重
结合电子商务环境下对物流配送系统的需求,详细设计基于GIS的物流配送系统的功能结构;结合GPS和GSM技术,讨论动态路径调度的流程,以及电子商务环境下配送线路优化算法的选择。
企业网络链路负载均衡服务能够平衡网络链路的通信负载.根据实时响应时间进行判断,将任务交由负载最轻的链路来处理。提出一个双链路分别连接不同ISP的设计方案,该方案能够实现