随着互联网技术的飞速发展,人们在工作和生活中对互联网信息的需求也越来越多,搜索引擎技术的重要性越加明显。互联网信息在很多方面都有非常广泛的应用,搜索引擎技术已经深入人心,融入人们的生活,对人们的生活影响越来越大,而网络爬虫是搜索引擎中非常重要的一个部分。目前,基于单机的网络爬虫抓取能力已经不能满足当前互联网的需求,这样就促使了基于分布式网络爬虫技术的出现。构建分布式系统,多台机器有效的合作分工,提高了超大数据量的计算速度,提高了网络爬虫的抓取性能。运用分布式存储,对整个系统数据的存储的性能也能大大提高。本文详细介绍了分布式网络爬虫,设计并实现了基于Hadoop平台的分布式网络爬虫,以解决单机网络爬虫的速度慢、效率低下等问题,本文的主要研究工作如下:(1)介绍了搜索引擎技术,分布式网络爬虫的工作原理和关键技术,分布式网络爬虫整体系统的架构设计,分析了关键组成模块的具体实现流程和实现原理,各模块的MapReduce的实现方式。(2)针对网页抓取模块的已有算法影响抓取内容和抓取速度的问题,提出了 URL权重算法的优化方法,在抓取过后,对URL的过滤和去重也是极其重要的环节,对URL去重策略也进行了优化,解决了网络爬虫抓取方面速度慢、抓取内容冗余的问题,大大提高了网络爬虫抓取速度和准确度。(3)搭建分布式系统的测试环境,从功能性测试、性能测试、可扩展性测试三个方面设计了测试方案,并对URL权重算法和URL去重策略优化前后进行了对比测试。总之,本文的意义在于设计实现了分布式网络爬虫系统,在一定程度上解决了单机爬虫效率低、可扩展性差的弊端,提高了网络爬虫采集信息、网页抓取数据的速度和质量。