搜索引擎的出现为用户及其需要的信息之间建立了一座桥梁。不过,随着网页数量的快速增长,搜索引擎已经无法搜索互联网的所有网页,对下载的网页进行及时更新也成了问题。如何在有限的资源下搜索最有价值的网页,以及如何对网页进行最有效的更新,已经成为现代搜索引擎的重要研究方向。本文对搜索引擎的发展历史及现代搜索引擎的功能结构进行了介绍,并讨论了搜索引擎技术中网页爬行和更新存在的问题,在分析了现有实现技术优劣势的基础上设计了具有高度系统灵活性和扩展性的并行网页抓取系统,实现了网页的并行快速抓取。为了保证优先抓取高质量的网页,系统设计了基于网页链接重要性和路径重要性的启发式搜索算法,首先根据上述两个重要性计算网页的综合权重,然后根据网页的综合权重大小调整对网页的爬行顺序。爬行器在启发式搜索策略的指导下优先爬行那些比较重要的网页,提高了抓取网页的质量。为了实现网页库的高效更新,系统设计了基于贝叶斯的网页库更新算法,通过估算网页变化频率类别实现网页库中网页的分类更新,提高了更新效率和网页库的新鲜度。