随着互联网的快速发展,使得如何从海量的网络资源中快速准确地获取用户所需的信息成为一个关键问题。通用搜索引擎通过网页采集和索引为用户提供检索服务,但这种基于关键词匹配的检索方式,往往忽略用户真实查询意图的识别和匹配。垂直搜索引擎则通过缩小采集范围为特定领域和背景的用户提供专业化、定制化信息检索服务,是当前搜索领域研究的热点。主题爬虫是垂直搜索引擎的网页采集模块,在搜索路径上只保留与主题相关的网页,本文主要围绕主题爬虫的网页分析方法和搜索策略,探讨如何提高爬虫的指标性能。针对常用的基于最佳优先策略的主题爬虫易陷入局部寻优的缺陷,本文提出了一种基于改进遗传算法的主题爬虫,适应度函数用于衡量网页的综合价值,综合考虑网页主题相关度和主题重要性,采用向量空间模型计算网页文本内容与主题向量之间的相关性,利用改进PageRank算法衡量网页在互联网链接结构中的主题重要性,选择操作筛选出适应度较高的网页,交叉操作根据子链接主题重要性进行降序,变异操作则利用搜索引擎检索组合关键词。最后实现了一个基于改进遗传算法的主题爬虫,并通过实验验证,相比于已有遗传算法,基于改进遗传算法的搜索策略能在一定程度上提高主题爬虫的查准和查全率,扩大爬虫的搜索范围,更符合用户的主题检索需求。