随着互联网的快速发展,人类的活动得以进一步扩展,各行各业累积的数据规模急剧膨胀,数据量越来越大,如何从海量的网络资源中快速准确地获取主题信息逐渐成为搜索行业研究热点。主题网络爬虫可以专业化、精准化的提高搜索信息的准确度。准确度的评价指标主要有查准率和查全率,查准率依赖于主题相关性计算,查全率则取决于网页搜索策略的选择。因此,本文围绕主题爬虫的两大关键技术:网页主题相关度计算方法和网页搜索策略开展研究工作。（1）主题相关性的研究。无论采用哪种主题相关度算法均离不开主题关键词确权。传统的确权方法是通过邀请相关有经验的专家对主题关键词进行确权,这种确权方式查准率虽高,但具有强烈的主观性和经验依赖性。为了解决这个问题,本文提出了一种基于改进五行环优化算法的主题关键词确权方法,在人工确权的基础上建立确权模型,对已有关键词在专家样本上进行训练,然后对模型进行测试评估,根据评估结果优化模型,直到查准率达到一定令人满意的值。（2）网页搜索策略的研究。深度优先搜索策略、广度优先搜索策略以及最佳优先搜索策略等算法在面向少量网页的爬行或者简单的网络结构时,具有优秀的搜索性能。但是,随着网页数目的增多,网络结构更加复杂时,这些常用的网页搜索策略搜索性能不高。本文提出的基于改进差分进化算法的网页搜索策略可以有效解决这些问题。（3）实践验证。为验证改进算法对主题爬虫性能的影响,本文将改进算法应用于中小型企业政策主题项目“中小型企业政策查询系统”,通过实验验证,相比常用的主题爬虫技术,本文算法能扩大爬虫的搜索范围,提高相关度计算精度,在一定程度上提高了主题爬虫的查准率和查全率,检索出的网页更加贴合主题需要。