随着互联网资源的迅速增长和信息环境的日益复杂，追求高网络覆盖率的通用搜索引擎己无法满足用户更专业更精确的查询需求，因此，面向主题的搜索引擎应运而生。主题爬虫作为主题搜索引擎的重要组成部分，其采集资源的准确率和质量直接影响着主题搜索引擎的性能。通过对主题爬行中文本分类和搜索策略两个关键技术的研究，指出传统信息增益特征选择方法存在的两个不足：其一是没有对特征项的词频给予足够的重视；其二是错误的提高了在一个类别中出现次数不多而在其它类中经常出现的特征项的权重。并指出经典PageRank算法直接应用于链接主题预测容易出现“主题漂移”问题。　　 首先，针对传统信息增益特征选择方法存在的两个不足，综合考虑词频和词条在类间的集中度和在类内的分散度对特征项分类能力的影响，提出了一种基于信息增益的特征优化选择方法，实验结果表明，改进的算法有效地提高了分类的精度。　　 其次，针对经典PageRank算法直接用于主题预测存在的问题，利用网页的标签结构信息对网页进行分块处理，并综合考虑锚文本信息，URL链接类型和块中其他链接的反馈信息，提出了一种基于网页分块的综合主题相关度预测算法，将原来的平均分配PageRank权威值转化为按块和块中链接的主题相关度来传递PageRank值。　　 最后，在基于信息增益的特征优化选择方法和基于网页分块的综合主题相关度预测算法的基础上，设计和实现了一个主题网络爬虫系统，实验表明，改进的PageRank算法提高了主题爬虫的收获率。