偌大的互联网已经演变成了一个巨大的知识宝库,对这个知识宝库的探索、挖掘和分析是当下的一个热门应用领域。在对这个知识宝库进行探索和知识萃取之前,首要的一步是要收集原始数据。面对如此巨大的知识宝库,采用像谷歌、雅虎那样的通用搜索引擎寻找与用户定义主题相关的高质量网页很难得到较好的效果,并且与用户定义主题相关的高质量网面往往没有聚合在一起,而是比较分散,这为高质量原始数据的筛选工作增加了额外的负担。通用搜索引擎的爬虫程序通常采用广度优先的爬行策略,即通用搜索引擎爬虫程序按照一定的层次顺序依次爬取互联网上的网页,追求的目标是对互联网上网页的广泛采集。与通用搜索引擎爬虫程序不同的是,主题爬虫具备一个用于指导爬虫爬行方向的爬行策略,其中基于网页链接拓扑结构的爬行策略和基于网页内容的爬行策略是最经常使用的爬行策略。通过爬行策略的引导,主题爬虫可以带有目的性的找到与用户定义主题相关的网页,这在一定程度上避免了与用户定义主题无关网页的下载,节省宝贵的带宽资源。主题爬虫爬取网页的准确率是衡量主题爬虫性能的重要指标之一。首先,本文对主题爬虫的基本原理和系统架构进行深入研究,并对基于网页链接拓扑结构的爬行策略和基于网页内容的爬行策略的代表性算法做详细研究,比较这些算法各自的优缺点和使用场景。然后详细阐述网页文本处理技术,包括网页HTML文档的DOM树解析方法和正则表达式解析方法,对解析之后文本的分词处理和文本的向量空间模型表示方法以及基于向量空间表示模型的文本相似度计算方法。其次,在对主题爬虫程序的基本原理和架构进行深入研究之后,提出了基于决策树的URL分类器算法。该分类器算法利用网页中的4个HTML标签对URL进行分类。4个标签分别是:<h1>,<h2>,<h3>标签(heading)、网页的标题(title)、链接的锚文本(anchor)和链接上下文(context)。利用这4个HTML标签对应的文本内容与用户定义主题的相似度来构建决策树,对当前网页中包含的其他URL进行分类。将分类结果为与主题相关的URL放入优先爬行的URL队列,而将分类结果为与主题不相关的URL放入延迟爬取队列,当优先爬取队列为空时再爬取延迟爬取队列,这样保证较高准确率的同时又能在一定程度上避免主题爬虫“隧道穿越”问题。最后,利用开源网络爬虫程序框架设计了基于决策树的URL分类器算法的主题爬虫实现。实验结果表明,经过URL分类器分类处理的主题爬虫算法与传统的Fish-Search算法实现的主题爬虫相比较,本文实现的主题爬虫的爬取的网页准确率有一定提高,在5%-7%左右。