本论文结合了实体分析、网络结构分析、隧道技术于一体并加以算法上的改进,提出了基于URL及上下文并行分块处理的主题爬虫算法。本算法对主题进行了实体分析,根据知网的义元关系,将主题描述词进行扩展,作为主题相关度分析算法的输入。主题相关度分析算法将页面分成多个含有唯一链接的数据块,在网络结构与文本内容两个方面并行分析每个输入数据块中的链接,根据链接本身结构与父页而的相符度而得出网络结构相关的评分,根据数据块中主题描述词的词频与位置信息得出该链接在文本内容方面的评分。通过可调参数α调整两个因素在总分中的重要程度,得出此链接的主题相关度总评分。若总分大于设定阈值,则判定此数据块中的链接是与主题相关的。本主题爬虫在主题相关性分析中加入了改进的逐级过滤隧道技术。从一定隧道层数范围,以设定的评分阈值过滤小于此隧道阈值的链接,挑选出真正的前沿性链接,避免无关网页的抓取,使爬虫在适当的性能保证下提高召回率。实验结果充分验证了本论文提出的丛于URL及上下文的并行分块处理主题爬虫是个高灵活性、高准确度、适用于最大爬行层数为4-6的小型主题爬虫。