传统的网络爬虫是获取互联网数据的基本手段,然而随着万维网信息的爆炸式增长,传统网络爬虫所获取数据中的很大一部分对于用户来说是无用的;因此,如何返回更多有用数据得到了研究者的重视。针对传统网络爬虫的不足,主题爬虫通过预测链接与主题之间的相关度、改变网页的爬取顺序,能够返回更多用户感兴趣的数据;主题相关度的计算和链接优先级的预测是影响主题爬虫性能的主要因素;本文通过改进主题爬虫中的链接优先级计算公式,并引入增量贝叶斯算法,提高预测链接优先级的准确度,从而提高主题爬虫的性能。本文主要工作如下:1.针对新样本的到来导致的样本空间分布发生改变等问题,本文提出增量素贝叶斯算法(简称ILNB)上:在训练贝叶斯模型的过程中,将部分训练数据用于生成初始模型,使用初始模型对剩下的训练数据进行分类预测,根据预测结果改进初始模型。此外,分别对ILNB算法和朴素贝叶斯算法进行实验以及分类结果的展示与对比,实验结果表明了 ILNB算法的有效性;2.为了更加准确地预测链接优先级,本文提出了新的链接优先级计算方法:引入url文本,与锚文本、父网页文本共同预测url的优先级;并对不同参数以及是否使用url文本进行主题爬虫对比实验,实验结果表明引入url文本进行链接优先级的计算有助于提高主题爬虫性能。3.为了更加准确的进行主题相关度判定以及使主题爬虫具有时效性,本文将主题相关度计算建模成分类问题,使用增量贝叶斯分类算法进行url锚文本以及父网页文本与主题相关度的判定。并在网易新闻网站下,进行了普通网络爬虫以及不同主题的主题爬虫实验,使用harvest等评价指标,实验结果表明将增量贝叶斯分类算法用做主题相关度的判定能够提高主题爬虫的性能。