随着互联网的迅速发展,互联网上的信息不断累积,传统的网络爬虫已经难以满足人们对信息的个性化和实时性获取的需要,主题爬虫应运而生。相比于传统网络爬虫,主题爬虫有明确的主题描述作为爬取目标,有智能的链接评价来优化主题爬取的路径,从而获得了更高的效率。然而,主题爬虫当前的主题描述方法难以实现构建成本与完备性的平衡,当前的主题爬取过程也难以协调影响链接优先级的多种因素之间的关系。针对这些问题,本文提出基于查询扩展和多目标优化的主题爬虫系统。本文使用查询扩展来增强原始主题描述的完备性,在迭代查询结果中使用改进后的TextRank算法抽取主题关键词来充实主题模型。首先基于BERT模型预训练的词向量在TextRank算法的转移权重矩阵中引入主题相关度影响因子,从而提出Topic-TextRank算法,用以改进主题关键词的提取效果;再结合查询扩展中相关反馈和伪相关反馈的迭代过程,将Topic-TextRank算法的主题关键词结果权重与查询排名做了动态融合;进而提出基于动态Topic-TextRank算法的相关反馈和伪相关反馈两种主题描述的扩展框架,并用实验验证这两种框架对于主题描述效果的提升。本文将主题爬取过程抽象成多目标优化问题,将决定链接优先级的因素抽象为目标函数,再使用改进后的蚁群算法和改进后的NSGA-Ⅱ算法来解决。对于蚁群算法,本文根据网页主题相关与否将信息素细分为增益信息素和惩罚信息素两类,并基于这两种信息素和蚁群路径上的点对前溯多段路径的影响力提出蚁群的回溯式信息素更新算法。对于NSGA-Ⅱ算法,本文引入了带权拥挤距离的计算方法以优化最终的精英选择。然后融合这两种改进算法提出了基于多目标优化的主题爬取策略,并用实验验证了其对于主题爬虫查准率和效率的提高。本文开发并实现了基于查询扩展和多目标优化的主题爬虫系统,实现对目标主题的准确全面高效的爬取。系统包括主题描述模块、主题爬取模块和数据存储模块。主题描述模块基于查询扩展获取主题模型和种子网页,主题爬取模块实现基于多目标优化的爬取过程,数据存储模块使用Redis和MySQL实现爬行中间数据及结果网页的存储。