互联网信息以指数级增长，给通用搜索引擎带来巨大压力，使得通用搜索引擎搜索结果不全面，对于用户输入的查询词，返回大量的无关信息，这就使得主题爬行虫诞生。主题爬行虫只抓取与主题相关的网页，忽略掉与主题无关的网页，这样减少了大量的时间在爬行无关网页上。并且主题爬行虫具有爬行时间少，存储空间小，以及能够更好的满足用户的个性化需求等优势，这也同时促进了主题爬行虫的发展。对于各种传统的主题爬行虫，它们在爬行过程中至始至终都是相互独立工作的，多个爬行虫之间没有交流与协作，使得这些爬行虫在爬行的过程中不能及时的进行交流来实现信息共享，出现爬行区域重合和爬行效率不高的状态。将多Agent的理论用于主题爬行虫之间的通信和协作，为提高主题爬行虫爬行网页的准确率和爬行效率提供了新的方向。本文将每一个主题爬行虫看做一个Agent，使得主题爬行虫具有自主、灵活、交互等特性，并且采用多Agent的知识来实现多个主题爬行虫在网页爬行过程中的协作，从而提高爬行虫的爬行精度和爬行效率。论文的主要研究内容包括以下几点：1.本文提出了一种招标能力值的度量方法。该招标能力度量方法用于评价一个Agent是否具有招标能力，从而决定该Agent是否要发布招标信息。这个能力函数不仅考虑了爬行虫的爬行历史网页的重要度，而且考虑了已爬行网页的链接分值。实验证明该能力函数能更准确地评价Agent的招标能力。2.本文提出了一种新的多Agent的主题爬行虫组织结构。在这个组织结构中，所有Agent被分成三类:F-Agent(Facilitator-Agent), As-Agent(Assistance-Agent),和C-Agent (Crawler-Agent)，他们各尽其责并且相互协作共同完成网页爬行任务。3.本文提出了多Agent主题爬行虫的协作模型。一种改进的合同网协议被用来实现多Agent主题爬行虫之间的协作，并且详细论述了改进的合同网协议中的招标、投标、合同签订、合同终止四个过程。针对该协作模型，本文提出了多Agent主题爬行虫系统的系统框架和工作流程。文章的最后,采用JADE平台实现了本文提出的多Agent主题爬行虫，并且在爬行精度和爬行效率上面与其它四种主题爬行虫进行比较，最终实验证明，本文提出的多Agent主题爬行虫不仅可以减少爬行虫的网络爬行重合度，而且具有更高的爬行精度和爬行效率。