搜索引擎(Search Engine)以一定的搜索策略在互联网中搜集信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。而主题搜索引擎只覆盖与特定主题相关的Web区域,这样它搜索的可以更深,搜索的周期可以更短,因此能满足用户对获取信息资源快速、准确的性能要求。目前,对主题搜索引擎的研究正处于十分活跃的阶段。许多机器学习领域里的知识被应用到主题搜索引擎的设计和实现中。本文提出了一种基于综合价值的网络蜘蛛搜索策略,将基于立即价值和基于未来价值的两种价值评价方法结合起来,共同对链接的重要性进行预测,使得网络蜘蛛能够根据搜索的实际情况动态地调整搜索策略,从而提高了主题搜索引擎搜索的效率。本文还提出了检索器的一种总体架构设计,并完成了检索器、摘要生成器和摘要内容着色器模块的详细设计。最后对Lucene原有页面排序算法根据具体需求做了改进。