传统的搜索引擎存在诸多问题:定位不准确、检索结果不专业、排序不合理等。为了解决传统搜索引擎所面临的问题,面向特定主题的垂直搜索引擎应运而生。本文在详细介绍了垂直搜索引擎的研究背景、研究现状以及与之相关的技术之后,主要完成了下列研究工作:(1)主题网络爬虫技术的研究首先,设计实现了三个算法:基于链接上下文信息的主题描述算法、基于支持向量机(SVM,Support Vector Machine)分类模型的主题相关性算法、基于SVM分类模型的主题爬虫算法。然后,在实验中通过查准率和召回率来评价主题爬虫算法。实验证明,本文设计的爬虫算法不但能高效地抓取主题相关网页,还能避免主题漂移的现象。(2)网页结构化信息抽取技术的研究本文设计的网页结构化信息抽取算法是基于标签序列的。该算法主要包括两部分:样本训练模块和主题信息抽取模块。样本训练模块首先生成每个样本的主题区域标签序列、位置向量以及主题属性格式文件,然后将生成的规则存入规则库中。主题信息抽取模块首先生成页面标签序列,然后判断待抽取区域标签的内容是否包含主题信息,最后将抽取的信息存入主题信息库。(3)专家机器人垂直搜索引擎的搭建以及实现首先设计了垂直搜索引擎的整体架构,然后分别设计了几大关键模块。其中,网页排序模块综合考虑了HITS排序算法、PageRank排序算法以及专家科研成果的引用次数;网页去重模块是通过改进的哈希算法来判断文档是否相似的;缓存模块通过缓存查询的网页来提高用户体验、加快网页访问速度。最后利用开源框架Lucene设计了一个专家机器人垂直搜引擎。