随着互联网的不断发展,网络中的信息量呈现几何级的爆炸式增长。我们根据网络信息的获取方式不同可以把互联网分为浅层网络与深度网络二部分。浅层网络通过网页中的超链接即可以爬取。深度网络中的信息隐藏在网页搜索框背后,用户必须以向网页表单提交查询词的形式才能获取信息。由于深度网络明显区别于浅层网络的信息获取方式,使得传统的基于超链接的网络爬虫无法爬取并索引深度网络中的信息。随着深度网络中的数据规模及质量不断提高,获取其中信息对于搜索引擎来说意义重大。本文提出一种基于最优查询词的深度网络爬虫。我们的方法解决了现有深度网络信息爬取中自动化程度低,适用领域窄的问题。本文设计的深度网络爬取系统包含三个核心算法:深度网络入口的智能识别方法,通过统计学习大量的表单网页控件、文本环境、网站深度特征,实现深度网络入口智能识别;最优查询种子集生成算法,提出了将含有表单的网页划分为表单控件空间与网络文本空间二个子空间,并在此划分的基础上对表单网页进行聚类,获得最优查询种子集;最优查询词提交及反复迭代算法,设计了一种对最优查询词不断提交及迭代更新的循环算法,在爬虫不断获取最新深度网络信息的基础上,同步更新最优查询词列表。最后是系统的设计实现及算法的测试结果。在提出理论分析的基础上完成了系统的编码实现,并通过实验验证了算法的有效性。Ⅱ