论文部分内容阅读
随着World Wide Web的快速发展，Deep Web中蕴含了越来越多的可供访问的信息。这些信息可以通过网页上的表单来获取，它们是由Deep Web后台数据库动态产生的。传统的Web爬虫仅能通过跟踪超链接检索普通的Surface Web页面，由于没有直接指向Deep Web页面的静态链接，所以当前大多数搜索引擎不能发现和索引这些页面。然而，与Surface Web相比，Deep Web中所包含的信息的质量更高，对我们更有价值。本文提出了一种利用HtmlUnit框架设计Deep Web爬虫的方法。它能