随着Internet规模的迅速增长,网上的信息资源也迅速增长。这使得用户在网上迅速、准确地获得所需信息变得越来越困难。因此,改善传统的信息采集和搜索模式,使用户能更迅速准确地查找到所需的信息,减少网络通信量和缩短工作时间显得越来越重要。当前大多数用于Internet信息采集的网络爬虫都采用服务器/客户机架构,某些系统在服务器端使用并行/分布式架构,这虽能从一定程度上提高信息采集的速度,但还需将信息下载到本地。因此,系统在爬行过程中大量占用网络带宽。此外,由于Web信息量成爆炸式的急速膨胀,完成信息采集所需的周期越来越长。针对现有研究在Web信息采集领域的不足,将移动Agent技术应用到Web信息采集系统中,充分利用移动Agent技术的优势,彻底改变传统信息采集和搜索模式,将传统的计算模式-“将数据拉到计算”改为“将计算推向数据”。在该系统中移动爬虫运行在远程Web服务器上,将集中在服务器端的处理,如特征提取、建立索引等计算分布到远程的Web服务器上处理,最后将压缩后的索引数据回传到服务器端。这不仅提高了处理效率,还减小了网络传输量,还在一定程度上增强了系统的稳定性。在信息采集过程中,移动爬虫的自适应迁移策略控制爬虫在系统中的移动,可以减小网络数据传输量和缩短工作时间;移动爬虫的并行度控制策略控制爬虫的个数,不过分加重Web站点的负载,增强了系统稳定性。理论分析和系统测试表明,基于移动Agent的网络爬虫在网络数据传输量和爬行时间等指标上均优于传统爬虫。