随着互联网的高速发展,其数据量呈指数级爆炸性增长。互联网中的各类门户网站、社交媒体、博客论坛每天都会产生大量新网页新数据,这些数据中可能蕴含大量有价值的信息。若能及时对这些数据进行增量采集,并加以分析处理,提炼有价值的内容,其意义不言而喻。增量式网络爬虫是增量采集互联网数据的有力工具,设计并实现一个增量式爬虫是获取有价值信息的第一步。互联网中存在大量格式良好,页面中链接更新频率高的index型网页。重点分析并采集这类网页可以提高增量式网络爬虫的效率,对于从互联网中发现新信息十分重要。本文设计并实现了一个针对index型网页的增量式数据采集系统。该系统基于Heritrix3.1.1开发,对Heritrix的增量功能进行了改进,并实现了一套针对index网页的的开发接口,开发者可以快速向系统中添加新的数据源。本文首先对Heritrix相关技术原理进行研究,针对Heritirx功能的不足之处提出改进方案。然后根据index型网页的特点,设计了针对这类网页的增量策略。本文对网络爬虫运行时会遇到的常见问题也提出了解决方案。在本文整体设计与详细设计相关章节中,详细描述了互联网数据增量采集系统的设计与实现过程。系统开发完成后,通过对其进行大量功能与性能测试,证明系统达到了预期设计目标。目前系统稳定运行,增量采集了大量数据,充分验证了系统的可用性与可靠性。本文最后对互联网增量采集系统相关开发工作进行了总结,指出系统当前存在的不足和未来改进方向。