网络爬虫是搜索引擎的重要组成部分,负责互联网中数据的采集工作。随着网络技术的发展,越来越多的网站开始应用Ajax技术。Ajax采用异步模式向服务器发送请求,并将从服务器获取的数据动态显示在Web页面,网页的源文件和URL都不发生变化。这一技术的应用使得传统根据HTML源文件进行信息采集的网络爬虫无法采集到动态信息。Ajax技术的应用领域越来越广,目前大多数新闻站点的新闻评论都采用了Ajax技术,这些动态评论信息对舆情的收集具有重要意义。基于Ajax技术在新闻领域的应用,本文研究并设计了能够采集Ajax网页信息的主题网络爬虫系统,实现了对新闻站点的新闻信息以及动态评论信息的采集。首先,研究了Ajax网页动态信息的采集。通过使用浏览器API并模拟用户行为对网页元素进行操作采集Ajax网页的动态信息,基于同一站点同一类型Ajax网页结构相似性特点,在系统采集主题信息前增加预处理阶段。预处理阶段用来查找Ajax网页中的有效触发元素,并对有效触发元素进行规约和模式分类,为采集动态信息制定采集规则。其次,实现主题信息的采集。系统根据URL的语义特征区分主题信息,结合协议驱动采集与事件驱动采集两种网页信息采集方式完成新闻信息和新闻动态评论信息的采集。最后,通过实验证明本文所设计的方法对采集新闻站点主题信息是有效的。