随着水利信息化的发展,互联网上累积了数据量庞大的水利主题信息。由于互联网上的信息具有数据量庞大,分布离散,结构复杂等特点,采用传统的人工采集方式进行信息的获取,具有效率低下等问题。使用网络爬虫则可以方便快捷地获取到数据量庞大,主题相关性高的水利信息。系统以主题爬虫为基础构建信息聚合平台,实现水利信息的获取和利用。论文的主要研究内容如下:(1)水利主题爬虫各功能模块设计。对主题爬虫的框架进行选择,种子站点的集合进行筛选,主题描述词库进行定义,爬行策略进行选择,链接提取方案进行设计,主题相关性分析算法进行分析与改进。(2)水利GIS信息爬取方案设计。GIS格式的信息是水利行业区别于其他行业的显著特点。水利地理信息大多数是以接口的形式提供服务,用户无法直接获取到原始的数据。可根据瓦片金字塔模型进行地图拼接和缩放算法的设计,实现水利地图信息的获取。(3)多种格式水利信息爬取方案设计。水利主题爬虫根据不同格式信息的特点定制不同的爬取方案,将文字、数据、图片、视频影像和地图等多种格式的水利信息进行全面获取。(4)水利信息规范化设计。为了解决水利信息形式不统一、表现不规范等问题,水利信息规范化模块将信息按种类转化成通用的格式,并对不符合规范的信息进行相应算法处理,使信息规范化。(5)搭建水利信息聚合平台。以爬虫爬取的水利信息为基础,进行水利信息聚合平台的搭建。该平台对水利信息进行聚合,为用户提供水利信息展示和检索等多种服务。水利信息聚合系统采用主题爬虫对信息进行爬取,并且构建水利信息聚合平台,将水利信息在该平台进行聚合使用,为用户提供多种特色化信息服务。该系统为用户进行水利信息的采集和利用带来了极大的便利和良好的体验。