随着互联网技术的发展,在线中文网页的数量迅速增加,互联网上的信息量越来越大。搜索引擎能够有效地组织和分析海量的信息资源,帮助用户迅速地获取所需要的知识和信息。然而互联网上的网页普遍存在着一些与用户需求无关的噪声内容,这些内容影响了搜索引擎对网页的处理质量。因此,对全部网页的预处理工作就必不可少。本文的目的在于通过网页预处理技术,为搜索引擎建立一个内容精炼、格式完整、编码统一的净化网页库,为其他模块提供数据支持。网页处理技术经过多年的发展,逐渐形成了DOM结点解析与分块解析两种思路。然而由于对网页分划粒度的不当,前者容易割裂结点之间的语义关联,后者很难过滤分块内部的内容。为了弥补他们的缺陷,本文找到了一种介于二者之间的网页解析粒度,称为内容单元,并在内容单元粒度上完成了网页预处理工作。本文的研究内容主要包括以下几个方面:(1)提出网页内容单元的定义,并以内容单元为粒度完成网页分割解析;(2)利用内容单元反映出来的网页结构特征和语言特征,完成主题型网页的识别;根据内容单元的组成、结构和功能,利用启发式规则对其进行取舍,完成网页正文内容的提取;识别具有特定功能的内容单元,提取他们当中蕴含的网页题目、时间、导航等信息;(3)在单个网页的基础上构造并行净化程序,完成搜索引擎T级(terabyte)原始数据的净化,重组格式,统一编码。从实验中得到的结论证明了网页内容单元解析粒度的有效性,对比显示了基于内容单元的网页预处理对主题型网页识别和正文提取效果的提高。同时Inar网页预处理模块的效果在网页分类应用中得到了验证。