网络的飞速发展,给人们带来了一个信息的海洋,如何快速从中获取真正重要的信息变得至关重要,搜索引擎便是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在着大量的重复网页。这不仅严重影响了搜索引擎检索信息的效率,同时存储这些重复网页浪费了巨大的存储空间。而对于搜索引擎的用户而言,在检索含有大量重复网页的系统时,提供给用户的有效响应明显降低。因此,重复网页检测已成为搜索引擎提高检索效率与服务质量的关键技术之一。本文以搜索引擎的重复网页检测问题为研究背景,首先对现存的主要重复网页检测算法进行了深入的研究,总结了它们各自的优缺点;并以此为基础提出了一种基于语义的重复网页检测算法。该算法主要针对重复网页检测的两个关键环节进行优化。在文本预处理中,根据词语之间存在着大量的同义与近义的语义关系,增加了同义词与近义词的归并;在特征提取环节,从词语在文本中的语义角度出发,与传统方法相比,增加了词语的位置权值与长度权值;在特征比较环节,回避了传统方法对网页的两两比较,采用了二叉排序树的数据结构,比较的效率得到很大的提高。并针对如何对提取的关键词排序的问题,又提出了两种关键词排序方法,一种是按关键词权值排序的SORTw(Kd)方法,另一种是按关键词字母排序的SORTa(Kd)方法。为了验证所提出算法的有效性和效率,本文在Windows平台实现了一个重复网页检测的原型系统。运用此原型系统,进行了一系列的实验分析与总结,并验证了本文所提出的基于语义的重复网页检测算法及两种关键词排序方法均具有较高的准确率与召回率,与较低的时间与空间复杂度。进一步改进、完善以后,可望获得今后在实际当中的应用。