网络搜索引擎在网络信息资源查找中起到了重要的作用,它可以帮助人们从浩如烟海的网络信息中找到自己想要的信息,用户只需输入感兴趣的查询关键词,搜索引擎系统即可为用户找到有关信息。 但是现在的搜索引擎技术并不完善,存在着一些亟待解决的问题,集中表现在检索的准确率和召回率低,且存在大量内容相同的冗余网页。冗余网页不但浪费了存储资源,还给用户的检索带来诸多不便。 当我们需要某些信息时,一般是启动某个搜索引擎,输入我们想要了解的关键词,之后搜索引擎会为我们返回大量的结果,我们会发现查询结果中普遍存在着大量的无关项、重复冗余项。 对搜索引擎的结果进行再检索处理,是指对搜索引擎的结果进行聚类分析或消除冗余等再次处理,以减少因搜索引擎结果的不完善对用户造成的不便。 对搜索引擎结果的再检索,不需要通过自动索引程序Robot(或网络蜘蛛)来广泛搜集网络信息资源数据,它只组织其他搜索引擎的输出结果,比如URLS、标题和简短的描述,它也能组织多个搜索引擎的组合输出结果,并对这些结果进行再处理。 本文描述了一个搜索引擎再检索系统的设计与简单实现。本文的目标就是实现一个Imelligence Agent系统,由系统代替用户对搜索引擎结果进行对比,并去除其中内容重复的冗余网页,将去重后的结果提供给用户,从而为用户节省时间和精力。 本文系统利用互联网现有的搜索引擎(百度)所提供的检索结果,通过对检索结果提供的网页文摘进行分析,判断重复度,达到网页去重的目的。