随着互联网的快速普及,通过网络共享的信息资源正以指数级的速度递增。要从众多的网页中找到我们需要的信息,无疑像大海捞针一样困难,搜索引擎技术就是为了帮助人们快速地找到所需的信息。而搜索引擎的检索性能评价作为信息检索研究中的核心课题之一,客观可靠的检索性能评价方式是必须考虑和设计的内容。传统的搜索引擎性能评价方法需要人工标注标准答案集,需花费了大量的人力物力,并且评价结果依赖人工标注的准确性,效率较低。基于聚类分析的思路,提出了一种搜索引擎性能评价指标和自动进行搜索引擎性能评价的方法,此方法能自动计算信息类查询的覆盖范围,并根据其覆盖范围对检索结果进行聚类,通过评估函数实现检索性能的自动评价,并对如何利用类间距和类内距两个指标来定义合适的评估函数进行了分析。实验结果表明,基于聚类指标的评价方法与人工标注的评价方法的评价结果是相一致的。具体来说,本文的工作主要包括以下几点:1 )在大规模日志分析的网络搜索引擎用户行为研究的基础上,对Sogou实验室提供的查询日志进行分析,提取了查询日志中的信息类查询并提出了计算查询覆盖度的方法;2)使用不同的搜索引擎(谷歌、百度、Bing)对提取出来的信息类查询进行检索,运用一些网页抓取器将检索返回的结果网页下载保存进行预处理;3)构建了一个完整的检索系统评价实验平台,对检索结果进行聚类分析,通过类内距和类间距等聚类指标定义不同的评估函数对检索性能进行评价;4)使用抽样方法进行人工标注,用传统的评价方法对检索性能进行评价,比较分析两种评价方法的优劣,完成多种评价函数的比较实验。