自20世纪90年代以来,Web搜索引擎技术蓬勃发展。它已成为全球数十亿人获取信息的重要途径。在信息检索技术中,检索结果评价是一个重要环节,因为检索结果的有效性在很大程度上决定了检索系统的可用性。围绕这个问题,本文开展了一系列相关的工作。分述如下:(1)传统的搜索引擎只考虑相关性,但近年来研究人员发现多样性也是衡量查询结果好坏的一个重要因素,特别是对于一些语义宽泛、模糊的查询尤其如此。学术界提出了不少支持检索结果多样化的算法。因此,我们提出了解国际上主要的商业搜索引擎应用最新技术的情况。我们选择了三个有代表性的搜索引擎Google,Bing和Ask,评估它们支持结果多样化的有效性。并将这些商用网络搜索引擎与学术界表现最好的信息检索系统进行比较,发现三个参与的商用网络搜索引擎性能优秀,与学术界表现最好的信息检索系统性能相似。(2)由于准确的判断检索结果的有效性需要较多的人力、时间等多种资源,因此一些快速、轻型的方式就很有用处。如果在未返回结果给用户之前,搜索引擎能够自动判断有关结果的性能,那么对于提高搜索引擎的可用性有很大帮助。我们通过分析的手段,发现现有性能预测算法的一些不足之处,提出了两种支持结果多样化的查询性能预测方法,分别为基于子意图感知预测(Intent-Aware Prediction,IAP)和基于子意图覆盖预测(Intent-Covered Prediction,ICP)。实验结果表明所提的两种方法预测效果较佳,并且比传统查询性能预测方法更适用于多样化结果。(3)数据融合是构建有效的信息检索系统的一种可行的方法。针对信息检索中的融合结果,本文提出了一种基于随机森林的性能预测方法。实验表明,与典型的性能预测算法——回归分析法相比,应用随机森林算法可有效地提高预测准确度。