搜索引擎运营工作的目的之一是对搜索引擎进行优化,随着数据量的积累和相关技术的完善,提出了运营工作从人工决策到数据驱动的转变。作为运营工作中重要的反馈机制,搜索策略的评估也需要进行转变,从而符合新的发展要求。在互联网数据爆炸式增长,互联网产品迭代快周期短以及低质作弊站点增多的背景下,如何提供人力成本低、时间效率高、评估结论准确、包含站点权威性度量的搜索策略评估模型显得尤为重要。本文通过研究搜索引擎相关性计算模型和权威性计算模型的相关特点,结合A/B在线实验框架,提出了用于搜索策略评估的模型,并设计实现了原型系统,论文的主要工作有:(1)针对相关性评估中现有评估方法标注数据获取难,时间成本大,评估结论不准确的问题。基于点击模型进行改进,通过提出假设,建模用户点击浏览行为,设计了适用于A/B实验的相关性评估算法RelevanceMetric。(2)针对基于内容的权威性计算模型时间复杂度高,站点权威性评价依赖人工判断的问题。提出适用于A/B实验的权威性评估算法AuthoritylMetric。它从站点链接关系入手,对TrustRank算法进行改进,即突出了权威性的主题相关特性又缩小运行范围。通过中文分词和重要性计算,在保证用户主需求的前提下,缩短文本匹配时间。(3)进行了相关实验,通过准确率,召回率,F1值,MRR等作为实验指标,验证了评估算法在精确性、稳定性以及时间效率上都有较好的表现。(4)基于分层架构的思想和Hadoop,MySql技术,进行了原型系统的设计与实现。