评价既是为决策提供依据和支持的工具，也是诊断、鉴定、激励和监控的重要管理手段。随着评价工作在教育、科技、工程、经济等领域的广泛开展，并取得显著成效的同时，评价方法及其结论也不断受到质疑，评价方法的科学性、评价结果的客观性也越来越受到人们的关注。 尽管学者们提出了元评价的思想，通过对评价(包括结构、过程和结果)的评价，分析评价中可能存在的偏差，以修正评价方案、提高评价的信度和效度。但是关于元评价方法的研究成果却并不多，在评价实践中也往往难以有效地实施元评价。如何有效地组织和实施元评价、元评价的方法及其技术等问题都还有待于进一步的研究。 本文的主要工作有： 1、比较系统地建立了元评价的方法及其技术，比较全面地研究了教育评价中的敏感性问题 尽管元评价的本质也是一种评价，因此元评价的方法可以一定程度地借鉴评价的方法。但是元评价毕竟与评价存在根本的区别，例如评价的对象是评价客体，而元评价的对象是原来的评价；评价注重评价方案的设计和组织实施，而元评价更侧重于验证评价的正确性和评价结果的科学性等。 本文正是从元评价的角度，主要以高等教育评估项目为实例和背景，比较系统地建立了以内容分析法为主要手段、定性分析和定量分析相结合的元评价的方法及其技术，即对评价指标体系的建立、主观指标的价值评判、评价数据的预处理、多指标数据合成、群体评判结果的综合处理等评价过程中的各个步骤和环节逐一进行剖析，研究和分析其中影响评价结果科学性的因素。如此系统地研究元评价的方法及其技术，这在国内还未见报道。 第二章研究评价指标体系的科学性。评价指标体系刻画了评价客体的主要特征，同时也体现了评价的目的和导向，因此，保证评价指标体系的科学性是评价取得成功的核心和关键。本章在讨论评价指标体系的结构和构建原则的基础上，分析了评价指标的类型，并提出了一种特殊的、但往往被忽略的指标类型：开关型指标。最后，以学科评估为实例，对评价指标体系中各项指标的区分性、相关性和相对重要性等性能进行了定量和定性分析。 第三章研究影响指标属性值的因素。指标的属性值体现了评价客体某方面的价值，确定指标的属性值，即价值评判，是评价中的一个重要环节，而且评价中存在许多因素会导致价值评判结果的随意性和偶然性。本章对各种可能影响价值评判的因素，如评价客体信息的采集方法及可靠性、评判人的组成结构和规模、评判人的遴选方式、评判方式和评判环境等，都作了比较详尽的研究和分析，并对教育评价提出了一些有利于提高价值评判客观性的措施。 第四章研究指标属性值的预处理。对不同类型和不同性态的指标的属性值，选用不同的效用函数转换为标准化的相对价值，必然导致评价结果的敏感性，并且这种敏感性往往是不易察觉的。本章讨论了各种效用函数，如线性效用函数、非线性效用函数、基于统计分析的效用函数等的性能特点，分析了各种效用函数的优缺点和适用条件，并归纳了选用效用函数的注意事项。 第五章研究多指标数据的合成模型。在多指标综合评价中，必然需要将各项指标的标准化相对价值，按照一定的数学模型合成为评价客体的整体价值。本章分析了常用的加法合成模型和乘法合成模型的性能特点和适用场合，并以教育评价的实例说明不同评价模型对评价结果的敏感性。而且，鉴于目前模糊综合评价法的广泛使用，本章也讨论和分析了模糊综合评价法中如果处理不当、将会得出不恰当的评价结果的一些细节，如合成算子的选用、评价结果向量的理解等。 第六章研究群体评判的质量及数据综合方法。在多位评判人完成对同一评价客体的价值评判时，每位评判人给出的评判结果具有一定的随机性和偶然性。本章分析了群体评判结果中每位评判人的评判质量和所有评判人的意见一致程度，并讨论了常用群体评判结果综合方法的特点和适用范围，提出了基于评判准确度的群体评判结果综合方法。最后，还改进了定性指标群体评判结果的统计方法。 第七章给出了一个元评价方法在高等教育评估中的应用实例，对全国优秀博士学位论文评选的省级初选工作的评价方案和评价结果进行了分析和修正，并以实践结果表明经过元评价的省级初选工作取得了较好的效果。 2、提出以工程化方法开展评价的思想 随着评价的大型化和复杂化，评价必然是大规模人员的分工协作过程，而且势必面临质量无法保证、进度难以控制、成本急剧增长等问题。因此，借鉴“软件工程”的成功经验，把评价当作一项工程，以工程化的思想指导、规范和管理评价的开展，提出“评价工程”的概念，这在国内还未见报道。 第八章按照评价工程的思想，首先指出工程化的质量、进度和投资三大控制目标，并概括了工程化方法中的“六个化”原则，即规范化、文档化、模块化、信息化、工具化和复审化。然后，借鉴软件工程的思想，提出评价活动生命周期的概念，将评价活动分为分析、设计和实施等阶段，并在每一个阶段按照“六个化”原则组织实施，以保证评价的质量、缩短评价的周期和降低评价的成本。最后，借鉴程序测试理论，提出了基于黑箱测试的元评价方法，以查找评价中的偏差和分析评价的质量。 本文的创新点在于： 1、比较系统地建立了元评价的方法及其技术，比较全面地研究了教育评价中的敏感性问题，弥补了目前文献中关于元评价的方法及其技术研究不多这种比较零散、片面的不足，对于完善元评价的技术资源、指导元评价的开展实施具有实际意义。 2、在群体评判结果的质量及数据综合方法研究中，分析了目前教育评价中经常采用的中间平均法的缺陷和不适用原因，并根据中间平均法的基本思想，进一步拓展和细化，提出了基于价值评判准确度的加权平均法。 3、借鉴“软件工程”的成功经验，提出了“评价工程”的思想，以工程化的方法指导、规范和管理大型化、复杂化的评价工作的开展和实施。而且，借鉴程序测试理论，提出了一种新的元评价方法——基于黑箱测试的元评价方法。