目的 对OSCE可靠性和有效性研究是医学教育评估研究的热点与难点之一。国外比较重视对OSCE可靠性和有效性的研究,除了对考试获得的数据进行系统的常规分析外,还注重运用现代教育与心理测量理论指导研究工作。目前国内医学教育评价研究尚未见此类报道。在我国将其作为一种临床能力测量工具推广应用之际,OSCE究竟是否能够达到考试的真正目的、是否具备可靠、有效测量的一般性质有待研究证实。此外,研究有助于提高OSCE可靠性并为改进其设计提供依据。 方法 本研究根据经典测量理论真分数模型,探讨了OSCE可靠性和有效性的一般指标体系,并初步总结其相互关系。根据概化理论,拟合多元概化模型,估计概化系数和可靠性指数等指标,评价OSCE测量精度,同时总结OSCE整体可靠性的变化特点。 结果 1.五年制医学生OSCE整体信度系数较稳定,波动于0.42至0.54之间。各SP考站信度系数均大于0.50,但非SP考站信度系数仅为0.22。结构效度分析表明,OSCE可测量三个因子,即收集临床资料能力、推理判断能力与临床基本操作技能,与欲测的三个领域基本吻合。2.多元概化模型研究显示,五年制医学生OSCE整体概化系数为0.4422,SP考站概化系数为0.6586,非SP考站概化系数为0.2199。对“临床推理判断能力因子”测量精度较低。七年制医学生OSCE测量可靠程度高于五年制,概化系数为0.5866。五年制医学生OSCE与笔试结合的整体可靠性水平较OSCE单独使用略高,概化系数为0.4683。