良好的信度是测验分数分析的前提,信度的研究在心理和教育测量学中有重要的意义。认知诊断理论是对个体认知加工过程、知识结构和认知技能的诊断评估理论,研究者基于认知诊断理论开发了大量的认知诊断测验。进一步开展认知诊断测验信度的研究,将有利于认知诊断测验应用于心理健康教育和学科教学实践。现有的认知诊断的信度研究主要集中在属性层面的信度,如属性的重测一致性信度、属性分类一致性信度、改进的克隆巴赫α系数等。而较少研究探讨认知诊断测验得分层面的信度指标。事实上,测验得分层面的信度能够反映被试在测验上作答结果的可靠性。只有测验得分信度高的测验,研究者分析被试作答情况得出的结果才可靠。因此本研究开发了认知诊断测验中测验得分层面的信度,即测验信度。本研究共有三个部分。研究一中推导了认知诊断测验信度的公式,通过模拟实验探究测验信度的估计值及其估计准确度在不同实验条件下的表现。模拟实验中操纵了测验质量、测验长度和样本量三个因素。此外还探究了认知诊断测验信度指标与模式判准率、分类准确率间的关系。研究二通过Delta法推导出认知诊断测验信度估计值的方差,在此基础上给出了计算测验信度置信区间的方法,并比较了测验质量、测验长度、样本量对置信区间估计结果的影响。研究三使用实证数据检验了认知诊断测验信度和置信区间估计方法在实际应用中的表现。结果表明:(1)认知诊断测验信度的估计值和估计准确度受到测验质量、测验长度的影响,受被试样本量的影响不明显。随着测验长度的增加,测验信度估计值有增大趋势,且与真值之间的平均偏差减小,均方根误差也逐渐减小,表明估计准确度提高。提高测验质量,测验信度估计值有增大趋势,在测验长度中等和较长时均方根误差也逐渐减小,估计准确度提高。(2)测验信度与模式判准率、分类准确率具有显著相关。在不同测验质量、测验长度和样本量的条件下,模式判准率、分类准确率的值有所变化。不同地是,测验信度虽然会随着测验质量提升、测验长度增加而有所增大,但受样本量的影响不明显,样本量的增加不会使测验信度有较大地提升。(3)测验信度的置信区间受到测验质量和测验长度的影响,受样本量影响不明显。测验质量升高,置信区间长度变短,置信区间覆盖率升高;测验长度增加,置信区间长度变短,置信区间覆盖率升高。Delta法可以用于认知诊断测验信度置信区间的估计。(4)实证数据的研究中,Tatsuoka分数减法测验的认知诊断测验信度值较高,置信区间长度较短。