论文部分内容阅读
信度是评价测验结果稳定性、一致性的重要指标,基于认知诊断测验结果是将被试分类的特点,有学者将标准参照测验的基于列联表的信度指标引入到认知诊断当中,开发出认知诊断的属性信度指标,主要有Templin的属性重测一致性Wang的属性分类一致性。本文以DINA模型为例,对这些属性信度指标进行改进,比较改进前后的属性信度指标的性能,并且将标准参照测验中基于列联表信度指标体系的kappa系数引入到认知诊断中。本文共有两个研究,研究一比较在不同测验长度、测验质量、被试样本量条件下,改进前后的属性重测一致性和属性分类一致性的估计准确性;研究二比较比较在不同测验长度、测验质量、被试样本量条件下引进的属性kappa属性系数与改进后的属性kappa属性系数间的估计准确性。(1)无论是3属性还是5属性,改进的属性分类一致性信度比原有的属性分类一致性估计准确性更好,在测验质量处于中等以下水平时,能有效的改变原有分类一致性指标高估的现象。属性分类一致性信度估计受到测验质量、被试样本量和测验长度的影响,随着测验质量的提高样本量和测验长度的增加,属性分类一致性信度估计精度越来越高。(2)无论是3属性还是5属性条件下,在测验质量较高情况下,改进前后的属性重测一致性信度估计精度都较高。测验质量较低情况下,随着样本量增大、测验变长,属性重测一致性信度估计精度越来越高;改进的属性分类一致性信度比原有的属性重测一致性估计准确性更好。(3)引入的属性kappa系数估计准确性受到测验长度、测验质量和被试样本量的影响,随着测验质量的提高、样本量和测验长度的增加,属性kappa系数估计精度越来越高;在测验质量处于中等以下水平时,改进后的属性kappa系数能有效的改变原有属性kappa系数高估的现象。