论文部分内容阅读
认知诊断评价(Cognitive Diagnosis Assessment,CDA)使用融合有认知变量的心理计量学模型,对被试的知识结构、加工技能或认知过程进行诊断评估。与经典测量理论(Classical Testing Theory,CTT)和项目反应理论(Item Response Theory,IRT)相比,能够为被试提供更加完整和详细的诊断信息。认知诊断评价所依托的心理计量模型,均是在复杂的统计测量学知识基础上构建的,可以笼统地称之为参数化认知诊断方法。这些方法包含有大量的概率统计、高等数学、线性代数、微积分等知识。对于研究者而言,正确理解并熟练运用并对诊断结果进行科学合理的解释尚且不易,更何况是以上理论基础较薄弱的实践者。此外,参数化的方法依赖于精确的参数估计方法,而参数估计方法本身也存在一定的缺陷。常用的方法如EM算法会收敛到局部最优极值(locallyoptimal extrema),而马尔可夫链蒙特卡洛(Markov Chain Monte Carlo,MCMC)耗时过长,且无法判断是否收敛到真值。以上问题在一定程度上限制了认知诊断的应用和推广。与参数化认知诊断方法相比,非参数化认知诊断方法只需要预先界定好项目属性关联矩阵(即Q矩阵),便可利用被试的观察反应进行诊断分类。其简单、便捷的特点非常适合实际测验情境的需要。本文基于Q矩阵理论,提出一种非参数化认知诊断方法,海明距离判别法(Hamming Distance Discrimination,HDD)。其中,根据判别方式的不同又将其分为R方法和B方法。采用Monte Carlo模拟的研究方法,以模式判准率(Pattern Match Ratio,PMR)和属性平均判准率(Average Attribute Match Ratio,AAMR)作为评价指标,与DINA模型,广义距离判别法(Generalized Distance Discrimination,GDD),以及weighted Hamming distance进行比较。结果表明,海明距离判别法(HDD)具有更简便的操作步骤和十分理想的分类准确率。主要研究结论如下:(1)本文所涉及的五种认知诊断方法均受属性层级结构的紧密程度的影响,属性层级关系越紧密,分类准确率越高。(2)分类准确率由高至低分别为HDD的B方法,DINA模型,HDD的R方法,WH和GDD。其中,HDD的B方法与DINA模型有着同样高的分类准确率。(3)项目数量与认知诊断方法的分类准确率成正比(4)样本容量对认知诊断方法的分类准确率影响较小(5)属性数量与认知诊断方法的分类准确率成反比(6)被试知识状态分布形态为负偏态分布时,上述五种认知诊断方法的分类准确率最高,正态分布其次,均匀分布再次,正偏态分布最低。