论文部分内容阅读
认知诊断评估(Cognitive Diagnosis Assessment,CDA)是近年研究较多的新一代测验理论,CDA旨在为学生的学习提供诊断信息,它的提出为进一步的教育教学奠定了基础。CDA的实现通常需要认知诊断模型作为基础,认知诊断模型是通过利用数学模型或算法对学生的观测分数进行分析,从而建立与知识状态(Knowledge State,KS)的对应关系,实现对学生的诊断。前人研究显示目前已知的认知诊断模型已超过100种,但这些诊断模型多是基于参数进行设计的,模型中参数的精确估计通常需要多种条件进行保证,例如大样本容量,特定的算法如EM算法或MCMC算法等,而这些条件则极大地限制了CDA在实践中的应用。非参数诊断方法由于不具有参数则不需要大样本容量作为精准诊断的保障,并且由于操作简单,耗时少等特点更易于应用于实践当中。因此,近年来,对于非参数认知诊断方法的研究颇多。 由于机器学习算法具有分类高效的优点,与认知诊断中对学生KS进行分类的宗旨不谋而合,因此,近年来有不少研究者尝试将机器学习算法融入CDA中,并实现了对学生KS地高效分类。非参数诊断方法中,有许多都是基于机器学习算法进行开发和应用的,例如基于K-means算法实现的K-means诊断法和多级计分聚类诊断法(Grade Response Cluster Diagnosis Method,GRCDM),基于概率神经网络(Probabilistic Neural Network,PNN)实现的PNN诊断法等,都是非参数诊断方法。然而目前结合机器学习算法的非参数诊断方法中,应用情境多为0-1计分,且依旧不够简便,不具有动态性,因此有必要寻找更简单且更高效的机器学习算法应用于CDA,为认知诊断开拓更广阔的前景提供帮助。K近邻(K-NearestNeighbor,KNN)算法被称为机器学习算法中最简单的一种分类算法,且由于KNN直接使用已知类别的数据作为训练集,不涉及参数估计,也是一种非参数算法。本文对相关研究进行整合,尝试将KNN算法应用于CDA中,开发一种适合于多级计分的非参数诊断方法——KNN诊断法,并分别设计了模拟研究和实证研究对该诊断法的有效性和稳定性进行了检验。 其中,研究一对KNN算法如何应用在CDA中成为KNN诊断法进行了探讨,并研究了样本容量对于KNN诊断法的影响;研究二对KNN诊断法的诊断精确性进行了探讨,即在Q矩阵正确设定的情况下,比较KNN诊断法和其他非参数诊断法在不同实验条件下的模式判准率(Pattern Match Ration,PMR);研究三对KNN诊断法的稳定性进行了探讨,即在Q矩阵误设的情况下,比较KNN诊断法和其他方法的PMR降幅情况;研究四利用KNN诊断法对一批实证数据比较,并与MDD-R方法进行比较。具体研究结果如下: (1)研究发现KNN算法可以很好地与CDA结合,从而应用于CDA中命名为KNN诊断法,并发现KNN诊断法可以适用于0-1计分和多级计分,研究结果显示KNN诊断法独立于样本容量,不易受到样本容量的影响; (2)Q矩阵正确设定的情况下,总体来说,KNN诊断法相比于其他几种非参数诊断法呈现出更高的PMR。其中,被试的分布形态不会对KNN诊断法产生影响,在不同形态下均具有较高的PMR; (3)属性个数的增加和层级紧密性的下降都会引起KNN诊断法PMR的降低,与其他三种诊断法的PMR变化趋势大体一致,但KNN诊断法相比于其他诊断法的PMR降幅更小; (4)Q矩阵误设情况下,KNN诊断法呈现出对Q矩阵的设定更为敏感的特点,即KNN诊断法受到Q矩阵设定的影响较大; (5)Q矩阵失误类型和属性层级结构对KNN诊断法的判准率有影响:其中直线型和收敛型结构下,属性冗余导致的降幅最小,而其他三种结构下,属性冗余造成的PMR降幅则更大。KNN,PNN以及MDD-R三种方法呈现出相同的变化趋势,而GRCDM则在直线型和收敛型结构上略有不同; (6)在实证研究中,KNN诊断法具有较为良好的实证信效度,诊断结果与实际情况较吻合。 本研究得出结论如下: (1)KNN诊断法具有较好的分类准确性,且不易受样本容量和被试分布形态的影响,使得KNN诊断法在实践中的应用前景更为广阔。在不同变量下,KNN诊断法均显示出较高的判准率,充分体现了机器学习算法的分类高效性的特点。 (2)KNN诊断法对于Q矩阵的设定较为敏感,且呈现出层级结构越紧密,越不易受到Q矩阵误设影响的趋势,未来研究可以尝试将其应用于Q矩阵失误检验。 (3)在实证研究中,KNN诊断法展现出较好的信效度,诊断结果与实际情况一致性程度较高,研究结果显示KNN诊断法在实证研究中也较为适用。