论文部分内容阅读
基于项目反应理论的计算机自适应测验有诸多优势,已被应用到各个领域,如军队职业测验,GRE考试,K-12教育。在员工评价领域中,Kantrowitz, Craig和Michael (2011)最早提出将CAT技术应用到员工雇用前测试的优势,认为这是一种"更快速,更明智的和更安全的雇用员工前测方法"。北森云计算开发了基于云平台的计算机自适应认知能力测验(Computeradaptivetestforcognitiveability,以下简称CATA),用于评估作答者的言语能力、数学能力、逻辑推理和空间能力。CATA相较于纸笔作答,能以更少题量更快探测到作答者的能力水平,缩短了应聘者的作答时间,提高了评估准确性和作答体验。此外由于测验路径因人而异,有效地降低了漏题风险和雇主对于应聘者作弊的担忧。在设计测验过程中,北森在项目选择、能力估计、终止原则方面采取以下方法:1)项目选择环节采用最大信息量选择法,并兼用曝光控制措施;2)能力估计环节采用贝叶斯期望后验估计;3)终止原则同时采用题目定长策略和变长策略。除了传统的CAT技术策略,北森的优势还在于,将分布式计算用于高速执行作答者能力估计和项目选择。同时可扩展的云服务器能够应对校园招聘情境下短时间内庞大的作答人数带来的系统并发计算压力。针对CATA运行和效度验证,我们选取了两家合作公司作为数据来源。2018年A公司有效作答CATA有19299名应聘者,公司在筛选环节未参考CATA结果。使用SPSS19.0进行t检验,发现在CATA总分和各维度分上录用组(n=1181)均显著大于淘汰组(n=18118)(ps <.05; CATA总分,言语能力,数学能力,逻辑推理的Cohen’d依次为.41,.26,.30,.26)。B公司近3年通过简历筛选且有效作答CATA有29031名应聘者,以是否通过专业笔试作为效标,结果得到在CATA总分和各维度分上通过笔试组(n=7244)均显著大于笔试淘汰组(n=21787)(ps<.05;CATA总分,言语能力,数学能力,逻辑推理的Cohen’d依次为.13,.07,.10,.09)。研究结果均表明CATA得分能够预测应聘者的专业笔试结果以及录用结果,验证了北森CATA效度良好。