研究目的:大数据时代环境下,"信息技术对教育发展具有革命性影响,必须予以高度重视",作为数字时代的产物,学习分析以教育领域数据为研究对象,通过挖掘其背后隐含的信息实现对教育的促进（钟薇等人,2018）。在体育教学领域,为培养学习者体育学科素养,研究发现基于AR学习环境的一个显著特征便是能够创造既有效又吸引人的学习体验。基于传感器技术（如心率、面部表情分析和注视跟踪）的最新研究进展为利用多模态数据流进行学习分析提供了机会。研究人员对学习者在AR学习环境下学习所采集的多模态数据流进行数据建模和学习分析,对发展基于AR学习体育知识更深层次的理解具有重要的前景,并对理论知识转化为实战经验有着重要意义。研究方法:通过文献资料法、问卷调查法、专家访谈法、数理统计法、实验法等研究方法,主要是实验研究法,在用AR学习前,参与者完成了一系列问卷调查和多重测试前评估,以衡量对冬季运动项目的先验知识。研究人员为被试者校准了心率佩戴设备、眼动仪和情绪面部表情软件。一旦完成校准,参与者就会开始阅读,学习过程的总体目标是掌握选定的几个运动项目内容。参与者被要求阅读30分钟。阅读结束后,被试者完成与前测相似的多项选择后测评估和IMI问卷上的兴趣-享受子量表,获取冬季运动项目知识。利用传感器技术捕捉学习行为,用于后续数据分析。我们调查了从学习者中捕获的分离和组合模式（心率、情绪面部表情和眼动）对学习者阅读冬季运动项目书籍后的测试表现和兴趣的预测程度。研究结果:本研究提出多模态学习分析方法,该方法采集了学习者心率、眼球追踪和面部表情数据,对前后测和兴趣的得分进行数据处理以及分析,使用学习分析方法创建一个精确的、平衡的分类问题（Akram等人,2018;Min等人,2020年）来分割数据,而不是使用原始的后测试值,因为样本容量有限,选择tertile而不是中间分割来获得更高的精确度,最后进行数据建模预测学习结果。为了研究学习者的情绪面部表情,本研究配备了基于视频的面部表情跟踪系统FACET（imoves,2016）。该系统提取与面部动作编码系统（FACS）相对应的特征（Ekman＆Rosenberg,1997）。该软件分析每个学习者面部的每一帧视频,并分类出20个面部动作单元（AUs）,以及9种复合情绪状态（即悲伤、恐惧、愤怒、厌恶、蔑视、惊讶、沮丧、困惑和喜悦）,这些情绪状态被定义为偏离校准过程中建立的基本情绪状态。FACET为每个AU和复合情绪计算证据得分,这些情绪代表了经过训练的人类编码人员编码的面部表情的出现概率,它们在之前的研究中已经被证明可以预测学习（Sawyer et al.2017;Taub等人,2019年）。为了研究心率和眼球追踪,在学习过程中佩戴市场上销售测量心率的设备用以记录心率,使用SMI RED 250眼动器使用9点校准捕捉眼球注视。负责记录学习者眼球注视数据的软件会分析眼球运动,眼球运动以120赫兹的频率被跟踪,并记录相应的时间戳。眼球注视记录软件然后使用250毫秒的标准最小阈值来识别注视（Rayner,1998）。为了以一种更紧凑的编码方式来表示这个数据通道,并便于标准机器学习模型使用,计算了学习者花在每个运动项目上的时间。结果表明,在预测学习者的后测成绩和兴趣时,使用多模态数据的模型要么表现得同样好,要么优于使用单模态数据的模型。研究讨论了组合模式预测学习者兴趣和测试后表现的协同效应。多模态学习分析可以准确预测学习者在AR学习中的后测表现和兴趣,并具有指导实时自适应脚手架的巨大潜力。研究结论:传感器技术的进步为在基于AR学习环境中利用面部表情和注视数据流提供了机会。再加上学习行为的生理追踪,这些都可以使预测模型在测试后的表现和兴趣方面达到较高的预测精度。之前的研究表明,面部表情和注视都有望预测学习结果,但很少有研究使用多模态方法潜在的协同效应来进行预测。将其应用到体育领域,该方法为教师的教和学习者的学开辟出另一条路径,收集具备理论知识的学习者演练冬季运动项目的视频,教师结合视频以及该方法,对学习者运动表现做出反馈,学习者自己也可以看视频作自我总结,后期为学习者分析技战术提供支持。利用该方法可以研究如何让学习者能更好的有效的学习,考虑人的情感和性格等特点来改善学习过程,掌握体育学科素养,提高冬季运动项目实战技能。