随着人工智能和多媒体信息技术的发展,在线教育系统(E-learning)和大规模开放在线课程(Mooc)近几年迅速发展起来,网络学习者越来越多。在传统教学中,教师能面对面观察学生,掌握其课堂学习表现。然而在网络学习环境中,由于网络空间的限制,教师无法实时监测学生的学习情况,从而无法了解学生在电脑屏幕前的学习状态及课堂投入程度。而学习投入度是衡量学生学习过程质量的一个重要指标,对学生最终的课堂学习评价起到决定性作用。网络学习课堂中,学生的学习状态会在整个学习过程中一直存在,这些状态可以通过视频图像进行分析和识别。面部表情可以反映学生的学习情绪,不论是在传统课堂上还是在网络学习中,学生在课堂参与过程中的情绪都至关重要,而笑脸最能反映学生积极的学习情绪。脸部姿态可以反映学生学习的专注程度,课堂专注度高时,学生能够始终正对电脑屏幕认真学习;专注度不高时学生会出现左右偏头或低头等现象。眼睛状态可以反映学生学习的疲劳程度,当眨眼次数过多或者闭眼时间过长代表学生出现了疲劳,此时的学习效率降低。答题正确率可以反映学生课堂知识的接受程度,当学生非常投入学习时,知识吸收得就越好,答题正确率就越高。以上这些数据正是评估学生课堂学习投入度的重要信息,但在网络教学场景的实际应用中,分析学生在线学习的投入度仍受到制约,对视频图像采集、视频图像处理、算法识别的实时性和准确性提出很高的挑战,现有算法在实际应用中的效果往往并不理想。针对以上问题,本文采用视频图像分析技术并结合人脸定位算法、表情识别算法、眼睛状态识别算法和脸部姿态估计等相关算法对视频中学生的学习表情、眼睛状态、脸部姿态数据进行采集,并提取学习平台后台学生的答题数据,然后通过算法融合分析这些数据,最终得出学生学习投入度得分。本文提出方法的实用性在实际网络教学场景中得到初步验证。本文研究工作主要体现在以下几个方面:(1)针对实时视频图像难以获取与处理的问题,提出一种能够分类学生面部表情的卷积神经网络模型。在保证模型能够适用于实时系统的前提下,优化模型的结构和损失函数,提高模型的泛化能力,并结合人脸定位算法实现对学生学习情绪的检测。提出一种能够分类眼睛状态的卷积神经网络模型,并结合人眼定位算法进行眼睛睁开和闭合状态的识别,同时采用PERCLOS算法实现对学生疲劳状态的检测。采用脸部姿态估计算法,利用欧拉角计算学生脸部朝向屏幕的偏角,实现对学生专注度的检测。(2)针对单维度信息不完整的问题,提出基于决策融合的学习投入度评估模型,用于计算学生的学习投入度得分。该模型融合学习情绪,学习疲劳度,学习专注度和课程接受度四个维度信息兼具面部表情,眼睛状态,脸部姿态和答题信息四个属性。模型从多个维度描述学生在网络学习中的学习状态,能够对学生学习的投入程度做出非常全面的评估。(3)针对现有方法难以准确表达学习投入度的问题,提出学习投入度评估模型中每个维度量化计算的具体方法,研究多维度信息融合的权重分析方法。首先,对测试学生观看在线课程的实验数据进行抓取和分析,确定面部表情,眼睛状态,面部姿态和答题信息四个属性的阈值。其次,确定学习情绪,学习疲劳度,学习专注度和课程接受度四个维度及其对应属性的权重值。最后,通过融合四个维度的信息计算出学习投入度得分,为在线课堂学习评价提供客观依据。(4)基于提出的学习投入度评估模型及多维度信息融合方法,本文在网络教学场景下进行应用案例研究。首先,抓取学生在线学习的关键信息,并将关键信息按本文方法进行分类并逐级融合,得出学习投入度的最终得分。然后通过与专家打分进行比较,验证本文方法的有效性。验证结果表明,本文提出的方法能客观、正确地反映学生的学习投入程度。