基于多尺度特征融合的课堂表情识别研究

来源 :贵州民族大学 | 被引量 : 0次 | 上传用户:hanben1104
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着“人工智能+教育”的发展,利用表情识别技术对学习者情绪进行识别成为最直接有效的方法。面部表情识别(Facial Expression Recognition,FER)作为计算机视觉和智能化人机交互领域中一个重要组成部分,近年来得到广泛的关注。面部表情的特征表示直接影响识别效果,传统的特征提取方法难以提取出人脸表情中深层次的特征,而深度卷积神经网络能够获取人工难以提取的特征,但其存在消耗大量计算时间和内存的弊端。因此,复杂的课堂环境对有效的模型提出了更为苛刻的要求。针对以上问题,本文研究了基于深度学习的面部表情识别方法,首先,详细介绍了深度学习中典型的卷积神经网络原理和基础模块;其次列举了当前面部表情识别方法中存在的问题和不足;提出了多尺度残差网络(Multi-scale Residuals Networks,MS-RNet)模型,在开源数据集上实现较高精度的表情识别;运用提出的多尺度特征融合思想对残差网络进行改进,在自建的课堂学生表情数据集上进行实验,并设计系统实现自动面部表情识别。主要工作如下:针对现有的大多数面部表情识别模型仅在特定的数据集上表出较好的效果,以及深度模型存在参数量大导致其计算复杂度高的问题。本文提出了端到端的多尺度残差网络模型。该模型通过从人脸面部图像中提取多尺度特征(全局特征和局部特征),用信道合并的特征融合方式实现全局特征和局部特征的融合表示,达到较高精度的人脸表情识别。此外,采用可分离卷积替代原始卷积,实现了增加模型深度但不增加模型参数的目的。为验证所提模型的有效性,我们在开源数据集CK+、FER2013以及JAFFE上进行训练和测试。试验结果表明,本文模型能够达到较高识别效果。针对自然课堂场景下的面部表情识别问题,以提出的多尺度特征融合思想为基础,设计了多尺度融合的残差网络模型。该模型通过连接不同尺度的残差结果,实现多尺度特征的融合进行表情识别,有效抑制了教室场景下存在的部分遮挡问题,提高了识别精度。利用校园教室视频监控获取的视频数据,自建自然课堂场景下学生表情数据集,并在此数据集上进行训练和测试,结果表明构建的神经网络模型在数据集上的测试平均识别率达到93.96%。实验结果表明,该方法能够基本满足实际应用;通过实际场景分析,设计系统实现自动的面部表情识别,这将为后续研究学生课堂学习评价提供有力的数据和技术支持。
其他文献
目的 回顾性分析湖北省某医院救治1 765名新冠肺炎患者的抗病毒药物使用情况,为临床合理用药提供经验和建议。方法 依据国家卫健委《新型冠状病毒肺炎诊疗方案》推荐用药,对湖北省某医院在2020年2—4月救治新冠肺炎患者期间的抗病毒用药进行分析。结果 收治的1 765名患者中,1 114名患者使用了抗病毒药物,占63.11%;使用率排名前3位的抗病毒药物分别为阿比多尔981例(55.58%)、干扰素α
期刊
当前钢铁企业炼钢成本波动较大,现行的成本管理模式难以适应小批量多品种的生产模式,且成本信息传递较滞后,成本控制不具备靶向性。对成本影响因素进行分析,开发在线成本管理模型并应用到炼钢成本管理之中,依托现代信息技术实现炉次成本与标准成本在炉次结束10分钟后在线显示,靶向作业环节,便于岗位工及时查看指导生产;实现货币化成本在线显示,便于分析成本控制方向;透明化管理及绩效计算,实现作业区级的成本透明管理,
期刊
绿色创新作为以推动绿色技术发展和改善生态环境为目标的创新活动,能够有效协调经济增长与环境保护,进而被视为实现可持续发展目标的重要战略。现有关于绿色创新的文献往往以企业为中心,并遵循“外界压力—绿色行为—企业绩效”的经典逻辑,运用制度理论和利益相关者理论解释政府、股东和消费者等对企业绿色创新的驱动作用,以及基于合法性理论和资源基础观剖析绿色创新对财务或环境绩效的作用机理。基于中国商业实践中企业绿色创
学位
目的独活寄生汤是治疗类风湿性关节炎的复方制剂,其治疗效果已得到了很多临床应用的证实。本课题组前期通过大鼠体内药代动力学研究,发现经独活寄生汤灌胃后,多种成分在大鼠体内血药浓度较高。本研究旨在通过网络药理学的分析,以及实验研究独活寄生汤对CIA大鼠的治疗作用和方中多种入血成分的抗炎活性,揭示独活寄生汤治疗类风湿性关节炎的作用机制及挖掘潜在的抗炎药物。方法1、运用网络药理学的分析方法,通过TCMSP和
学位
主题出版彰显时代精神,在我国文化建设、提升国家软实力和舆论引导中作用重大,党和国家高度重视,出台了一系列鼓励其持续发展的政策和举措。鼓励政策一出,各级出版社随即做出响应,推出了一系列具有影响力的出版物,形成了一种新业态,掀起了一股主题出版的新浪潮。贵州出版业也紧跟时代新浪潮,始终以弘扬时代主旋律、立足地方性和民族性、坚持社会效益做精品为定位发展主题出版。以史可以明鉴,研究贵州主题出版的历史有利于把
学位
投资是企业增加其价值,增强其核心竞争力的重要手段,然而企业往往因为内部委托代理问题的存在,无法保持最优投资水平,投资不足和过度投资现象时常发生,这不仅不利于企业和股东的利益,对于社会资源也是一种浪费。因此,如何提升企业投资效率问题至关重要。以往有关提升企业投资效率的研究主要从公司治理维度展开,其中不乏对非控股大股东治理机制展开的讨论。然而,对于非控股大股东与企业投资效率关系的研究尚存争议。以往文献
学位
明星是社会中具有影响力的个人与团体,其对民众与消费者的认知、情感和行为通常产生深刻的影响作用。近年来,许多明星丑闻与负面事件对民众与消费者造成了不良的影响。这使得社会与消费者更加关注明星的道德行为。本文基于角色榜样理论、社会认同理论和社会信任理论探讨明星道德感知如何影响消费者的社会责任消费行为,并且探讨消费者的道德认同和社会信任在此关系中的中介作用。本文采用问卷调查法在社交网络媒体上收集了497份
学位
塔里木克拉通东北缘坡北、磁海等地二叠纪幔源岩浆活动形成了镍钴硫化物矿床和铁钴氧化物矿床,两者赋矿镁铁-超镁铁岩体的年龄相近(290~260 Ma),主、微量元素和Sr-Nd-Hf同位素组成相似,分配系数接近的微量元素比值分布于相同趋势线,揭示两者岩浆源区相同,可能为俯冲板片流体交代的亏损地幔或软流圈地幔。两类矿床镁铁-超镁铁质岩中Co与Ni含量正相关,Co主要富集在基性程度高的岩石中;块状硫化物与
期刊
以民营企业为代表的非公经济长久以来在我国社会主义市场经济中发挥的重要作用自不用赘述。随着非公经济体在中国经济地位的不断提升,党中央从巩固党的执政基础的战略高度出发,大力推进非公企业党组织建设。根据2018年度党内统计公报,全国有超过185万家非公有制企业建立了企业党组织,约占总数的73.5%。企业党组织占比如此之高的现象,引发社会对党组织参与治理和企业经营活动之间关系的思考与讨论。然而当前有关党组
学位
航空网络是一个庞大的复杂系统,复杂网络理论是研究复杂系统的重要手段。实证分析航空网络存在的非平凡性质及其产生机理对资源配置、航线规划设计、生产调度具有重要意义。在传统实证网络研究中,研究者一般是通过计算复杂网络的统计量指标来刻画其网络性质。相较于传统实证网络研究,参照零模型方法给出了一种规范的网络科学研究路线。本文以2021年中国航班数据为基础,分别构建无向无权航空网络、无向加权航空网络以及时效航
学位