面向人脸表情识别的深度神经网络模型压缩研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:sivi1818
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及,人脸表情识别技术正在经历前所未有的发展,基于深度卷积神经网络的人脸表情识别算法取得了长足的进步,并且已经超越了传统的人脸表情识别算法。同时,5G时代的到来以及大规模普及的软硬件基础条件也已具备,基于这种方法的市场与应用前景十分广阔。然而深度卷积神经网络存在着自身的局限,随着网络结构变得愈加复杂,训练参数量也与之增加,使用网络进行训练或推理需要更大的计算开销和内存开销,这使得深度卷积神经网络很难走出实验室,应用于计算存储资源有限的硬件设备中。针对这一问题,本文基于知识蒸馏网络方法研究了人脸表情识别网络的模型压缩方法。主要概括为以下几个方面:1)对人脸表情识别网络进行知识蒸馏网络训练。首先对人脸表情数据集进行预处理,提取并分割其中的人脸图像,然后选取教师模型进行训练,最后使用训练好的教师模型对学生模型进行知识蒸馏网络训练,验证了知识蒸馏网络的方法在人脸表情识别领域的可行性。2)提出了对知识蒸馏网络的改进方法。针对教师模型在知识蒸馏后期会影响学生模型的性能这一问题,提出了一种提前终止知识蒸馏的训练方法,只在训练前期使用教师模型指导学生模型进行知识蒸馏训练。利用教师模型的性能差异,提出了多个教师多步指导学生模型进行知识蒸馏训练的方法,每个阶段只使用一个教师模型指导蒸馏训练,通过性能逐步递进的教师模型,使得学生模型逐步学习不同层次的知识,有效提升学生模型的性能与泛化能力。3)人脸表情识别网络的部署。搭建神经网络实际部署的开发环境,转换神经网络模型并导入预训练参数,在Mind Studio中设计完成人脸表情识别任务的应用并部署到Atlas 200 DK开发者套件上。
其他文献
随着移动智能设备的迅猛发展,基于深度神经网络的智能化应用丰富多样,特别在图像内容检索(Content-Based Image Retrieval,CBIR)、语音识别等领域取得了巨大的成功。数据和服务外包提供了一种经济而高效的应用部署解决方案,然而,从用户和智能分析模型提供者的角度来看,数据以及模型参数都是价值产品,如何利用云服务强大的存储计算能力,同时保障用户敏感数据和模型参数不泄露,成为智能化
随着基于深度学习技术的发展及其应用场景的不断扩展,各种高性能的神经网络模型已经被广泛应用到现实环境中,特别是基于深度学习的目标检测已经被广泛应用于机器人、自动驾驶以及智能家居等领域。但是神经网络模型对于硬件平台的计算能力和存储容量都有较高的要求,很难部署在资源受限的嵌入式设备上。为解决巨大的模型计算量和存储量与嵌入式设备的资源限制之间的矛盾,对模型进行压缩和加速非常有必要,并且这对于将高性能神经网
电磁波电场强度矢量的取向随着时间发生改变的现象称为电磁波的极化,光学领域这一现象通常被称为电磁偏振。在不同的仪器设备中,通过极化状态的转换来得到所需形式的极化波是非常有必要的。早期的极化控制主要通过液晶和结晶体的相位延迟和双折射效应,或采用多层光栅和铁氧体来实现,但基于这些方法设计的结构较为复杂、样品的加工难度较大,而且难以实现微型化和集成化,同时在性能方面也存在频带较窄、模式单一、极化选择性较差
图像分类作为计算机视觉领域的基石,在图像、视频数据爆炸式发展的今天显得尤为重要,并具有巨大的现实意义。深度学习在图像分类领域不断发展,做出了许多巨大突破,与此同时如何再次提升模型准确率、开发模型潜能以适应有限的硬件资源成为了热点问题之一。知识蒸馏作为知识迁移的具体实现手段,在模型压缩领域发挥了巨大作用。本文运用知识蒸馏的自蒸馏思想,优化了网络模型的训练策略,提出了基于训练过程的并联知识迁移训练架构
CT技术作为患者身体检查,诊断疾病的有效手段,已经在临床广泛使用。但CT检查过程中产生的射线对人体带来的伤害却也不能忽视。采用有效的手段可以减少CT检查过程中产生的射线量,比如降低管电压,降低管电流,降低曝光时间,减少采样角度等。但是降低辐射剂量,在CT成像过程中会产生CT图像上不属于组织结构影像的伪影,使图像细节模糊,图像清晰度下降,甚至会影响医生的诊断结果,给患者带来更为严重的危害。近年来,深
多智能体系统是由一群具备感知、通信、计算和执行能力的智能体经过互相关联而形成的一个网络系统。在多智能体系统中,包围控制是指智能体依据所获得的传感器数据,对目标或者目标区域进行环绕运动的一种控制方式,可应用于对目标的搜索、救援、探测、监测等场景下。本文研究了基于方向信息的多智能体包围控制问题。其中,基于方向信息是指智能体所搭载的传感器仅能测得自身和目标之间的相对方向,无法测得自身与目标之间的距离。基
近年来,随着计算机软件及硬件的飞速发展,深度学习得以在计算机视觉、自然语言处理、无人驾驶等领域崭露头角。卷积神经网络作为深度学习中最重要的模型之一,在图像分类、目标检测等方向上取得了优异的成绩,但也伴随着诸如过拟合、时间内存开销较大等需要解决的问题。作为最具代表性的正则化方法之一,Dropout方法通过屏蔽部分神经元参与训练的方式有效地抑制了过拟合现象的发生。但在卷积神经网络上,普通的Dropou
随着科技的发展,碳化硅高温压力传感器被广泛应用在石油钻井、化工冶金和航空航天等领域。目前国内外主要致力于传感器结构设计优化及失效分析和欧姆接触结构设计及失效分析等方面进行研究,对碳化硅高温压力传感器的应力模型研究报道较少。在广泛使用高温压力传感器的航空航天领域,传感器发生故障可能导致巨大的财产损失甚至危及人的生命安全。因此,研究碳化硅高温压力传感器结构在不同应力,尤其是综合应力下的应力模型,定量描
合成孔径雷达干涉测量技术(Synthetic Aperture Radar Interferometry,简称InSAR)是一门融合了 SAR成像和干涉测量的新技术,并且在三维重建和形变监测方面取得了重大成就。由于InSAR系统无法直接通过干涉相位获取准确的地球物理量,相位解缠作为InSAR技术流程中的一个重要环节,能够通过缠绕相位还原真实相位,从而使整幅图像能够提供有意义的信息。一方面,深度学习
由于单架四旋翼存在飞行距离短,载重有限等问题,因此在一定程度上限制了某些场景下的应用。多四旋翼协同控制能够很好的解决单架四旋翼存在的不足,如何协调多架四旋翼的协同控制成为研究的热点。首先,介绍了四旋翼飞行器的建模过程。第一步对四旋翼飞行器的组成和结构进行简介,然后再建立相关坐标系和四旋翼飞行器的数学模型,简要介绍模型预测控制,通过对模型进行分析,将模型解耦并线性化成平移和转动动力学的线性时变状态空