基于特征图的多级知识蒸馏模型压缩算法的研究与实现

来源 :西北大学 | 被引量 : 0次 | 上传用户:lwhssg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着人工智能的发展,深度神经网络以其优秀的特征提取能力,在图像等领域陆续取得了令人惊叹的成绩甚至在某些领域已取得远远超过传统机器学习方法的成绩。复杂的网络结构和大量的训练数据为神经网络踏上卓越发展道路提供了强有力的支撑。然而,网络模型庞大的参数量和巨量的计算量也限制了深度神经网络在资源有限的移动端上的部署和发展。但实际上,研究人员发现深度神经网络庞大的参数中有很大一部分都是冗余的。为了服务于移动端,在保持网络性能的基础上对网络进行压缩和加速的想法便应运而生。但是当前压缩方法还存在诸多不足,基于此背景,本文重点对深度卷积神经网络的模型压缩和加速算法进行研究,主要工作如下:针对基于知识蒸馏的压缩方法,本文通过类比真实教学场景中老师向学生传授知识的过程,提出了一种基于特征图的知识迁移方法,让学生模型向老师模型学习中间层的知识,模仿学习思路。通过对比实验证明,基于特征图的知识蒸馏方法作用下的学生模型可以获得比现有方法更好的性能。然而上述的知识蒸馏方法与现有的知识蒸馏方法大多一样,通过一次知识迁移过程将老师模型的能力迁移至学生模型,没有考虑到当老师模型与学生模型之间的规模差异较大时,学生模型无法很好地去模仿老师模型能力的问题。本文通过引入一个辅助模型的方式,使用一个规模介于老师模型与学生模型之间的模型作为辅助,将蒸馏模型分为两个蒸馏过程,弥补老师模型与学生模型之间的规模鸿沟。通过实验对比证明,该方法能够获得比现有方法更好效果。最后,在上述方法结合的基础上,设计实现了一个基于特征图的多级蒸馏模型压缩算法的嵌入式交通标志识别系统。在嵌入式平台上对模型进行性能测试,实验结果证明,本项工作可减少模型在嵌入式设备的模型推理时间,并在执行交通标志识别任务时取得了不错的成绩。
其他文献
硫酸软骨素(chondroitin sulfate,CS)作为一种代表性的硫酸化糖胺聚糖(glycosaminoglycans,GAGs),以蛋白聚糖(CSPGs)侧糖链的形式广泛存在于脊椎动物细胞表面或细胞周围基质中,其重复二糖单元结构为:[-4-GlcA-β1-3-GalNAc-β1-]n。CS参与生物体许多生理过程,也与很多病理过程息息相关。临床上,CS类制剂已广泛应用于骨关节炎(osteo
背景癌症是目前人类医学领域亟待解决的一个问题,严重威胁着人类的生命健康。肾细胞癌(Renal cell carcinoma,RCC)是泌尿系统主要的恶性肿瘤,发病率在泌尿系统肿瘤中排第二位。其转移率较高,可大于30%,是泌尿系疾病临床研究的重要组成部分。而转移性肾癌(Metastatic renal cell carcinoma,mRCC)预后较差,此类患者五年生存率低于10%。对于mRCC的治疗
目的:探索术中应用洛铂预防胃癌术后肿瘤复发的安全性和有效性。方法:采用随机对照研究设计,研究对象为2018年6月-2019年6月在南昌大学附属肿瘤医院腹部外科确诊为进展期胃癌的80例住院患者。对照组:40例采用腹腔镜胃癌D2根治性手术;实验组:40例采用腹腔镜胃癌D2根治术,术中将100mg洛铂稀释在250ml温生理盐水中,夹闭腹腔引流管6h。术中两组患者均取腹腔冲洗液进行脱落癌细胞检测,于术前及
目的探讨血清Aβ1-42、Dnmt3a2和尿AD7c-NTP在抑郁症认知功能损害的关系及作用,以期寻找抑郁症认知功能损害的实验室指标。资料与方法纳入59例符合条件的抑郁患者(简称患者组),其中包括首发未服药抑郁症患者(简称首发组)29例、复发性抑郁症患者(简称复发组)30例,同期选择30例匹配的健康对照(简称对照组),进行病例对照研究。患者组要符合DSM-V抑郁的诊断标准,HAMD24项≥20分。
本文介绍了无人机自适应空对地导弹发射平台系统的设计工作。利用Solidwork软件设计了火箭发射导轨的机械系统,并运用3D打印技术制造。无人机可以携带质量不超过3.6kg的机械结构飞行。利用Altium designer软件设计了自适应系统,并利用Altium designer软件设计了该电路。该电路包括实现该电路所需的元件和集成微控制器K60P144M120SF3。这一个集成电路,包括微处理器,
近年来,大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)天线传输技术在现代通信业务网络体系中发挥着巨大的作用,具备海量信息转存和高速率数据传输这两大特点,可以充分满足高频谱效率及高系统容量的通信业务需求。然而在高度紧密排布的天线阵列中,天线上的电流或电压信号会直接或间接受到相邻天线的影响,即每个天线阵元上接收到的电压信号会
川金丝猴作为我国濒危野生动物,被列为中国濒危动物红皮书与濒危野生动植物国际贸易公约,为了更好地保护川金丝猴这一中国特有物种,各地纷纷建立自然保护区以求尽可能保护川金丝猴栖息地,减少人为影响,除建设自然保护区等宏观保护手段外,寻求其他方法能够保护川金丝猴种群数量与生态多样性,引起了国内外科研工作者的兴趣。近年来,对于川金丝猴种质资源的保护都倾向于宏观方面,涉及细胞水平等方面的微观研究却较少,而细胞资
研究背景蛋白酪氨酸磷酸酶1B(Protein tyrosine phosphatase 1B,PTP1B)是经典蛋白酪氨酸磷酸酶家族(PTPs)的重要成员之一,其突变导致的催化活性或底物特异性异常与许多人类重要疾病密切相关。研究表明:PTP1B可以负向调控胰岛素信号通路、瘦素信号通路,正向调控Ras-Raf-ERK信号通路等体内多种重要的信号通路。因此PTP1B是治疗包括2型糖尿病、肥胖、乳腺癌在
本文分析了海博瑞鲟的营养成分,通过传统烟熏工艺的优化试验,并增加了鲟鱼肉表面黏液的预处理,筛选确定了烟熏鲟鱼加工最优工艺参数,对-18℃贮藏条件下烟熏鲟鱼品质的变化进行了研究。研究结果表明:1、海博瑞鲟基本营养成分分析表明,鲟鱼中粗蛋白高达22.6%,17种氨基酸含量达到27.28%,含有人体必需的7种氨基酸,人体必需氨基酸和呈味氨基酸占总氨基酸的44.65%和36.36%,必需氨基酸指数为71.
现代科学技术的飞速发展对高科技企业而言既是挑战,也是机遇。在这样的时代背景下,高科技企业通过运用科学的决策和管理方法,不仅可以促进企业飞速发展,更能推动区域经济高质量发展。现将高科技企业的创新性评价归结为多属性群决策问题,通过对该问题的科学评价,能够提升企业效用并促进企业发展。决策过程中,决策问题往往比较复杂,而每个决策者由于自身行业不同、偏好不同,很难用精确的数学表达对其评价。针对这一问题,本文