【摘 要】
：
在很多深度神经网络中包含了大量的参数,这些动辄上亿的参数和相应的计算限制了其在移动设备和实时系统中的应用。因此,训练高效的轻量级神经网络成为了深度学习在一些实际应用中落地的先决条件。传统的知识蒸馏主要研究在分类领域中的深度网络,针对在一般物体检测（general object detection）领域的研究不足的问题,以满足移动设备和实时系统的计算和存储要求为目标,用知识蒸馏的方法提出了一种轻量级
论文部分内容阅读
在很多深度神经网络中包含了大量的参数,这些动辄上亿的参数和相应的计算限制了其在移动设备和实时系统中的应用。因此,训练高效的轻量级神经网络成为了深度学习在一些实际应用中落地的先决条件。传统的知识蒸馏主要研究在分类领域中的深度网络,针对在一般物体检测（general object detection）领域的研究不足的问题,以满足移动设备和实时系统的计算和存储要求为目标,用知识蒸馏的方法提出了一种轻量级的高精度检测网络。以目标检测领域为对象,设计了一种“教师-学生”知识蒸馏算法（命名为EncoderMimick）,将庞大而具备高识别能力的教师网络的强大的识别能力传授给轻巧而低识别能力的学生网络。不同于简单而直观地对特征图进行蒸馏,EncoderMimick的基本思想是:先用一个自动编码器将高维的特征图编码到低维空间,提取主要信息,然后在低维空间进行蒸馏学习。此外,还设计了一种损失函数,重点关注教师网络特征图中响应强烈的点和教师网络学生网络差异较大的点,并且保障训练稳定性而避免爆炸。在测试EncoderMimick算法性能时,以经典的COCO数据集为基准（benchmark）,以平均精度（mean mean Average Precision,mmAP）为衡量指标,以RetinaNet为基本网络结构来阐述和验证EncoderMimick算法的有效性。当同时在特征图和分类分支进行知识蒸馏时候,EncoderMimick算法能够让以ResNet-18为主干网络的RetinaNet,在COCO物体检测任务上mmAP由自学的0.318上升到0.338。除检测领域外,该算法在分割、追踪以及自然语言处理（Natural language processing,NLP）等深度学习领域的知识蒸馏也有重要的参考价值。
其他文献
随着社会经济的快速发展,对能源消耗量日趋增加,采矿业不断发展,导致采沉区地质灾害频发。因此,有必要对采沉区崩滑等大型地质灾害进行风险评价,提前预测区域稳定状态,降低采沉区人员伤亡和财产损失,具有一定的现实意义。本文从受开采扰动覆岩变形和采动斜坡变形破坏规律两个方向展开研究,分析地下开采斜坡变形破坏机理和影响因素,结合研究区地质概况,对采沉区崩滑地质灾害进行区域性风险评价,具体研究如下:（1）从探讨
目的：探讨水中平板步行和平板步行训练对脑卒中偏瘫患者姿势控制及步态对称性的影响。方法：选择BrunnstromⅣ期及以上脑卒中偏瘫患者40例，随机分为观察组和对照组各20例。2组均接受常规康复训练，观察组于此基础上采用水中平板步行训练，对照组于此基础上采用平板步行训练，均进行20min/d,5次/周，4周训练。治疗前后进行三维步态分析（支撑期时间比、摆动期时间比、步长比）、姿势控制量表（Postu
微小固体漂浮在液面上时,固体之间会有相互吸引或排斥的趋势,我们把引起这种趋势的力称为毛细相互作用力。颗粒在流场中漂浮时,可能会受到其他固体物的毛细吸引而被俘获,本文重点研究毛细相互作用力以及漂浮颗粒被椭圆柱所俘获的机理。毛细吸引力导致毛细俘获,而毛细作用力与弯月面的形状关联很大,只要漂浮物体的弯月面形状确定,容易求得毛细作用力大小。本文从求解线性化的杨-拉普拉斯方程出发,先介绍球和柱等简单形状的弯
目的：考察大学生社交焦虑的潜在类别及其影响因素。方法：整群抽取2098名在校大学生，采用大学生社交焦虑、核心自我评价等问卷进行测量，并对其社交焦虑的特征进行潜在剖面分析，采取多项式logistics回归探究大学生社交焦虑潜在类别的影响因素。结果：大学生社交焦虑存在显著的群体异质性，分为低社交焦虑型、中度社交焦虑型与高社交焦虑型（AIC=127312.910，BIC=128332.421，aBIC=
阐述配网工程管理中的问题、安全质量标准化管理的策略,包括施工前、物资采购、施工过程、竣工验收的工程过程,从而保证配电网的功能性和安全性。
生物支架作为组织工程的组成要素和功能载体,对患者受损部位的修复与再生有直接影响。组织工程传统支架成型方式由于其自身的局限性,已经不能很好满足日益发展的组织工程对于生物支架的成型要求。生物3D打印技术基于“离散-堆积”原理,在制备高仿生组织与器官方面具有独特的优势。单喷头生物3D打印系统已经难以满足生物支架的成型要求,因此,开展多喷头生物3D打印系统的研制工作具有十分重要的意义。本课题基于气动挤出沉
航空计量活门的液压控制系统是确保飞机在任何工作状态下都能向燃烧室提供稳定精确燃油的系统,保证了航空发动机稳定安全可靠的运行。随着现代航空发动机的性能要求越来越高,为保证其能稳定高效的工作,对航空计量活门的液压控制系统提出了更高的要求。因此,研究并改进航空计量活门的液压控制系统的结构和精确控制燃油流量具有重要意义和工程价值。本文以某型军用航空发动机中某型燃油调节器为研究对象,主要工作内容如下:首先,
大数据时代的到来对存储芯片的存储容量和运行速度提出了更高的要求,基于冯诺依曼架构的传统计算机面临着多重挑战。忆阻器具有超高的存储密度和极快的响应速度,在计算机存算一体和神经网络仿真等领域有着独特的优势。但是目前主流的忆阻器阻变稳定性和生物可兼容性还不够好。自组装有机分子在具有高度的生物兼容性的同时还可以有效增强功能层材料的稳定性,理论上是最理想的忆阻器功能层修饰材料。但目前还没有人系统的探究自组装
随着信息交互频率的增加和人工智能时代的来临,数据的存储与运算需要一个更为高效、快速的方法。忆阻器在兼具存储与计算于一体的同时,其高速、低功耗、高密度、与传统CMOS兼容等特点有望成为下一代存储器件,以及在逻辑运算与人工突触器件等应用方面大放异彩。HfOx忆阻器因其优异的阻变性能在神经网络计算中作为类突触器件广泛研究。理想的人工突触器件需要模拟阻变行为线性度高、一致性好、阻变窗口大等方面的优势。因此