【摘 要】
:
深度学习,特别是卷积神经网络,已经成为了计算机视觉很多领域的最佳解决方案。深度神经网络模型的主要缺点在于其庞大的计算量与参数数量,这在一定程度上限制了深度学习在一些资源受限设备(例如手机或嵌入式设备)上的应用。所谓资源受限,指的是某一特定任务必须在有限资源供应的情况下完成计算,包括但不限于计算时间、存储开销、能源消耗等。这些小型设备对于模型的计算速度和体积都有着严格的要求。因此,如何加快深度模型的
【基金项目】
:
国家自然科学基金优秀青年科学基金项目“资源受限的图像分类及其应用”(61422203); 国家自然科学基金面上项目“资源受限的细粒度图像分类”(61772256); 国家自然科学基金创新研究群体科学基金项目“面向开放动态环境的机器学习”(61921006);
论文部分内容阅读
深度学习,特别是卷积神经网络,已经成为了计算机视觉很多领域的最佳解决方案。深度神经网络模型的主要缺点在于其庞大的计算量与参数数量,这在一定程度上限制了深度学习在一些资源受限设备(例如手机或嵌入式设备)上的应用。所谓资源受限,指的是某一特定任务必须在有限资源供应的情况下完成计算,包括但不限于计算时间、存储开销、能源消耗等。这些小型设备对于模型的计算速度和体积都有着严格的要求。因此,如何加快深度模型的运算速度,降低参数数量成为了计算机视觉领域的重要研究课题。另一方面,很多研究表明深度网络存在着严重的过参数化现象,即模型的参数是冗余的。这在一定程度上给模型压缩提供了理论支持。本文认为滤波器级别的剪枝算法是加快神经网络计算速度,降低内存开销的有效技术手段。针对网络剪枝领域的若干重要问题,我们开展了一系列探索,本文所涉及的主要工作包括:1.一种基于重构误差最小化的滤波器剪枝算法:Thi Net。针对以往剪枝算法多为启发式的缺点,我们将模型的剪枝过程形式化地建模为了一个优化问题,并提出了一种贪心算法来更快更好地求解该优化问题。我们发现如果能最小化下一层网络输出的重构误差,移除当前层相应的滤波器就不会对网络的最终精度造成严重的影响。另一方面,为了进一步降低网络的存储开销,我们提出了一种基于通道混合操作的算法(gcos算法)来解决因分组卷积造成的信息阻塞问题,有效避免了精度下降。实验结果表明,Thi Net在多个数据集上超过了以往的启发式剪枝算法,其模型具有良好的泛化性能。2.一种可端到端训练的滤波器剪枝算法:Auto Pruner。针对以往三阶段剪枝算法过于依赖人工设计的剪枝标准的问题,我们提出了一个新的网络模块Auto Pruner。该模块以卷积层的输出张量为输入,通过一系列运算得到一个唯一的索引向量。在模型微调过程中,该索引向量的值将会逐渐变为二值,从而实现更加平滑的剪枝操作。训练完成后,二值向量中所有零元素所对应的滤波器与通道将会被移除,而这并不会影响模型的精度。实验结果表明,Auto Pruner算法显著优于以往的三阶段剪枝算法。3.一种针对残差连接与数据受限的剪枝算法:CURL。针对如何更好地剪枝残差结构以及如何在小数据集上进行网络剪枝的问题,我们提出了一种新的模型剪枝方案CURL。对于残差结构,我们认为同时剪除残差块的中间与输出维度能够实现更好的压缩性能。为了能够直接在小数据集上进行网络剪枝,我们使用若干图像变换技术来扩充原始的小数据集,并使用知识蒸馏技术来微调剪枝后的模型。由于扩充后的数据集存在噪声,我们提出了一种标记细化的方案来同时对知识蒸馏的软标记进行更新。实验结果表明,我们提出的CURL算法有效地解决了以上两个问题,大大降低了剪枝算法的实际应用难度。
其他文献
在有磁场作用的情况下,导电流体的运动规律通常可以通过磁流体力学方程组刻画。磁流体力学的相关理论在实际中有着广泛的应用,像天体物理,热核反应以及工业。在本博士论文中,我们将考虑可压缩磁流体力学方程组分别在无磁阻和无粘性时的可解性。在第一章,我们将回顾一些关于可压缩磁流体力学方程组的已知结果,分为高维,横截流和一维三种情况介绍。在第二章,我们将考虑一维可压缩有粘性无磁阻的磁流体力学方程组。对于等熵的情
倾斜理论是代数表示论的主要工具之一,它描述的是关联的两个代数使用所谓的倾斜模和相关倾斜函子模范畴的方法.倾斜理论起源于反射函子,倾斜模的第一组公理是由Brenner和Butler提出的,现在我们广泛接受的倾斜模的定义是由Happel和Ringel引入的.倾斜理论的主要思想是,当代数A的表示理论很难直接去研究时,可以用另一个简单的代数B来代替A,从而使问题简单化.我们可以构造倾斜A-模T,它与Mor
铁性(铁电、铁磁、铁弹等)材料是一类具有诸多优良性能的功能材料,它在传感、驱动、存储以及人工智能等高技术领域有着极其广泛的应用。其中典型的铁电材料:掺镧钛酸铋(Bi3.25La0.75Ti3O12,BLT)和锆钛酸铅(PbZr0.53Ti0.47O3,PZT),因其具有较大的剩余极化而在铁电存储领域一直受到科研工作者的关注;典型的多铁性材料:铁酸铋(BiFeO3,BFO)能够在室温以上同时表现出铁
冷链物流连接田间地头、百姓餐桌,是重要的民生领域。12月13日,国家发改委就日前公布的《"十四五"冷链物流发展规划》(简称《规划》)举行发布会。国家发展改革委经济贸易司副司长张江波介绍,《规划》对"十四五"时期冷链物流发展作出全面部署,是推动当前和今后一个时期冷链物流高质量发展的顶层设计和系统指引。促进消费,改善民生为充分发挥冷链物流对促进消费、
目的探讨贝复舒凝胶联合典必殊眼膏对泪囊鼻腔吻合口愈合的疗效。方法收集90例单眼慢性泪囊炎病例,随机分成贝复舒组、典必殊组和联合组,每组30例。所有患者均由同一名经验丰富的眼眶外科医师在鼻内镜下操作完成泪囊鼻腔吻合术。贝复舒组在吻合口及周围贴敷浸有贝复舒凝胶的明胶海绵;典必殊组在吻合口及周围贴敷浸有典必殊眼膏的明胶海绵;联合组在吻合口及周围贴敷浸有2种药物的明胶海绵。术后1个月于鼻内镜下观察各组患者
反照率表示地面对太阳短波辐射的反射能力,对大气和地表之间的能量分配起着重要作用,是地面能量收支平衡的一个重要参数。近几十年来北极海冰发生了显著的变化,主要表现在海冰覆盖面积的减少和海冰厚度的降低,北极开阔水面增加。由于海冰的反照率比海水反照率大得多,因此海冰减少后海洋会吸收更多的太阳辐射能量,这些能量一部分会用来融化海冰,使得海冰进一步减少,这就是海冰反照率回馈机制。海冰和反照率的变化会对全球气候
广域多点遥感技术在灾害监测与定位领域中发挥着重要作用。在光域里实现的微波光子传感系统具有大带宽、高速率、抗干扰和低功率损耗等其他传感技术所不具备的诸多优点,基本原理是将传感信息通过光信号形式转换成微波信号,能够提高识别速度和精度,更稳定、更易控制,具有良好的可重复测量特性。本文基于均匀光纤布拉格光栅(UFBG)建立的光电振荡器(OEO),提出了几种新型的准分布式光纤传感器阵列和光纤传感解复用技术。
密集纳米团簇渗流网络的导电能力对团簇面间距的变化高度敏感这一特性,可被用于构造多种传感器件。若采用柔性材料作为基底,纳米团簇渗流网络可以被用于制造新型的柔性力学传感器。由于在纳米团簇渗流网络中,电子输运同时还依赖于电子内能、隧道结的介电常数等,其电导对环境温度、湿度的变化亦会具有一定的响应。因此,基于密集纳米团簇渗流网络还能够获得多功能的柔性传感器件。随着智能终端的普及,可穿戴电子设备呈现出巨大的
相位光时域反射仪(Φ-OTDR)以其高灵敏度特性在分布式监测领域得到了广泛的关注。近十年来,越来越多的研究者投入到如何利用相位光时域反射仪的相位信息检测外界扰动事件的研究中。相位光时域反射仪的相位信息通常包含在具有不同干涉图样的散射信号中。为了获得相位,先后出现了参考光相干探测、双脉冲干涉、干涉仪干涉等多种干涉检测方案。与此同时,也出现了三端口解调、希尔伯特变换和正交解调等多种解调方式。这些研究极
低维半导体材料因具有独特的结构与物理性质,使其在光电探测器、激光二极管、气体传感、场效应晶体管(FET)、太阳能电池等领域都有着广泛的应用。本文通过基于密度泛函理论(DFT)的第一性原理计算,研究了磷及磷化物(蓝磷、P2C2)和硒化物(Sn Se、Ga2Se Te)低维半导体材料的电学和光学特性,并依据它们的优势探索了其潜在的器件应用及器件输运特性。此外,还对薄膜缺陷结构的电学性质进行了理论研究和