【摘 要】
:
卷积神经网络在计算机视觉领域具有重要地位,随着不断发展和应用,其性能也在逐渐提升。然而,网络的层数、参数量和计算量也在显著增加,这阻碍了卷积神经网络在资源有限的智能手机、可穿戴智能设备等移动端的应用。为了解决这些问题,研究者们提出了众多方案,在最小化网络性能损失的前提下,对卷积神经网络中不重要的部分进行有效识别和剔除,以达到压缩模型和加速计算的目的。网络剪枝是对卷积神经网络压缩和加速的有效途径,它
论文部分内容阅读
卷积神经网络在计算机视觉领域具有重要地位,随着不断发展和应用,其性能也在逐渐提升。然而,网络的层数、参数量和计算量也在显著增加,这阻碍了卷积神经网络在资源有限的智能手机、可穿戴智能设备等移动端的应用。为了解决这些问题,研究者们提出了众多方案,在最小化网络性能损失的前提下,对卷积神经网络中不重要的部分进行有效识别和剔除,以达到压缩模型和加速计算的目的。网络剪枝是对卷积神经网络压缩和加速的有效途径,它可以显著降低网络的冗余度和复杂性。如今,网络剪枝逐渐成为一项热点,然而仍然存在若干问题值得更加深入地研究。针对网络剪枝中两个有待解决的问题展开了对卷积神经网络压缩的分析和研究:(1)如何在训练和动态剪枝交替进行的情况下取得良好的压缩效果,且不影响模型剪枝后的性能;(2)如何更好地提升压缩模型的性能;本文的主要工作有以下两个方面。(1)首先,提出了基于一种动态阈值的高效剪枝方法。现有的剪枝方法往往依赖预训练的网络,然后按照一定剪枝率对所有通道进行一次彻底剪枝,再将剪枝后的模型进行微调,这些方法虽然在性能上能够保持较好的效果,但压缩效果还不算太理想。基于动态阈值的剪枝方法是稀疏化训练和剪枝同时进行,在每轮训练完成后对网络中的所有通道进行评估,将评分较低的部分不重要的通道从模型中移除,剪枝阈值随着训练的迭代而发生改变。基于动态剪枝的卷积神经网络压缩方法的多组实验表明,剪枝模型能够获得比现有方法更好的压缩效果。(2)然后,进一步引用权重再置来提升压缩模型性能。大多数的剪枝方法使用完整模型训练得到的权重微调剪枝模型。研究发现从预训练模型学习到的“重要”权重通常对小的剪枝模型没有用处,微调通常并不会比使用随机初始化的权重从头训练得到的模型性能更好。网络剪枝的最终目的是得到最优的结构,即每一层的通道数,而不是为了继承完整模型的权重。基于权重再置的压缩模型性能提升方法保持剪枝模型与完整模型训练过程的参数量或计算量相同,计算剪枝模型训练的次数并对剪枝模型随机初始化权重进行从头训练,在多个剪枝模型上的实验表明对权重再置从头训练可以获得与微调相当甚至更好的性能。
其他文献
大量工程实践表明,预应力锚杆(索)会产生不同程度的预应力损失,而锚固体-岩土体界面的应力松弛特性则是影响预应力锚杆(索)预应力损失的重要因素。因此,本文针对我国南方红土地区的预应力锚固边坡,研制了锚-土界面剪切应力松弛试验装置,开展了多因素(土体含水率、土体干密度及剪切位移水平)作用下锚-土界面剪切应力松弛试验和理论研究,揭示出红黏土土层锚杆在上述多因素作用下受长期荷载作用时应力松弛特性。在国家自
随着时代的发展,准确获得边界层风场状况对于建筑抗风设计越来越重要;随着科技的发展,测风研究方法也越来越多;本文创新地提出了一种利用六旋翼无人机搭载风速仪来进行风场测量的新方法,通过与测风塔进行对比探究了其可行性,进而对边界层风场开展了现场实测研究。首先,根据国内外的研究结果,开展了风洞实验研究。确定了风速仪在六旋翼无人机中央控制台上方安装的适当高度,一方面不影响六旋翼无人机的正常飞行及其稳定性,另
随着新一轮课程改革的稳步推进,我国的教材建设体系也进一步完善,统编版初中语文教科书自2019年起在全国范围内投入使用,教科书作为中小学校教学活动开展的核心载体,对统编版初中语文教科书进行相关研究十分重要。本研究以习近平新时代中国特色社会主义思想为指导,坚持立德树人教育根本任务,通过文献研究法、内容分析法,从语文课程是实现立德树人的重要途径、统编版语文教科书是国家事权的直接体现以及爱国主义教育选文是
沥青作为煤/石油化工的副产物,具有来源广泛、芳烃丰富及碳化收率高等优势,是制备高性能碳材料优异的碳质前驱体。其中,沥青衍生碳纳米纤维(CNFs)具有高的电导率、良好的柔韧性以及高的比表面积等优点,已成为碳材料制备和应用领域的研究焦点。然而,沥青差的溶剂溶解性和宽的分子量分布,导致静电纺丝法制备沥青衍生CNFs一直面临着巨大的挑战。因此,本论文以沥青与聚丙烯腈(PAN)共混物为前驱体,采用静电纺丝法
人字齿轮系统重合度高、轴向力小、承载能力强、传动平稳,是海洋船舶领域、高速轨道交通领域和高速航空航天领域中的重要传动装置。时变啮合刚度是齿轮系统主要的激励,和系统振动和噪声的产生有关。齿顶修形、磨损和裂纹会对人字齿轮的时变啮合刚度与动态性能产生影响。因此,时变啮合刚度的研究是分析人字齿轮动力学特性的基础,对识别齿轮系统失效有重要的意义。本文基于势能法,计算含磨损和裂纹的齿顶修形斜齿轮啮合刚度,分析
近年来由于国家大力发展新能源汽车产业,我国在电动汽车领域取得了巨大的成功。动力电池是电动汽车的动力来源,也是电动汽车中最核心的部分,电动汽车的发展离不开电池技术的发展。动力电池目前存在的可靠性、安全性方面的技术问题是限制电动汽车发展的一大瓶颈,尤其是动力电池的热管理系统。如果没有高效的热管理系统,电池续航里程会逐渐下降、电池的全生命周期会极大的缩减,电池运行过程中发热严重时甚至可能引发热失控,进而
在当今社会,人们对永磁同步电机的应用已经不局限于低速的情况了,高速永磁同步电机的转速每小时可达几十万到几百万转,大大的提高了运行效率。因此应用也更加普遍,例如鼓风机、燃气轮机、压缩机、飞轮储能等。高速永磁同步电机往往有许多优势,其中包括具有较高的运行速度,较低的转动惯量,较快的应答速度等。高速永磁同步电机的控制相当于对电机转矩进行控制,转矩控制的核心又是对定子电流进行控制。本文准备通过对q轴的电流
在传热学领域,根据已知的测量点信息和其他已知条件求解传热系统内未知条件的问题都属于传热学反问题。传热学反问题在实际工程中应用广泛,如生物,纺织,无损探伤等领域。传热学反问题的解决方法主要有梯度法和非梯度法,其中梯度法计算量较小,但不具有全局搜索能力,且由于传热学反问题具有不适定性,测量信息的输入误差会在梯度法的求解过程中被放大从而影响反演精度。非梯度法包括进化算法,萤火虫算法等启发式算法,这类方法
自复位钢框架作为可恢复功能结构的一种,实现了比“小震不坏,中震可修,大震不倒”更高要求的抗震设防目标,因此受到了学者的广泛关注。自复位钢框架体系的工作原理是将地震作用下结构的主要变形集中在自复位构件上,从而保证结构中其余关键构件的变形处于弹性阶段。目前,关于自复位钢框架体系的抗震性能研究大部分是基于结构中仅存在自复位构件发展塑性的假定,即结构的变形完全遵循双折线旗形滞回模型。但是有研究表明,由于地
随着制造环境的动态变化和客户需求的多样化,大多数企业难以利用自己有限的资源和能力来满足客户复杂的需求。在这种情况下,越来越多的制造企业将各自的优势整合在一起,相互合作并共享制造资源(包括设备资源,设计资源,数据资源和计算资源),各种制造资源和功能被封装为制造服务,然后使用面向服务的体系结构和Web服务技术在云服务平台上注册和发布,并允许客户选择制造服务,以此来增强其市场竞争力,从而在制造环境中出现