卷积神经网络的模型压缩算法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:cecil666666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习模型近年来在图像识别、自然语言处理等方面上取得了很好的应用效果。伴随着性能的提升,深度学习模型的结构日趋复杂,对存储和计算消耗的需求越来越大。为了降低模型的复杂度,研究者们主要进行了三个方向的研究:模型参数的量化(Quantization),模型参数、结构的剪枝(Pruning)和轻量化模型的设计(如SqueezeNet等)。目前的深度学习量化算法通常将CNN卷积核中的参数替换为量化目标值(2的幂的形式),这样在特定硬件上即可将卷积运算中的浮点数乘法变为bit位移运算。量化算法在选择量化目标值时,大多是凭借先验知识(超参数)来确定,但这样找出的量化目标值会有冗余,从而有进一步压缩的空间。现有量化算法中,通常整个网络或者卷积层共用相同的量化目标值集合,而量化算法中参数的取值范围往往很小,整个网络共用较小的量化目标值集合影响了量化后模型的性能。剪枝算法近两年从对模型参数剪枝,转变为研究对模型通道数(filters)的剪枝。剪枝后的模型参数量减少,因此模型的存储空间以及应用时需要的计算资源大大减少。filters剪枝后的模型可以在现有的深度学习框架上直接运行。现有的剪枝算法,都采用预训练、迭代剪枝的剪枝策略。现有剪枝算法预训练了较长的训练周期,但还是不能做出好的剪枝决策。因此剪枝决策是否依赖于大量的预训练是值得思考的本文的工作针对CNN网络的量化和剪枝算法进行了研究,主要有以下三方面:1.提出了根据参数分布确定量化目标值集合的方法。现有的量化算法量化目标值集合,通常是基于经验或先验知识。本文根据参数数值分布,利用聚类算法对每个卷积层生成了对应的量化目标值集合。本文在MNIST和CIFAR10数据集上,使用相同的量化策略进行了实验,对比了根据参数分布得到的量化目标值和基于经验的量化目标值的有效性。实验结果表明,根据参数分布得到的量化目标值集合能用更少的数值表示整个网络,实现对CNN网络存储的进一步压缩。2.提出了以filters为单位,确定量化目标值集合的方法。现有的量化算法很少考虑量化目标值应用范围的问题,整个网络或整个卷积层使用相同的量化目标值集合。本文提出了针对不同的filters生成相应的量化目标值集合,改变量化目标值集合应用范围的思路。本文利用相同的量化策略,通过实验对比了改进后针对filters生成的量化目标值集合与原量化目标值集合的有效性。实验结果表明,针对filters生成的量化目标值集合,在相同的量化策略下,能让量化得到的网络精度更高。3.提出了一种增量式、基于少量预训练的剪枝思想(Incremental Pruning Thought Based On Less Training,IPLT)。该思想能极大程度上优化模型在训练阶段的计算量。现有的剪枝策略一般基于大量的预训练周期,但大量的预训练并没有给出好的剪枝决策。本文提出了 IPLT的思想,并利用这一思想改进了两个现有的剪枝算法。实验证明,这两个剪枝算法基于少量预训练得到剪枝模型,在分类精度上与基于大量预训练得到的剪枝模型相当。
其他文献
自然保护地内矿业权退出机制是新时期生态环境建设的重要举措,我国越来越注重生态文明发展,伴随着自然保护地体系重构,各类自然保护地数量明显增长。《矿产资源法》、《自然保护区条例》等法律法规明确规定了保护区内禁止勘查开采矿产资源,已存在的矿业权要逐步限期退出,但仍有部分矿产资源勘查开采活动位于自然保护地内。通过梳理自然保护地内矿业权退出的实施背景,剖析实践中矿业权退出机制的主要内容,明确矿业权的物权属性
膜生物反应器(MBR)是目前使用最广泛的生物增效技术之一,已被大量用于废水处理领域。但是,二级出水有机物造成的超滤膜污染成为了限制MBR技术发展的重要原因,其中由蛋白质类物质造成的不可逆污染尤为显著。在众多膜污染控制技术中,化学清洗技术使用广泛,其中以NaClO为代表的氧化剂类清洗剂对造成超滤膜污染的有机物和微生物处理效果好,因此在处理膜污染时多被采用。但是,传统的化学清洗往往消耗过量的氧化剂,对
光功能材料受到环境变化刺激时,会发生荧光性质的改变,从而传递出周边环境中存在的特定信息。其中,有机发光分子是光功能材料方向的研究热点。本论文对新型光功能有机共轭分子的结构设计及其性质进行了研究探索,具体工作包括:新型吲哚啉衍生物分子的合成及其性质的研究、萘酰亚胺-苯胺类荧光探针分子的合成及其性质的研究以及新型吲哚啉螺吡喃光致变色化合物的合成及性能研究等,并取得了如下创新性的研究成果:1.通过缩合反
图像去噪是图像处理的基础问题,也是信号处理领域的热点问题。只有尽可能地去除图像中的噪声,才能满足人们对图像清晰度和信息准确度的要求,才能进行图像的更高层次的处理与分析。随着去噪技术的发展,全变分去噪方法以它强大的数学支撑和优秀的图像边缘保持能力成为了图像去噪的重要方法。现有的全变分去噪模型大多只考虑水平与垂直两个方向图像梯度,在光滑区域存在阶梯效应;现有的求解算法存在着迭代次数过多,耗时过长的问题
微生物次级代谢产物与人类健康息息相关。自发现青霉素和链霉素以来,微生物来源的天然产物一直被认为是重要的药源分子资源库。慢性炎症可以引起气喘、动脉粥样硬化,甚至是癌症等多种重大疾病。因此深入发掘和筛选具抗炎活性的天然产物已成为天然药物化学的研究重点。本课题组在前期工作中从传统中药红花青藤中分离得到一株内生真菌Phomopsis sp.S12,并从其发酵浸膏中分离得到具抗炎活性的天然产物。本文以S12
随着我国经济的飞速发展和经济全球化程度的加深,跨国企业之间的合作日益突出,在利益驱动下衍生出利用无形资产成本分摊协议避税的情况,而我国税务机关想要更好地处理此问题,就必须对无形资产成本分摊协议反避税问题进行深入、全面的研究。因此,国际反避税成为如今的重要课题。无形资产转让定价是跨国公司国际避税的惯用手法,而成本分摊协议在无形资产合作研发中的运用使无形资产转让定价问题更加复杂,由此也出现了独立交易原
环氧沥青(EA)是一种性能优异的反应性聚合物改性沥青(PMA),目前已被广泛用于特殊路面的铺装。苯乙烯-丁二烯-苯乙烯三嵌段共聚物(SBS)作为一种重要的热塑性材料,在世界范围内被广泛地用于沥青的改性。本论文采用SBS和功能化SBS对自主研发的环氧沥青进行改性,分别研究不同苯乙烯(S)/丁二烯(B)结构的SBS对环氧沥青的微观形貌和性能的影响,以及溴化SBS(BrSBS)对环氧沥青在微观形貌以及阻
恶意软件的行为探测一直以来都是恶意软件检测的最核心的内容。通过检测恶意软件所有的行为模式,可以了解其工作流程,从而洞察恶意软件的内在逻辑。通常,发布的软件都会经过代码混淆,不容易直接通过静态分析探测出所有的行为逻辑。因此,对恶意软件进行动态分析就显得尤为重要。恶意软件动态分析系统的主要特点是方便快捷,且能够真实还原恶意软件在种种实际场景下的行为。在进行恶意软件动态分析之前,让恶意软件能够顺利地执行
雪冰孢粉作为一种直接、可靠的代用指标,能够反映不同时间尺度古气候和古环境变化信息。雪冰孢粉研究以雪冰中的植物花粉和孢子为研究对象,结合雪冰研究的特性以及孢粉研究的优势,为气候重建提供了一种新的手段。国外研究中,北极地区有区域性的雪冰孢粉研究工作,但是时间分辨率较低,孢粉鉴定种属也相对较少;山地地区雪冰孢粉现代过程研究较为深入,并且在孢粉辅助冰芯定年方面取得了较大进展。国内研究主要集中在青藏高原,关
随着人口老龄化和家庭少子化现象的加剧,独居老人的规模也在快速增长,独居老人群体晚年的生活质量普遍不高,生活满意度普遍较低等也成为了当前独居老人亟待解决的问题。独居老人晚年独自生活,并且通常伴有慢性疾病,在无人陪伴的情况下,独居老人们与外界的联系变少,长期的独自生活使得独居老人产生心理孤寂,情绪低落,拒绝与外界交流沟通等问题,长期以往对独居老人的生活质量造成了无法避免的降低。因此,如何帮助独居老人积