基于卷积核剪枝的深度神经网络模型压缩算法研究

来源 :中国科学院大学(中国科学院大学工程科学学院) | 被引量 : 1次 | 上传用户:ddudi5460
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的发展,自然语言处理、计算机视觉等工作都取得了突破性的进展,作为计算机视觉领域的一个重要研究方向,模型压缩任务也受到了广泛的关注。当前模型压缩算法虽然取得了一些成果,但是仍然存在很多问题。例如,多数算法需要准备一个预训练模型,然后再选取一种卷积核重要性衡量标准,将低于该标准的卷积核直接剪去,之后再进行Fine-tune训练恢复模型的准确率。这样的方法对于预训练模型的要求较高,并且在剪枝之后模型的容量会大幅的减少,影响到压缩模型的准确率。这类算法在比较简单的任务上可以达到较好的结果,但是任务稍复杂时,准确率和压缩比率会大幅下降。针对上述问题,论文提出了一种新型边训练边剪枝的模型压缩算法,能够在保证原有模型的准确率基本不降低的同时获得较高压缩比率。与传统剪枝方法相比,该算法有三个特点:一是通过对剪枝方式的修改,模型压缩不需要预训练模型和Fine-tune训练操作,提高了效率;二是将训练模型和剪枝操作结合起来,用“剪枝”约束的方法对模型的训练过程进行约束,可以从头训练出一个压缩好的模型;三是在最终剪枝操作之前,所有的卷积核都保持正常更新,模型的容量并不会减少,因此可以最大程度的保持原算法模型的准确率,同时可以提高模型压缩的比率。论文所提出的压缩算法面向图像分类和单阶段目标检测任务进行了测试,在多个基准数据集(包括CIFAR-10,ILSVRC-2012,PASCAL VOC和Microsoft COCO)上的实验结果表明,该算法取得了当前领先的效果,能够更有效的压缩卷积网络模型。
其他文献
泡沫混凝土是将气体通过化学或者物理的方式引入水泥浆体中,经过合理养护成型而形成的含有大量气孔结构的混凝土。结构决定性质,相较于常规混凝土而言,其内部大量孔洞的存在使其具有轻质保温、耐火吸声、减震消能等优点,但也导致了其强度较低、硬化时间长、易粉化易开裂等缺点。本文通过正交试验设计了高强泡沫混凝土胶凝材料组成,利用红外光谱分析及扫描电镜解释了硅灰对胶凝材料强度增长的作用机理;在正交试验结果的基础上考
国内许多油气田的开采对象具有埋藏超深、高温、高压、甲烷含量高以及井眼直径小等特点。随着油气开采不断深入,许多油田都进入了开采的中后期,由于井内落物等原因造成的大修
背景及目的:心电图对急性ST段抬高型心肌梗死(ST-segment elevation myocardial infarction,STEMI)患者的评估具有重要的临床意义,目前对ST段的研究较多而对T波的关注相对较少,本研究旨在探讨STEMI患者术前心电图终末部T波倒置的影响因素及其与临床预后的关系。方法:对大连大学附属中山医院行直接经皮冠状动脉介入治疗(primary percutaneous
铁路沿线稳定的无线通信系统是列车安全运行的重要因素之一。我国山区铁路沿线地形复杂,为了避免列车无线通信信号和外界信号相互干扰,通常要将列车的无线通信信号控制在铁路沿线有限空间内传播。因此,实现铁路沿线电波在有限区域内的高效覆盖是提高无线通信质量,进而保障铁路无线控制系统安全运行的重要手段。铁路沿线电波覆盖的研究主要集中在隧道这一单一场景上,对沿线开阔空间、以及包括开阔空间与受限空间接续区域在内的混
目的:通过研究帕金森病(Parkinson’s disease,PD)小鼠模型和临床患者中葡萄糖代谢有氧途径中糖酵解、三羧酸循环与正常对照之间的差异,分析帕金森病对葡萄糖代谢途径有无影响,从而进一步为帕金森病诊治提供新思路。方法:选取20只雄性C57BL/6小鼠随机分为2组,每组10只:A.对照组(生理盐水腹腔注射7天);B.PD模型组(1-甲基-4-苯基-1,2,3,6-四氢吡啶腹腔注射7天)。
作为模式识别和机器学习研究领域中最具挑战性和吸引力的问题之一,非平衡类问题引起了越来越广泛的关注,其表现为数据集样本类别分布的高度不平衡。在很多实际问题中,如溢油检测,漏油事件发生的频率较低,但这种事件一旦发生后果比较严重。因此如何有效识别这些感兴趣的少数类样本往往比正确识别多数类样本更加重要。基于欠抽样的组合分类器方法是常用于处理非平衡类问题的有效方法,但该方法使用欠抽样方法获得的数据集往往较小
在雾天等恶劣天气环境下,室外能见度大幅减低,导致成像设备无法采集到高清晰度的视频图像,在实际场景中的应用受到了极大限制。因此,研究高效的视频图像去雾算法,以提高去雾技术的实时性和可靠性,去除恶劣天气因素对图像质量的影响具有非常重要的意义。基于物理模型的去雾方法,使用大气成像模型推导出图像成像的逆过程,从而达到去雾的目的,取得了良好的处理效果,因而成为研究的热点。然而,现有基于图像复原的去雾方法的性
目的运用胶滴肿瘤药敏技术(CD-DST)检测食管癌细胞对五种化疗方案:替吉奥+铂类、紫杉醇+铂类、5-氟尿嘧啶+铂类、吉西他滨+铂类及多西他赛+铂类的敏感性,分析食管癌术后患者
目前,基于射线理论的走时层析反演是应用最广泛的速度分析方法,其局限于对射线路径及走时的描述,优点是工作效率高、没有倾角限制且容易拓展应用到起伏地表。但是,常规射线层
随着绿色化学和原子经济理念的发展,发展一种高效、环境友好、操作简便及反应条件温和的方法来构建特定的分子骨架单元越来越吸引众多有机化学工作者的关注。相对于炔烃,丙炔