深度学习中过滤器剪枝的自适应方法研究

来源 :山西大学 | 被引量 : 0次 | 上传用户:beefshen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习在图像识别、机器视觉、自然语言处理等领域取得了巨大的成功,解决了很多复杂的难题,使人工智能技术取得了革命性的突破。然而,复杂的深度模型日益出现“膨胀”的趋势,模型越来越大、越来越复杂,对计算力要求也越来越高。如何有效地减少复杂模型的参数量和推理时间成为目前人工智能亟待解决的关键问题。特别是深度模型在在线学习、增量学习等实时应用与移动手机、可穿戴设备等这些边缘人工智能设备上的实施与部署,如何在这些设备上实现深度模型的压缩与加速成为模型压缩的主要目标。目前,研究者已经提出大量的模型压缩方法,例如:剪枝、知识蒸馏、模型架构设计等。本文重点关注过滤器剪枝,它是一种结构化的剪枝,相比于非结构化剪枝它可以在成熟的深度学习框架下运行。但目前大多数工作都依赖于预先训练的模型,需要微调来恢复合理的精度,从而导致模型大量的再训练成本。因此本文针对目前传统过滤器剪枝方法存在的自适应性差、需要人工干涉的问题,深入研究了深度模型的冗余性,分别从关联关系与信息论的角度设计了自适应过滤器剪枝算法。主要研究工作如下:(1)基于核中心对齐的自适应过滤器剪枝方法。为了缓解剪枝过程中模型过度依赖预先训练模型、减少模型的再训练成本的问题。与先前的工作不同,本文从关联关系的角度解释了过滤器在训练过程中的行为变化规律,并利用该变化规则提出了一种新的过滤器修剪方法。该方法可以在神经网络训练后期修剪相似功能的过滤器。根据这种策略,本文不仅可以在不进行微调的情况下实现模型压缩,而且还找到了一种新颖的视角来解释训练过程中过滤器的行为变化规律。更重要的是,本文的方法已被证明在许多CNN模型上是有效的。(2)基于熵与互信息的软自适应过滤器剪枝方法。首先,本文通过分析多数文献发现,大多数文章只从一个角度权衡过滤器的重要程度,比如分析单个过滤器对模型的贡献,多个过滤器之间的协同作用。本文对两种方式进行了集成,提出了利用熵与互信息对过滤器重要程度进行评价的范式,并分析了其相对于现有指标的优势。其次,本文创新性地提出了基于正则化的软过滤器剪枝规则,该算法利用不同过滤器捕获不同特征的思想,使得每次迭代修剪的过滤器在进行下一次权值更新时,与剩余过滤器正交的进行初始化,该方法有效提高了算法的泛化性。最后本文提出的基于熵与互信息的软自适应过滤器剪枝算法在多个数据集和多个模型上进行了实验,实验结果表明了该算法的优异性。综上所述,本文针对现有的过滤器剪枝算法存在的效率低、需要人工干涉的问题,从两个角度提出自适应过滤器剪枝算法,并在现有的公开数据集上验证了所提方法的性能。本文的研究为剪枝领域提供了新的视角与方法,在模型压缩领域有一定的理论与应用价值。
其他文献
山西有着深厚的历史底蕴,是中华文化的重要发源地之一,山西博物院青铜文化是其中重要的组成部分。目前,山西博物院在文创产品开发领域尚处在探索期。为了进一步弘扬青铜文化,针对山西博物院青铜器文创产品开发进行研究是颇有必要的。笔者以山西博物院鸟兽形青铜器为文创开发原型,建立系列文创品牌《铜趣》。本文采用文献研究法、实地调查法对山西博物院青铜文化脉络进行梳理,采用问卷调查法对《铜趣》系列文创品牌进行了受众调
当今时代,信息技术日新月异,地区间的贸易往来趋于频繁,企业为在市场竞争中占据一席之地,提升自己的竞争优势,纷纷将物流外包,这就使得物流业蒸蒸日上。我国物流业在发展中也没有落下前进的脚步,尤其是十九大以来,智慧物流、区块链等平台经济方兴未艾,很大程度上推动物流行业的数字化变革,这就促使物流企业不得不面临一系列的重大改革。物流业作为新兴产业存在成本高、能耗大、污染多等一系列问题,这就导致我国物流业虽然
新型城镇化是现代化进程中不可或缺的关键一环,其作为国家的一项重要发展战略,在实现全面小康、推动经济高质量发展的道路上发挥着不可替代的核心作用。同时物流业在近年的发展中保持着强劲的增长势头,逐步成为我国经济发展的重要驱动力。新型城镇化政策涉及领域广阔,新型城镇化的蓬勃开展必将为物流业发展打开新的发展空间,因此有必要对新型城镇化背景下物流业的发展成效进行深入研究。关于新型城镇化与物流业的相关研究屡见不
随着山西省经济的快速发展、基础设施的不断完善,物流业迎来了迅猛发展的契机,相关部门和各个企业也越来越关注物流业的发展状况。经过多方的努力,山西省物流业正逐渐改变“散、小、乱、差”的局面,不断向现代物流业转变。但由于种种原因,山西省物流业仍存在诸多问题,如:物流成本一直居高不下,占山西省GDP的比重一直高于全国平均水平;物流企业的竞争力有限、信息化程度不高、资源整合的能力差等。究其原因,山西物流标准
谣言的传播过程往往存在一些随机扰动,这些扰动时刻影响着谣言的传播趋势,因此研究随机扰动下的谣言模型,对控制谣言的传播具有非常重要的意义.基于此,本文主要研究随机扰动下两类谣言模型的渐近行为.第一章,介绍了随机谣言模型的研究动态,并给出本文主要研究的内容.第二章,建立了下列随机谣言模型(?)首先,利用停时证明了该模型全局正解的存在唯一性;然后通过构造Lyapunov函数研究了该模型无谣言平衡点的p阶
交通基础设施是经济社会发展的先行资本。交通基础设施的建设和完善能够促进要素在空间范围内迅速流动,加快人力、物力、资本的自由流动速度,降低运输成本,提高流通速率。物流业的快速发展依赖于物流效率的提高,交通基础设施作为物流要素流通的载体,在一定程度上形成了物流业发展的合力和动力,所以研究我国交通基础设施对物流业发展的影响有着很强的现实意义。基于交通基础设施的外部性和网络状特性,不考虑空间效应会在一定程
机器自动情绪识别因其在人机交互中的潜在应用而受到越来越多的关注。目前,情绪识别可通过多种信息来实现,如面部表情、语音语调、身体姿态以及人体各种生理信号等。相比较而言,皮层脑电作为中枢神经生理信号,调节与情绪相关的递质分泌和大脑的边缘系统,能够客观反映人的情绪状态变化,从脑电信号中提取有效特征并进行情绪识别在人机交互和精神心理疾病监测中具有重要意义。论文针对维度情感模型的构建以及脑电信号情绪识别中特
5G网络发生故障可能影响全网稳定性和服务质量,其故障发现与修复是5G网络运维管理的关键之一。基于历史故障发生前的网元关键绩效指标(Key Performance Indicator,KPI)变化以及设备告警信息、指标统计特征、自动异常检测、指标关联特征、告警编码特征等,提出了5G核心网网元多维特征融合故障预警方法,构建了多维特征空间训练故障预警模型。最后,针对现网运行数据,选取了6类网元并进行了实
图像的深度估计是计算机视觉领域一个重要的研究课题。挖掘二维图像中的深度信息,可以帮助计算机理解场景的三维结构,在智能机器人技术、虚拟现实、增强现实、场景的三维重建、汽车自动驾驶等众多领域都有广泛的应用。相较于基于双目、多目的深度估计方法,基于单目图像的深度估计对设备和环境要求较低且易于实现,因此具有更加广泛的应用价值。然而,只通过单个视角的二维图像估计三维的立体信息,从几何计算的角度来看是非常巨大
人们生活水平的提高以及商品的种类的增加,使得消费者对于商品的要求也越来越高。其中,琳琅满目的商品种类和对商品五花八门的描述,使得对于商品识别的研究也有了越来越重要的现实意义。本文基于深度学习的方法对商品图像识别以及商品图像中的文本识别进行了相关研究,与传统的图像识别以及文本识别算法对比,利用基于卷积神经网络的图像及文本识别算法进行分析,提出本文研究方法。1)为了降低噪声对图像识别准确率的影响,本文