基于模型梯度信息的深度网络压缩方法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:shichun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,卷积神经网络在图像分类、语义分割、目标检测等计算机视觉的各个领域中掀起了研究热潮,而且取得了重大成功。随着卷积神经网络的研究发展,模型的参数规模越来越膨胀,它的计算代价也越来越大。因此,过参数化的深度模型难以在硬件资源受限的环境(比如嵌入式传感器、无人机、移动设备、自动化机器人等)中实际部署工作。研究人员提出了网络剪枝技术来减少模型的参数量和计算量,能够对深度网络进行压缩和加速。针对深度卷积神经网络的剪枝问题,本文提出两种利用梯度信息与参数信息的结构化剪枝算法。本文的主要工作与贡献如下:1.针对卷积神经网络的模型压缩问题,本文提出一种基于梯度追踪的结构化剪枝方法,将梯度追踪的稀疏优化算法的原理推广到卷积神经网络。在以往的工作中,一些结构化剪枝方法仅仅关注神经网络的参数信息,需要将参数权值小的滤波器剪去。然而,即使一些滤波器参数权值很小,但其参数变化对神经网络结果会产生较大的影响。为此,基于梯度追踪的结构化剪枝方法考虑参数信息和梯度信息,希望能有效地剪除卷积神经网络的冗余参数。该剪枝方法首先在优化步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集。其后,根据上述并集更新模型参数。然后,使用一种动态的滤波器选择方法,将范数值较小的滤波器权重置零。在迭代结束后,该方法可以获得剪枝后的神经网络。本文实验证明了该剪枝方法的有效性。例如,在CIFAR-10数据集上对ResNet-56的剪枝实验中,在FLOPs减少量同样为52.63%的情况下,剪枝后网络的准确率仅仅下降了0.04%,而且不需要微调步骤。最后结论是,基于梯度追踪的结构化剪枝方法能够在保持网络精度的同时,更好地压缩深度卷积神经网络。2.上述工作使用梯度的范数来测量神经网络的梯度信息。而本文质疑了基于范数的剪枝准则,利用梯度的余弦相似度作为评估滤波器重要性的准则。对此,本文提出基于梯度相似度的结构化剪枝方法。具体地来说,对于预训练网络,本文计算梯度的余弦相似度来评估滤波器的重要性。然后,裁剪那些被评估为不重要的滤波器,最后微调剪枝后的神经网络。另外,针对卷积神经网络的结构化剪枝问题,本文建议将基于梯度相似度的结构化剪枝方法与参数范数准则相结合,提出了混合剪枝方法。混合剪枝方法除了利用参数信息和梯度信息以外,还考虑了相似度信息。在CIFAR-10数据集上对于ResNet-56的实验中,当FLOPs下降了52.63%时,上述混合剪枝方法的精度提高了0.35%。这验证了使用本文剪枝方法能够提升网络的性能。
其他文献
基于优化的元学习是一种旨在从指定的数据/任务中学习一组敏感的模型初始化参数的机器学习算法。该算法的优点在于当遇到一组新数据/一个新任务时,训练好的模型能够仅仅通过若干步梯度优下降化便在新任务上的测试集上获得良好的泛化表现。然而,从泛化性能的角度来看,我们认为传统的基于优化的元学习算法包含两方面缺陷:(1)由于每一个训练任务中包含的训练样本数量过少,算法在学习过程中使用过参数化网络时容易产生过拟合现
情感分类是自然语言处理领域内的基本任务之一,情感分类又分为粗粒度和细粒度情感分类。随着时代的发展,粗粒度情感分类已逐渐无法满足人类的需求,所以细粒度情感分类逐渐成为了研究重点。细粒度情感分类又称为方面级情感分类,旨在判断句子中某个具体方面的情感极性。本文的核心研究内容就是使用基于深度学习的方法进行方面级情感分类。本文的主要创新与工作如下:(1)大多数基于传统的循环神经网络和注意力机制的方面级情感分
轨迹规划与轨迹优化一直是备受存眷的研究热门,轨迹规划是轨迹优化的前提。仅使工业机器人完成指定任务,已不能满足目前需求,需要尽可能缩短运行时间来提高工作效率和减少冲击以延长使用寿命。本文以六自由度工业机器人为研究对象,在关节空间中采用五次非均匀B样条进行插值,对已规划好的轨迹,以改进的自适应遗传模拟退火算法为优化手段,将时间-冲击作为优化目标,通过改变权重获得时间、冲击以及综合最优轨迹。本文主要研究
随着城市化进程的不断加快,城市路网内部结构也更加复杂,路网中发生的紧急事件很大程度地危及到人们的生命财产安全。紧急事件发生时,城市应急中心会派出特殊授权车辆到达事故发生地实施救援工作,车辆到达时间越短,突发事件造成的损失就会越小。虽然特殊授权车辆具有道路优先通行权,但是实际行驶过程中也会受到车辆拥堵的影响,难以实现优先通行造成极大的延误。因此,在减少对普通车辆产生影响的前提下,本文围绕如何使特殊授
随着成像技术的普及与发展,数字图像逐渐成为了一种重要的信息传递媒介。但是,在实际的应用场景中,由于成像条件及外界干扰等因素的影响,存在着分辨率低、数据缺失等质量退化问题,图像恢复旨在研究如何从退化图像恢复出来理想图像,从而达到改善图像质量的目的。深度卷积神经网络通过卷积运算的层级化处理能够有效获取图像的层级特征表示,为图像恢复带来了新的建模方法,带来了图像恢复算法性能的有效提升,使其研究进展有了实
随着城市化进程的不断推进,我国公共建筑能耗随着面积的增加而大幅上涨。在这种背景下,目前市面上常见的公共建筑用电监控系统,大多采用智能电表配合总线的方式进行现场数据采集,存在布线工程量大、维护不便等问题。同时,一些现有建筑用电监控系统对异常用电的行为不能进行有效的管控,无法及时排除安全隐患,并且容易造成电能的浪费,制定相关政策以及进一步推进公共建筑节能工作较为困难。本文在研究现有建筑用电监控系统的基
近年来,海洋科学研究越来越多地依赖自主水下航行器和遥控水下航行器拍摄的水下图像。然而,由于复杂的水下成像环境,自然光在水下会发生吸收及散射效应,导致水下图像出现严重的可视性问题,具体表现为色偏效应、对比度不足、清晰度低。严重的失真不仅影响水下图像的质量,而且限制了水下视觉任务的进展。目前,水下图像处理方法主要包括传统方法和基于深度学习的方法,其中,传统方法由于水下复杂的物理和光学因素,在不同的水下
随着航天、航空以及核能电站等领域的设备集成度不断提高,其内部工作空间越来越狭小,环境越来越复杂,内部作业要求越来越高。而蛇形机器人因其较强的灵活性与柔韧性,能够较好地完成在狭小空间下的检修等任务。考虑到绳驱方式可以减少机器人体积与重量,本文提出了一种面向狭小空间作业的绳驱式蛇形机器人设计方案,并研究了其控制策略。本文主要工作如下:(1)本文提出了一种绳驱式蛇形机器人设计方案。对蛇形机器人的关节、连
视频目标分割旨在自动分离视频中的前景和背景区域,是一种能够对视频进行精确像素级分类的技术。根据测试阶段是否利用初始帧掩膜标注,该技术可分为无监督和半监督两大类别。视频目标分割在视频编码、智能监控和人机交互等领域有重要意义。近年来,随着深度学习的发展,视频目标分割也取得了重大的进展。但是,高精度的算法仍然非常匮乏,其原因在于所学模型难以有效应对复杂视频场景的变化,如严重遮挡、剧烈形变、快速运动、相似
青海高原(简称“高原”)海拔高且地形复杂,致灾性对流频发。但是,针对高原上强对流的研究较少,对卫星和雷达的应用水平有限,特别是对强对流的发生发展及其云团参数特征研究更少。为做好高原防灾减灾工作和提高遥感监测资料的应用及研究水平,本文使用2005年—2018年常规气象资料、地面观测和灾情公报资料、静止气象卫星一级数据和天气雷达体扫基数据等,选择致灾性对流天气过程,开展高原对流机理模型、对流特征识别和