深度卷积网络模型的压缩和加速技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:lzliang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,由于深度神经网络(尤其是卷积神经网络,CNN)的发展,全世界见证了各类计算机视觉任务的成功,例如图像分类、目标检测以及视频分割等等。但是,随着视觉任务的日益发展,所需的模型结构愈来愈复杂,这给训练设备带来了沉重的存储负担。在实际应用中不可能将这些大型高性能模型直接嵌入资源受限的平台中,这将鼓励卷积神经网络模型朝着具有较小的内存和计算成本的方向发展,以便在不影响任务性能的情况下进行快速推断。一般来说,卷积神经网络在硬件部署时主要受到模型大小、运行内存和计算操作数量的限制。由于卷积神经网络的计算成本很大程度上由卷积运算所决定,而卷积运算恰好为网络权值和激活值之间的点积。因此,模型中参数的数量对于上述三个因素至关重要。本文针对深度卷积网络压缩和加速,围绕权值和激活值量化、通道裁剪和共享等任务展开相关研究工作,论文的主要研究成果包括以下几个方面:(1)提出了一种基于最小二乘法的网络权值量化方法,在一定程度上弥补了传统二值网络或者三值网络中常见的精度退化问题。该方法采用最小二乘法使得量化后的网络低比特权值与原始浮点型权值的误差尽可能小。实验表明,所提方法不仅实现了网络的低比特量化,也实现了通道裁剪,从而优化了网络结构且进一步压缩了模型大小和减少训练所需计算力。(2)提出了一种基于谱聚类的稀疏量化方法来量化网络权值并同时紧凑化网络结构。所提方法不仅获得低比特量化网络,减少了内存和计算成本;同时从复杂的卷积网络中学习到了紧凑的结构(包含大量稀疏通道),方便进行后续的通道裁剪(channel pruning),从而较大程度减少了网络的参数量以及计算消耗。(3)提出了一个新颖的卷积神经网络训练框架,通过将权值离散约束与Sparse Group Lasso正则化相结合,可以同时实现通道裁剪和权值低比特量化。文中将此框架建模为离散约束问题,并通过乘数交替方向法(ADMM)来进行求解。与先前的方法不同,所提出的方法不仅减小了模型尺寸和计算操作,同时得到了稀疏而紧凑的网络结构。(4)提出了网络权值张量通道的稀疏和共享框架,该框架将权值量化与排序加权l1范数(OWL)相结合。特别地,与常规参数共享和量化方法不同,所提框架通过设置适当的超参数同时实现了参数稀疏性和通道稀疏性。此外,OWL还可以识别出四维权值张量中具有较强相关性的通道,并通过使用AP聚类算法来实现通道共享。(5)提出了基于高斯分布和离散状态转换的全网络量化方法,并解决两个相应的基本问题。一种是通过低位离散化来近似激活值,以降低网络计算成本和点积存储。另一个是为离散权值指定的权值量化和更新机制,以避免梯度失配。通过量化的低位权值和激活,将用移位操作代替昂贵的全精度操作,不仅减小了模型占据的内存,同时模型的计算消耗也将大幅下降。(6)提出了一种基于网络损失函数灵敏度的通道剪枝(channel slimming)方法。它针对网络的缩放和移位因子的泰勒展开技术来识别不重要的通道,并按固定的百分比阈值剪枝这些通道,获得参数和FLOPs消耗更少的紧凑型网络。在实验部分,文章在多个常见的网络(包括VGG-19,DenseNet-40和ResNet-164)上评估了该方法,实验结果表明,该方法可以剪枝70%以上的通道和参数,而性能几乎不受影响。此外,可以使用迭代剪枝来获得更紧凑的网络结构。
其他文献
随着科技的不断进步,各类传感器的灵敏度和精度都得到大幅度提升,因此基于观测的多目标跟踪技术的发展迫在眉睫。特别是在复杂环境中高机动性目标的观测难度增大,传统的基于数据关联技术的多目标跟踪算法性能已经很难获得质的提升。因此近年来由随机集(Random Finite Set,RFS)理论发展出的有限集统计学(Finite Set Statistics,FISST)成为了多目标跟踪领域新的研究方向。由于
随着现代控制论、人工智能、信息与通信等技术的发展,无人作战飞机(Unmanned Combat Aerial Vehicle,UCAV)的作战能力得到大幅提高,不仅能在复杂的未来战场执行侦察、预警等任务,还能执行需要高度协同的压制敌方防空系统、打击敌方地面或海上关键目标、拦截敌方战术弹道导弹和巡航导弹甚至参与空战等任务。为实现以最小的作战成本获得最大的作战收益的目的,需综合考虑UCAV及武器的性能
利用机器人执行搜索救援和反恐排爆等危险任务,可有效减少人员伤亡、提高作业效率。由于任务环境复杂多变不可预知、且结构化与非结构化地形并存,要求机器人具备全地形的快速高效通过能力。然而,移动机器人的通过能力与速度效率之间往往不可兼得:仅具备轮、履、腿三者之一的传统机器人虽然结构相对简单,但是因为运动模式单一而不具备全地形通过能力;将轮、履、腿三者组合的多运动模式机器人虽然具备全地形通过能力,但是结构复
当今软件规模和复杂程度日趋增加,提高软件的可信性已成为软件工程领域研究的焦点,尤其是在国防、金融、医疗等安全攸关领域。许多安全攸关软件,一般与数学和物理模型紧密关联,从而不可避免地会涉及大量数值计算。因此,对程序的数值缺陷和性质进行分析和验证,对于提高安全攸关软件的可信性尤为重要。抽象解释是一种通用的抽象近似理论,它为程序语义的抽象和推理提供了一个统一的理论框架,并在程序分析与验证领域得到了广泛应
在以维持统一时间、空间为目的的天基传感网中,卫星子系统的时空系统基准维护具有重要而基础的作用。利用星间链路进行星间精密测距的卫星协同定位,可以让整个星座即使在没有地面支持的情况下长时间地维护一个可用的时空基准,具有很高的实际意义和战略价值。由于卫星运动模型的非线性性,传统的协同定位理论和分析方法不能直接用于分析卫星协同定位的性能和误差演化特性,制约了卫星协同定位的发展和研究。此外,要在实际中实现卫
核学习已被广泛应用于计算机视觉、自然语言处理、遥感影像分析等众多领域。核学习通过隐式映射把原始数据投影到高维空间(甚至是无穷维),然后通过核技巧将在原始空间线性不可分数据映射为在核空间线性可分。单核学习的主要任务是如何选择一个适用于数据表达的核参数,从而提高核学习的性能。单核学习虽应用广泛,然而它却不能很好的处理具有多源异构特征的数据。多核学习通过融合一组基核巧妙的使用数据的多源异构特征来提高学习
总线式控制系统作为工业控制系统的一种重要类型,在军民装备控制领域中得到了广泛而深入的应用。基于实时以太网通信链路的总线式控制系统已成为当今工控系统发展的主流。而国内关于此类系统性能方面的研究较少,整体水平与国外仍有一定差距。随着高端装备对控制精度,响应速度以及运行安全性等要求的不断提高,迫切需要突破实时以太网分布式架构中的系统任务调度、多节点高精度同步以及总线通信安全等核心关键技术。这些关键技术涉
在进入智能化社会和物联网普及的今天,传统冯·诺依曼体系结构在存储墙问题和功耗问题的制约下已无法满足高性能低功耗计算的需求。为弥补传统冯·诺依曼体系结构的不足,研究人员提出了存储计算融合的新模式,其中包括类神经计算和逻辑计算。忆阻器的出现使存储计算融合的可行性进一步提高,基于忆阻器的存储计算融合被广泛研究。忆阻脉冲神经网络作为基于忆阻器的类神经计算的一种模式,具有类生物性和超低功耗的优势,是目前的研
无源定位跟踪技术利用截获的辐射源发射的信号来确定该辐射源的位置和速度,自身不需要发射电磁信号,具有良好的隐蔽性,能提升探测系统在复杂电子战环境下的生存能力,是近年来探测、侦察技术研究的热点之一。在各种无源定位跟踪体制中,基于测向的无源定位跟踪技术利用辐射源来波到达角实现对辐射源的定位跟踪,在单站及多站组网观测场景中具有广泛应用。但是,在超视距观测和异步观测多目标跟踪场景,传统的测向定位跟踪技术面临
随着我国装备服役年限的增长和实战化运用水平的提高,间歇故障出现的频率越来越高,日益成为影响装备服役安全和任务成功的重要因素。由于间歇故障瞬变、随机、持续时间极短等特性,检测与诊断定位难度极大。论文在基础加强计划重点基础研究项目资助下,针对电子设备的主要间歇故障类型—板内连接型间歇故障,深入分析其间歇故障机理,开展间歇故障的检测与诊断技术研究。论文的主要研究内容包括:(1)板内连接型间歇故障机理针对