面向图像分类的混合模型压缩算法设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:h515295585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习在计算机视觉领域得到广泛应用,在图像分类、目标检测、语义分割、超分辨率、人脸识别等任务上陆续超过传统视觉算法甚至人类表现。然而深度学习模型依赖深层的网络结构、庞大的参数量和计算量、海量的训练数据,在带来高精度的同时,对存储设备和计算设备也有更高的要求。内存占用高和运行速度慢,成了深度学习实际应用部署的最大障碍之一。因此,深度学习模型压缩与优化加速具有重大的学术价值以及工程意义。本文针对基于卷积神经网络的图像分类任务开展研究,分析、比较和改进已有的模型压缩方法,提出混合模型压缩算法,并基于该算法提出通用化实现,使算法可以便捷快速的应用到各种实际应用场景当中,缩小模型训练与模型部署之间的鸿沟,加快深度学习成果应用落地。为了充分压缩和加速面向图像分类任务的卷积神经网络,本文提出一种混合模型压缩算法。首先,利用自蒸馏技术在增加少量训练代价的前提下,提高原始模型的训练精度并得到一系列辅助分支结构。然后,依次对模型进行滤波器尺度的模型裁剪和定点量化,借助知识蒸馏技术对裁剪和量化后的模型进行恢复训练。随后将模型中的BN层融合到卷积层当中,进一步加快模型的推理速度。最后,借助自蒸馏技术产生的辅助分支结构实行提前终止算法,当辅助分支取得较高预测置信度时提前终止推理过程,实现动态的模型压缩与推理加速。本文将分别讨论所用每种单一模型压缩技术的有效性以及各种技术之间的兼容性,最后将各种单一技术有机结合实现最大化的压缩效果。当下多数模型压缩的开源项目都采取硬编码的编程风格,需要对现有模型定义代码做出大量修改,难以通用化地将技术扩展到其他模型上。公开的深度学习模型压缩通用软件框架甚少,尤其基于动态图进行模型设计的Py Torch的模型压缩软件框架更是难以实现。本文在提出混合模型压缩算法的基础上,利用Py Torch的软件特性,完成原始模型的计算图捕获与解析,进而可以在不修改原始模型定义代码的前提下,借助一系列辅助模块,提供可配置的模型压缩接口,得到模型压缩算法的通用实现。本论文的主要创新点有以下两点:1)分析、比较已有模型压缩算法,结合实际应用的便捷性和兼容性,改进并有机结合若干算法实现面向图像分类任务的混合模型压缩方案;2)在设计混合模型压缩算法的基础上,结合PyTorch的软件特性,提出模型压缩算法的通用实现。
其他文献
我国工业与城镇的建设自改革开放政策实施以来取得了较为重大的成就,但是从长期发展来看仍存在着许多弊端,国土空间开发利用与生态文明建设的矛盾也日益突出。十八大召开后,国家出台了一系列政策层面文件,要求限制土地开发、强化土地生态保护,进一步明确土地利用的适宜性,并从资源禀赋、生态条件和环境容量三个方面来划定“三生空间”开发管制边界。在此背景下,结合乡村发展的大趋势,对农业产业园区进行“三生空间”规划,结
当今,分布式已成为系统构建中不可或缺的一环。基于分布式系统的分布式计算虽然具有较大的规模与较高的可用性,但是在实时性方面却不如并行计算。在软硬件协同的背景下,分布式系统不仅应当具有功能与一致性上的保证,还应当具有实时性与可靠性上的要求。在边缘计算的场景中,节点的资源有限,网络环境复杂,数据在传输的过程中可能发生丢失。以传统的传输链路进行通信不仅缺乏灵活性,而且难以满足低延时的需求。同时,以发布/订
目前工业上通过配料稀释法、气化脱砷法以及钢铁液脱砷法等控制和消除钢中的砷元素,但存在生产成本高和环境污染严重等问题。在钢液中具有强化学活性的镧系元素能与砷元素形成高熔点化合物。我国稀土资源丰富,开展稀土变质处理残余元素具有独特的优势,通过稀土与砷的相互作用改变砷在钢中的赋存行为。本文主要研究不同实验条件对镨-铁-砷三元系化合物的种类、元素的扩散以及化合物稳定性的影响,研究稀土镨与砷的相互作用规律和
随着集成电路产业的飞速发展,集成电路设备种类在增加,设备精密性程度也在不断提升。为了把控更加精密的制造环节与保证生产的稳定性和芯片的良率,集成电路流水线上每个环节都需要进行大量的数据采集。上述这些现象导致在集成电路生产过程中所需收集的数据量已经超过了传统生产系统数据库所承受的极限,使数据库的读写效率得不到保障,数据的可靠性下降。本文设计了基于分布式技术的数据传输与处理系统,以解决传统集成电路数据库
随着人类基因组序列草图的完成,有关功能基因组的研究在生命科学领域中占据越来越重要的地位。阐明基因选择性表达所依赖的调控信息及其相互作用的分子机制,成为揭示生命现象本质的核心问题,是功能组研究的重要内容。随着基因组学研究的深入展开,基因的表达调控研究已经从单个基因、线性的调控拓展到立体层面上多基因、基因簇乃至整个基因组的调控网络。如何有效地利用现已有的基因组学数据,充分整合多学科的思路,建立新的试验
随着我国分级诊疗政策逐步落地,即时检测(Point of Care Testing,POCT)技术因成本较低、操作便捷、诊断迅速等特性,极大地推动了公共卫生服务医疗体系向基层、家庭等场景的覆盖。但截至目前,大多数POCT设备存在检测模块单一、仅能对一类指标检测的问题,例如家用血糖仪只能对血糖指标进行日常监测,而未考虑糖尿病可能引发的并发症,如高发的糖尿病肾病等。同时,POCT设备往往只具备检测功能
自动驾驶是近年来备受关注的一个领域,因为得益于深度学习的快速发展,自动驾驶系统的很多关键技术取得了突破性进展。自动驾驶系统主要由感知、规划决策和控制三个部分组成。感知则相当于自动驾驶系统的眼睛,负责感知车辆自身所处的周围环境,为规划决策和控制提供准确的场景信息。因为自动驾驶汽车的工作场景十分复杂,所以自动驾驶场景下的感知是一项极具挑战的任务。本文对自动驾驶场景下的单目图像目标感知进行了深入研究,并
腕足动物是现代广布世界各大洋、一类较为常见的海生无脊椎动物,其矿化的背腹硬壳在沉积岩中留下十分丰富的化石记录贯穿了整个显生宙,其中仅极少数保存了软体部分。它们最早的先驱分子出现在寒武纪的最早期,在经历了显生宙数次生物大灭绝浩劫之后,腕足动物依然幸存并延续繁盛至今。最新分类方案将高度分异的腕足动物门进一步分为舌形贝亚门、髑髅贝亚门和小嘴贝亚门。昆明小石坝化石库归属于寒武系第3阶红井哨组,其产出丰富的
随着"公园城市"理念的提出,在规划中对此理念的实践也随之展开,包括在控规中如何实现"公园城市"理念的融入。本文通过对于"公园城市"理念的解读,阐述控规中"公园城市"理念实践的技术要点,并结合亭子新城的案例,研究"公园城市"管控体系的构建,从而实现"公园城市"理念在控规中的应用,同时希望对于以后同类型的项目提供可以参考的技术路径。
2018年底,乌干达教育部与国家课程开发中心开始计划将汉语纳入乌干达中考考试科目,30所乌干达中学于2019年2月开始进行汉语教学。乌干达中学汉语教学任务目前主要是由乌干达本土汉语教师承担。了解乌干达中学校长、本土汉语教师和学生对汉语教学的需求,并通过分析调查结果来有针对性地改进乌干达的中学汉语教学,有利于满足校长、教师和学生的汉语教学需求。笔者对21位乌干达中学校长、20位本土汉语教师和两所中学