多粒度卷积神经网络剪枝算法的研究

来源 :北京工业大学 | 被引量 : 2次 | 上传用户:nowolfjin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习技术的高速发展,深度神经网络在图像分类、目标检测、图像分割等计算机视觉任务中取得了革命性的突破,达到并超越了人类感知能力的极限。与此同时,新一代人工智能物联网(AIoT)的“智”心逐渐由集中化高性能处理平台向“边缘”节点转移,业界对于提升资源有限边缘节点的智能化水平的呼声也越来越高。然而,当前高精度网络模型的层数、参数数量和计算量十分庞大,同时其存在较大冗余,导致其在资源有限的边缘节点中部署困难。因此,如何对深度神经网络的模型进行压缩与加速,使其能够满足边缘节点智能化、实时化应用所需已经成为当前深度学习领域研究的一大热点问题。基于深度神经网络的压缩与加速技术大致可以分为针对网络模型优化和基于硬件的加速。对于前者,以往研究包括设计精简的网络模型和网络剪枝,网络剪枝技术直接作用于现有的高精度网络模型,灵活高效,根据剪枝粒度可分为滤波器级剪枝和连接级剪枝。然而,滤波器级剪枝对网络剪枝并不彻底,连接级剪枝使得剪枝后的网络模型难以收敛。为了更好地借鉴现有深度网络模型成果,本文基于滤波器级和连接级剪枝思想,提出了一种多粒度卷积神经网络剪枝框架,设计并实现了相应的训练策略,兼容了两类剪枝策略的优势;对于后者,通常需要结合具体应用需求展开,本文将人体动作识别算法中的深度模型优化后部署在新型嵌入式CPU-GPU异构计算模块(NVIDIA Jetson TX2)上,有效提升了终端节点的智能水平。本文的主要工作可以概括为以下三个方面:1.分析了网络剪枝技术中的滤波器级剪枝和连接级剪枝,针对两类方法中存在的问题,提出了一种多粒度卷积神经网络剪枝框架及与之相适应的训练策略。所提出的网络剪枝算法选用AlexNet和VGG16网络进行实验验证,实验结果表明,本文方法在较好地保持网络精度的前提下显著提高了网络的压缩率。2.提出了一种基于OpenPose的人体动作识别算法,制作了相应的人体关键点坐标数据集,并将算法应用到教室精品课程智能化录制系统中,通过真实场景中的教师板书动作识别实验验证了算法的正确性和有效性。3.采用多粒度卷积神经网络剪枝框架优化了本文提出的基于OpenPose的人体动作识别算法中的深度网络模型,并将优化后的算法移植到了嵌入式异构计算核心模块(TX2)中进行实验验证,实验结果证明,优化后的人体动作识别算法可有效满足实际的应用需求。
其他文献
塔河油气田是在塔里木盆地发现的目前我国唯一的海相碳酸盐岩大型油气田。由于油气藏成藏条件复杂,缝洞储集体形态多样,油气分布复杂,埋藏深,国内外没有相似类型油藏成功勘探
本文以长沙地区某高校教学楼作为研究对象,建立教学楼的SU模型,并结合长沙地区气候特点和教学楼使用特点,通过EnergyPlus建筑能耗模拟软件,采用改变外墙保温形式、改变外窗传
对于中考前的三轮复习,大家都有各自不同的做法,下面我从依纲靠本、夯实基础;精练考题、探寻技巧;关注热点、培养能力三方面作了一点总结,和各位老师共同研讨。   第一轮复习:依纲靠本,夯实基础   做好思想品德卷的前提是必须对课程标准所要求的基本知识和基本内容有一个全面的掌握。在保定研讨会上孟教授提到:由于我省初中教学使用了7、8种版本的教材,不同版本的教材在选用具体的知识点上有所不同,中考试题是
目的分析尿路感染病原菌的分布及耐药性,为临床合理用药提供依据。方法对2002年1月~2004年12月间,住院患者尿培养分离出的256株细菌进行鉴定和耐药分析,并根据美国临床实验室标准
目的探讨保乳手术在乳腺癌治疗中的应用. 方法回顾性分析47例行乳腺癌保乳手术患者的临床资料.手术指征:肿瘤直径≤3.0cm的临床Ⅰ期、Ⅱ期乳腺癌;单发病灶,X线钼靶片无广泛钙
新课标指出:“小学各个年级的阅读教学都要重视朗读。要让学生充分地读,在读中整体感知,在读中有所感悟,在读中培养语感。在读中受到情感的熏陶。”读作为一种简单而又行之有效的
摘要:稻田养鸭最先起源于我国的明清时期,是一种生态型的种养技术,它能有效地清除杂草、防治害虫、提高肥力、增加产量,稻田养鸭要注意对养鸭稻田的改造、鸭子品种的选择、养鸭数量的确定、进田时机的选择。  关键词:作用 防治 提高 增加 改造 选择 时机     稻田养鸭是一种生态型的种养技术,就是把雏鸭适时放入稻田里,四周用篾栅围起来,昼夜在稻田中饲养,实行稻鸭共栖双丰收的一项种养配套新技
2017年5月18日,亚马逊上线了“亚马逊排行榜”(Amazon Charts)——一个全新的每周图书排行榜。简单说,这份榜单突出的是:读者导向和数据至上。然而这两点可能都存在问题。文章分