深度神经网络模型压缩方法及应用研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:mqj1965
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
研究表明,在图像识别领域中,深度神经网络因网络运算参数量大、硬件配置以及实际应用部署的种种难题。因此找到一种有效的网络模型压缩方法,使复杂的神经网络经过压缩方法后,使其能够得到一种轻量化的神经网络显得尤为重要。主要的研究工作及成果如下:(1)研究一种基于深度可分离卷积方式模型压缩算法。对比分析了标准卷积方式的VGG-16网络和一种基于深度可分离卷积方式的VGG-16网络各自在CIFIA-10图像数据集上的分类效果和网络卷积参数量,实验表明运用一种基于深度可分离卷积方式模型压缩算法可以有效地将VGG-16的网络卷积参数量由90M降至12M,网络模型大小由552M降至240M。(2)研究一种基于通道剪枝的网络模型压缩算法。对卷积神经网络的卷积层和卷积核的重要程度进行评估,设置卷积层和卷积核裁剪因子。根据裁剪因子,对网络模型的卷积层和卷积核进行裁剪,可以将VGG-16的网络模型大小由552M降至260M。(3)研究一种基于网络结构的权重共享量化模型压缩算法。对卷积核的权重参数进行建模分析,根据权重参数的分布情况,运用聚类算法对参数进行分类。依据分类情况,创建类别索引号,每个权值参数值共享所属类别的权重均值,在一定程度上减少了网络繁琐的运算,有效地减少保存网络卷积核浮点参数的所需的内存。可以将原先VGG-16约90M的卷积参数量减至约为75M。(4)深度神经网络模型压缩算法的应用研究。在整合(1)、(2)和(3)三点的研究成果基础上,将三种网络模型压缩算法进行组合,对比分析了每种组合基于VGG-16网络各自在CIFIA-10图像数据集上的分类效果和网络卷积参数量。通过实验表明,在尽量保证图像分类效果的基础上,将上述三种压缩算法结合在一起可以最大限度上压缩网络模型,图像分类识别率由92.3%降至91.9%,网络卷积参数量由90M减至约8M。将三种网络模型压缩算法结合在一起应用到基于YOLO-V3新生儿面部检测和基于Res Net-34新生儿面部表情分类中,实验表明,可以将原先YOLO-V3网络模型大小约249M压缩至45M,约274M的Res Net-34网络模型压缩至50M;压缩后的YOLO-V3检测率由93.9%减至93.3%,压缩后的Res Net-34表情分类平均识别率由86.2%降至为85.7%。在面部检测率、表情分类识别率、网络模型大小之间取得了较好的折中。
其他文献
微型自由活塞动力装置具有结构简单、能量转化率高以及输出功率大的优点,因此在众多微型动力装置中脱颖而出。针对微尺度压燃的特点,采用微尺度HCCI(Homogeneous Charge Comp
地埋管地源热泵系统由于其不受场地限制、高效节能的优势,越来越受到重视,在大量的工程项目中得到了应用,且成为大量的新建项目的重要选择之一。在地埋管的钻孔施工过程中,不
随着国内外经济形势的日益严峻和资本市场的日臻完善,越来越多的企业希望通过并购重组优化资产结构、扩大市场份额、实现规模效应、提高盈利能力。然而对并购方来说,并购风险比较大。更多的企业利用业绩承诺协议来规避并购风险,业绩承诺得到频繁的应用。然而业绩承诺协议在应用过程中弊端开始凸显,业绩承诺不达标率逐年攀升,因业绩补偿无法实现导致的诉讼纠纷事件逐渐增加。针对目前并购市场上业绩失诺频发的情况,本文以美丽生
孔隙率是多孔材料的关键性指标,是多孔材料的物理性能和力学性能的决定性影响因素,如多孔材料导热性、导电性、光学行为、声学性能、拉压强度、蠕变率等。主要从测定分析法和
随着用户生成内容平台的发展,以知乎为代表的网络问答社区成为了网民们提问、分享、获取知识的重要途径。与其他知识获取渠道不同的是,知乎中的知识生产形成了一个“自组织系
齐白石是中国杰出的艺术大师,是二十世纪中国家喻户晓的文化名人,他在花鸟、山水、人物、篆刻、诗文等方面均有很高的艺术造诣。从新中国建立以来,齐白石研究就一直是一门显学,尤其是对齐白石花鸟画进行研究的人非常之多,2018年9月北京画院举办的《山水画在当代的表现和未来走向》专题研讨会,又对齐白石山水画做了重点的研讨。其实不止花鸟画和山水画,齐白石的人物画也很有研究的价值,他晚期所创作的人物画造型诙谐,寓
本文在查阅大量资料的基础上,结合在全国不同地区浅层地热能场地勘查工作,从工程实践角度研究分析竖直地埋管换热器换热能力的影响因素,将其归结为地质因素、工程因素和运行因素三类,具体包括岩土体初始平均温度、地质结构、岩土热物性、水文地质条件、热源孔深度、换热器类型、回填材料、换热介质流速以及运行模式。研究结果表明岩土体初始平均温度与换热介质的温差与换热器换热能力呈正相关关系。岩土体初始平均温度与大气平均
随着工业的发展,能源问题受到越来越多的重视。土壤源热泵是冬季从土壤中取热,夏季向土壤中蓄热的工程技术。这种系统充分利用了可再生能源,具有节能环保等优点。土壤源热泵是利用地埋管与周围土壤进行换热,换热效率受多种因素影响,各个因素之间存在相互影响。在一些地区,由于冬季从土壤中取出的热量要比夏季向土壤释放的热量多很多,因此会造成土壤冷热量不平衡。如果热泵长期运行,会造成土壤的冷量堆积,进而影响热泵系统的
[目的]耐甲氧西林金黄色葡萄球菌(MRSA)是临床上重要的病原菌之一,可引起呼吸道、皮肤软组织、血液以及医疗器械相关性感染。MRSA常携带多种耐药基因和毒力基因,使菌株对常用
电子商务是以网络为基础,公司、商家、消费者等各方进行交易的线上模式,他们通过网络将自己与对方紧密联系起来。近年来,京东、淘宝、苏宁等电商企业在行业中的发展速度有目共睹,他们在快速发展的过程中获取的巨大利润,推动了我国电子商务行业的进一步发展。很多企业只注重于公司利润的高低,为获取更高利润,盲目扩大企业规模,增加投入,忽视对各环节的成本控制,面对运营成本的不断升高、资源利用不充分,最终成本过度支出,