基于低秩稀疏分解的深度卷积神经网络模型压缩方法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:midou2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来高效能卷积神经网络模型广泛应用于机器视觉检测并取得了突破性进展,但是已有的深度卷积神经网络模型存在内存消耗高、计算量大、参数众多的弊端,阻碍其在资源有限的嵌入式和移动设备上的应用。因此如何在保持深度模型性能的基础上,将其应用于资源有限的平台成为一个关键问题。而模型压缩技术能够有效解决上述问题,它通过修剪卷积层间多余的连接和通道或对卷积核进行分解,能够减少模型冗余、降低存储空间和能量消耗。然而已有的模型压缩工作往往忽视了深度卷积神经网络中的权重矩阵兼具低秩和稀疏的属性,导致压缩过程易受到迭代训练,压缩比不高,精度下降的影响。针对这一问题,本文对深度卷积神经网络模型的压缩方法进行研究,提出了将权重矩阵分解为低秩分量和稀疏分量的模型压缩方法。具体研究内容如下:(1)提出一种将权重矩阵的低秩稀疏分解与权值重要性动态分析相结合的压缩框架。该方法首先借助GoDec算法将权重矩阵分解为低秩分量矩阵和稀疏分量矩阵,并对低秩矩阵进一步分解,通过对各分量迭代优化,得到全局最优解。然后在每次修剪前,对各层权值重要性进行分析并按重要性排序进行修剪。最后将不含有低秩成分的网络层作为分解的特例,提出相应的稀疏分解方法。(2)针对GoDec算法分解得到的稀疏分量矩阵中元素分布无规律的问题,提出了一种规律性稀疏低秩分解的压缩方法。对分解得到的稀疏分量引入规律性稀疏诱导范数,利用稀疏矩阵各元素间的相关性,将其约束为一个非零元素结构化分布的规律性稀疏矩阵。提高模型的稀疏度,减少索引数目,进而降低存储空间。(3)在实验分析阶段,首先对网络模型中各层压缩敏感度进行分析,合理确定各网络层的压缩率。最后在CIFAR-10和CIFAR-100数据集上,对训练好的AlexNet、VGG-16和GoogLeNet模型进行压缩实验。实验结果表明,本文提出的两个方法均可以显著减少各网络模型卷积层和全连接层的参数。在分类准确率无明显下降的情况下,均对AlexNet实现了 10倍的压缩比,且对VGG-16的压缩比高达16倍。较之“三步剪枝”法和Tucker分解法,我们的方法能在相同压缩比下获得更佳的分类精度,且优化后的压缩方法性能更好。
其他文献
网络化创新外包是企业借助互联网手段获取外部创新力量完成创新研发任务的行为,已经得到企业、人才和学者等的广泛认可,但其发展仍然面临供需匹配、信息安全、前期成本等方面
海洋强国战略是21世纪我国发展总目标的重要战略之一,也是我国的一项重要的政治内容。要想建设海洋强国,就得深入了解海洋信息。水深信息就是一项重要的海洋信息。水深信息可以反映海洋环境,对于合理规划与管理海洋海岛资源、保障航海安全、深入研究海洋科学起到至关重要的作用。采用何种方法可以获得更加精准的水深信息是我们需要研究的重要内容。特别是随着国家全球发展战略的提出,迫切需要全球地理信息的支撑,进而对境外船
《普通高中英语课程标准》八级阅读目标指出:能理解阅读材料中不同的观点和态度;八级写作目标指出:能根据所读文章进行转述或写摘要。在教育传统及应试教育的影响下,在当前英
研究目的本研究采用具有良好生物相容性和丰富含氧基团的纳米材料石墨烯量子点(GQDs),探讨其对结直肠癌细胞的放射增敏作用,并对辐射增敏的机制进行初探,为纳米材料作为放射
针对活塞杆圆柱体焊缝内部缺陷检测,研究优选了采用补偿块夹具及合理屏蔽软射线减小"边蚀"效应的检测方法,检测结果表明该方法能方便、高效检出焊接接头内部的由于坡口形式不
京津冀协同发展作为新形势下的国家战略部署,各地政府和多家企业在积极落实这一战略部署。京津冀协同发展是人力、物力、资源在区域内能够良好的流通与交流的重要保障,对各产业间相互联系、相互促进有很大推动作用。有很多国有企业都在积极落实“京津冀产业协同发展”战略,其中中关村发展集团做出非常大的贡献。中关村发展集团二级子公司石家庄中关村协同发展有限公司主要依托中关村发展集团的各种优质资源,积极将产业资源尤其是
父母的信念与参与对子女早期英语学习起着重要作用。研究表明,父母的信念会影响其在子女早期英语学习中的参与,从而影响子女早期英语学习的具体行为和成效。随着有关研究的不断深入,父母对于子女早期英语学习的信念和参与逐渐成为热门话题。然而,国内有关该话题的研究较为匮乏,深入探究英语教师对子女早期英语学习的信念与参与的研究尚不多见。因此,本研究旨在探究英语教师对于子女早期英语教育的信念与参与,包括他们对于子女
中国共产党从成立之日起就将解决民生问题,改善人民生活条件和提高人民生活水平作为帮助人民群众寻求幸福的奋斗目标,并为这一目标的实现而不断进行探索与尝试,但困扰多年的民生问题在邓小平担任党领导核心的时期才真正得到有效的解决。本文选择邓小平民生思想作为研究对象,除绪论、结语部分外,正文主体部分用三个章节来阐述邓小平民生思想的内容:第一章既论述了邓小平民生思想的四个理论基础,又结合当时国内外社会背景对其实
随着全球在线文化产业的不断发展,在线音乐应运而生。音乐通过网络的传播渠道,以数据的形式被传输到网上,人们可以通过手机、电脑、MP3等终端下载或在线欣赏。在线音乐作为网
自1996年Truscott提出书面纠正性反馈(二语写作中的纠错)不利于二语语法的习得,大量的实证研究涌现,试图证明书面纠正性反馈的有效性。一些研究探讨书面纠正性反馈类型的不同效果,然而,至今哪种反馈形式更有效没有定论,在聚焦或非聚焦反馈哪种更有效的问题上也没有达成一致。尽管前人有两篇研究已用元分析方法考察了写作纠正性反馈对二语语法习得的影响效果,但都没有包含在中国语境下的研究。因此,本文采用元分