深度卷积神经网络模型压缩方法研究及应用

来源 :北京邮电大学 | 被引量 : 15次 | 上传用户:jiji1st
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络已经在图像处理、语义理解等应用领域取得了巨大的成功,但由于其模型参数多、计算量大,使得神经网络无法直接在移动或嵌入式设备上运行。因此,对深度卷积神经网络模型的压缩方法进行研究,并减少神经网络运行时的计算量是很有必要的。论文通过对深度卷积神经网络模型的权重参数进行分析,并在权衰减剪枝方法的研究基础上,提出了重复剪枝的神经网络模型压缩方法;通过使用线性修正单元激活函数和L1范数正则化方法增加网络的稀疏性,并使用三元组向量表示稀疏矩阵,最后通过稀疏矩阵运算代替卷积运算,减少神经网络中的计算量;利用压缩后的神经网络模型设计并实现的目标物体捕捉应用,可离线捕捉目标物体,并语音播报目标物体的位置信息。论文的主要研究内容及成果如下:(1)针对深度卷积神经网络模型权重参数过多导致模型过大的问题,提出了重复剪枝的神经网络模型压缩方法。重复剪枝方法每次修剪时只休剪掉小部分连接然后开始重新训练,之后重复这种修剪再训练的过程直到达到预期修剪目标。实验验证该方法在修剪掉的连接数超过总数的95%时,会比优化前的权衰减剪枝方法具有更高的正确率。(2)针对卷积神经网络中计算量大的问题,提出了一种基于稀疏矩阵运算的卷积优化方法。该卷积优化方法首先通过使用线性修正单元和L1范数正则化方法使网络变得稀疏,然后用三元组向量表示稀疏矩阵,最后使用稀疏矩阵运算替代卷积运算,从而减少神经网络运行过程中的计算量。(3)设计并实现了基于深度卷积神经网络的目标物体捕捉应用。将压缩后的神经网络模型嵌入移动应用中,并结合卷积优化方法,使神经网络模型可以在移动端顺畅运行。论文对应用的总体架构进行了设计,并对应用包含的目标物体名称获取模块、待检测区域像素信息获取模块、物体识别模块和捕捉结果处理模块进行了详细的设计和实现,最后对该应用进行了功能和性能测试。论文主要研究了深度卷积神经网络模型的压缩方法,结合卷积优化方法,设计并实现了目标物体捕捉应用,并对该应用进行了测评。
其他文献
为探究房地产企业经营综合绩效的关键影响因素,选取沪深两市128家房地产上市企业为样本,从财务盈利能力、资产营运能力等方面建立房地产企业综合绩效评价体系,以TOPSIS法对企
随着我国经济的整体发展,铁路建设规模在不断的扩大,国家经济的发展市场的需求也在不断的增加。铁路企业的发展是我国经济发展的重要影响因素,直接关系到社会各届的经济利益
在《资本论》关于人性问题的研究思路的基础上,注重一般人性与具体人性的结合,以劳动作为物质条件作用于人性的主要过程,针对《资本论》中关于资本主义社会人性和未来社会人
栏目是期刊的窗口,是期刊办刊宗旨与期刊特色、学术水平的具体体现。《湖南中医药大学学报》从创刊至今虽已取得较好成绩,但分析其栏目设置仍存在问题:栏目设置存在随意性;栏
在保证加工质量的基础上实现高能效加工是机械加工追求的目标,而无颤振切削是保证加工质量的必要条件。本文首先分析机床的能耗特性,提出高速无颤振铣削参数优化模型,使机床的能
热浸镀锌是工业中最常见的一种钢铁防止大气腐蚀方法,其生产流程是将前处理好的钢铁工件浸入到一定温度下的熔融锌液中从而使钢铁表面生成均匀的锌层。锌液的工作温度高,腐蚀性
高校图书馆是大学生及教职工们获取知识和查阅资料的重要场所,一直以来,人们对其的印象大抵可以用“严肃”“安静”等词语来形容。久而久之,其严肃性作为一个本质特征被不断
本文首先分析了高职院校学生党员发展实践中存在的问题,包括入党动机与信仰问题、入党程序与流程问题以及学生党员活动缺乏新意等,接着提出了提高高职院校学生党员发展成效的
以马斯洛的需求层次论和赫茨伯格的双因素理论为基础,用随机抽样问卷调查的方式,以中国移动Y分公司的员工为研究对象,分析了该公司员工工作时最看重的因素和员工对目前企业提