【摘 要】
:
随着互联网科技的快速发展,深度学习这个崭新的领域在近十余年快速发展并受到了越来越多研究者的关注和研究。它在众多领域都取得了非常成功的应用。从最初的手写数字识别到近年来的图像识别、检测、跟踪以及语音识别等,深度网络模型都取得了传统方法无法企及的成就。随着深度学习在学术界不断取得突破,工业界也开始着手将深度学习的算法移植到硬件平台上。但是,当深度神经网络部署到具体场景时,却遇到了一个不可避免的问题,例
论文部分内容阅读
随着互联网科技的快速发展,深度学习这个崭新的领域在近十余年快速发展并受到了越来越多研究者的关注和研究。它在众多领域都取得了非常成功的应用。从最初的手写数字识别到近年来的图像识别、检测、跟踪以及语音识别等,深度网络模型都取得了传统方法无法企及的成就。随着深度学习在学术界不断取得突破,工业界也开始着手将深度学习的算法移植到硬件平台上。但是,当深度神经网络部署到具体场景时,却遇到了一个不可避免的问题,例如智能手机、穿戴设备等嵌入式设备,这些嵌入式设备对模型体积、计算性能、功耗等方面都有比较严格的要求,这就限制了上述对计算性能要求较高的深度神经网络模型的应用。强大、复杂的神经网络虽然带来了更好的性能,也伴随着高额的存储空间和计算资源消耗,这导致深度学习算法难以移植到移动设备或嵌入式设备上。因此,在工业界,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。而这也是本研究的出发点。本研究旨在尽可能不损失精度的前提下压缩神经网络模型,以便将其移植到嵌入式设备中。首先,本文提出了一种基于学习的结构化剪枝策略。通过在原网络模型中加入用于学习卷积层中各卷积核重要性的purning模块,在预训练的过程中学习到各卷积核的重要性,再根据卷积核的重要性裁剪掉不重要的卷积核。其次,本文提出了一种改进的量化方法——分步量化。该方法作用于结构化剪枝后,也就是对剪枝后的网络模型进行量化处理,进一步压缩网络模型。量化方法是通过让多个权重参数共享同一个参数值来达到压缩网络的目的,而我们的分步量化方法在量化的第一步使一些初始量化时分类错误的异常点聚到最适当的类中,再通过量化的第二步完成参数共享的目的。本文提出的分步量化方法较之单步量化方法降低了量化给神经网络模型带来的精度损失。最后,本文将提出的神经网络压缩方法应用到人脸识别和图像的超分辨率重建中,最后都在基本不损失精度的前提下完成了神经网络模型的压缩,也证明了本文提出的神经网络压缩方法的正确性。
其他文献
富勒烯由于其独特的结构和特殊的物理化学性质而受到广泛关注。氧化富勒烯作为富勒烯衍生物之一,虽然其分子构成相对简单,但对它的研究却可以帮助人们了解富勒烯碳笼上的多种
近些年,随着智能移动设备(比如,平板电脑、智能手机)的发展与用户普及率的提升,相关领域的研究者开始逐渐关注智能移动设备用户的心理特征及其与用户使用行为之间的关系。但
目的:观察慢性阻塞性肺疾病(COPD)患者纤溶功能、内皮素-1的变化及其与C反应蛋白(CRP)的关系。方法:收集2009年7月至2010年3月在山西医科大学第一医院呼吸内科住院的COPD急性
目的:本研究通过对比针刺配合雷火灸与乳果糖口服液两种不同治疗方法治疗老年性功能便秘(气虚型)临床疗效差异,探究针刺配合雷火灸治疗老年功能性便秘(气虚型)的有效性及优势,为中医治疗老年性功能便秘(气虚型)的治疗提供理论参考和临床指导。方法:72例研究对象来自于长春中医药大学附属医院,年龄在60-80岁的老年功能性便秘患者,中医辨证为气虚型。患者随机分为治疗组和对照组,各36例。治疗组给予针刺配合雷火
从《金匮要略》虚实异治思想出发,结合临床实际,系统论述风湿病的病因病机、临床表现及治法方药等,总结风湿病发病的根本原因在于正气亏虚,主要有肝肾亏虚、阴血不足、阳气亏
本文对中国英语专业学生英语双元音的产出与感知进行了实证研究,研究目的在于验证二语习得中不同理论模型关于一语迁移的预测,以及探讨了中国英语专业学生在多大程度上能够习
现代国家由同质化国家向多元文化国家的过渡、原子化个人向多重身份个人的转化,对回家构建过程中国家能力与合法性提出了新型挑战。多元文化主义作为一个新兴议题,成为西方自由
【正】“火补轮胎”、“带锯加工”、“气功治病”、“体操健身”、“坛腌酸菜”、“野菜充饥”、“青椒炒肉片”、“土豆烧牛肉”、“优质服务”、“袋装精盐”、“沼气照明
目的:本研究旨在了解消化专科门诊功能性胃肠病患者(FGIDs)症状重叠类型特征并探讨其与精神心理障碍表现的相关性。方法:连续纳入2014年4月至2015年12月期间就诊于上海交通大