深度神经网络的加速与压缩及评价方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:danNyZ
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络在众多人工智能问题上展现了优异的性能。与此同时,物联网、边缘计算等领域的研究也逐步走向应用。深度学习与物联网、边缘计算等领域的结合将极大地提高社会生产力。但以深度神经网络为载体的深度学习技术对硬件资源提出了很高的要求,在现有的资源受限设备上难以部署。为了深度学习应用的普及,对深度神经网络进行加速和压缩,降低其对资源和时间的消耗,已成为非常重要的研究课题。因此,本文在低秩近似与通道剪枝方法的基础上,围绕深度神经网络的加速、压缩与评价方法进行研究并完成以下工作:首先,本文提出了通道剪枝过程的数学模型。该数学模型指出滤波器的大小是限制通道剪枝的瓶颈,并且缩小滤波器尺寸能够改善通道剪枝的性能。由此本文提出了“解稱-拉伸”的通道剪枝方法,先对滤波器执行“解耦-拉伸”获得滤波器较小、结构更深的网络,再执行通道剪枝。消融实验和硬件仿真实验验证了本文提出的“解耦-拉伸”方法对通道剪枝的性能有所提升。接着,本文进一步提出了结合低秩近似的通道剪枝方法,能从数学的角度更好地消除滤波器内的冗余。先针对待加速的网络进行低秩近似,获得主要的加速增益;再实施通道剪枝,获得主要的压缩增益。此外,本文又提出一种新的秩选择指标,用于更好地平衡低秩近似步骤和通道剪枝步骤。消融实验和硬件仿真实验验证了本文提出的结合低秩近似的通道剪枝方法优于单独使用的低秩近似和通道剪枝方法。最后,本文提出一种对拟合曲线积分的评价指标,能对不同加速压缩算法的效率进行较全面合理的评价。实验验证了该指标的合理性和必要性。另外,利用该指标对本文提出的两种加速压缩方法和基线算法进行比较,证实了本文加速压缩方法的性能提升。
其他文献
金属卟啉类超分子催化剂是超分子催化研究领域的重要内容之一,其关键环节是以金属卟啉为基础构建超分子微反应器,使反应活性中心处在一个特定的微环境中,从而实现高的催化效
据统计,2013年末我国城镇化率已经达到53.7%,同时,《2013年中国信息化发展水平评估报告》发布我国信息化指数从2010年的52.94,提升到2012年的74.84,年均增长18.9%。城镇化、信息化
我们根据我校实际情况在医学遗传学实验教学中实施开放式研究性教学手段,培养学生具有自主建构的学习能力,掌握现代医学遗传学的基本理论和遗传性疾病诊断的实验方法,培养学
利用近55 a黄河下游输沙率数据,分析泥沙通量在下游的时空变化,得出在不同的时间尺度下各河段泥沙通量的变化速度,孙口以上和艾山-洛口段变化较大。通过非参数Mann-Kendall检
城市商业综合体是伴随着我国城市化进程的加快,人们的物质文化需求的增长而产生的。为了能够满足人们多功能、全方位和休闲生活新体验的场所的需求,其景观设计应该从商业、消
由于风能的间歇式固有特征,风电机组长时间、频繁和大范围的随机出力变化,往往导致风电变流器IGBT模块(由绝缘栅双极型晶体管(IGBT)及晶体二极管(Diode)组成)持续承受剧烈的电热应力
本文作者对地下车库的人员安全疏散设计进行了分析,提出了地下车库人员安全疏散设计的方法,供同行参考。
目的:探讨急性脑血管病的临床特点。方法:收治急性脑血管病患者526例,分析其临床资料。结果:急性脑血管病发病率男性高于女性(1.9:1),>60岁发病率高,寒冷季节发病率高,6:00~1
目的:探索部分可干预性危险因素及对其有效干预治疗对缺血性脑卒中发病昼夜、季节节律的影响。方法:选择1973例缺血性脑卒中患者,分为危险因素组和无危险因素组,并将危险因素组分