卷积神经网络压缩中的知识蒸馏技术综述

来源 :计算机科学与探索 | 被引量 : 0次 | 上传用户:yunguii
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络(CNN)凭借强大的特征提取和表达能力,在图像分析领域的诸多应用中取得了令人瞩目的成就。但是,CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大,在这个情况下,部署完整的CNN往往需要巨大的内存开销和高性能的计算单元(如GPU)支撑,而在计算资源受限的嵌入式设备以及高实时要求的移动终端上,CNN的广泛应用存在局限性。因此,CNN迫切需要网络轻量化。目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等。首先介绍了卷积神经网络
其他文献
为了解决LBP算法抽取的纹理特征仅考虑了邻域像素的特征,忽略关键的局部和全局特征的问题,提出一种基于改进型LBP算法的WCM-LBP植物叶片图像特征提取方法。该算法融合了加权局部均值算法WRM-LBP和加权全局均值算法WOM-LBP,通过提取叶片基于区域的关键几何特征和纹理特征对LBP特征描述符进行加权改造,并采用加权局部均值和加权全局均值代替传统的中心像素点,最后将叶片图像的R、G和B通道颜色分
针对金属表面缺陷检测中目标尺寸小和特征不清晰导致漏检的问题,提出一种改进YOLOv3的金属缺陷检测算法。在YOLOv3网络结构的基础上,将第11层浅层特征与网络深层特征融合,生成一个新的尺度为104×104特征图层,提取更多小缺陷目标特征。加入DIo U边框回归损失,为边界框提供移动方向以及更准确的位置信息,加快模型收敛。利用K-Means++聚类分析数据集上的先验框尺寸信息,筛选出最优的Anch
绿色港口日渐成为港口发展的必然趋势,为了提高集装箱码头的服务水平及降低其能耗,综合分析了集装箱码头的装卸作业流程,考虑岸桥、场桥、集卡在不同作业状态下的能耗,且以总完工时间和总作业能耗最小为目标建立了多目标混合整数规划模型。使用MATLAB编码改进自适应遗传算法求解所建模型,并分别与CPLEX和原始遗传算法的求解结果作对比,证明了该算法的优秀性。更改能耗目标和作业时间目标所占权重进行求解,发现考虑各设备在不同作业状态下的能耗会影响总完工时间,且能耗与作业时间是相互冲突的目标,追求低能耗会造成作业效率的牺牲
刑侦工作中,若犯罪嫌疑人的人脸图像存在遮挡,人脸特征点遭到破坏,精确去除遮挡区域成为提高人脸识别技术的重要一步。因此,人脸去遮挡有着重要的研究意义。对人脸去遮挡技术最新进展进行阐述,并基于2016年首次提出的基于深度学习图像修复算法,介绍从2017年至今学者们提出的各类人脸去遮挡融合算法。首先根据遮挡方式的不同将现有算法分类为随机遮挡和规则遮挡的人脸修复,接着根据算法中预测生成网络的不同,进一步分