基于Kmeans算法的神经网络加速和压缩

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:marswood
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机领域的快速发展,计算能力已不再是机器学习研究的瓶颈。目前,以深度神经网络(DNN)为首的深度学习技术已经大量的应用到各个领域,如语音识别、智能驾驶、图片识别等等。但是随着应用环境越来越复杂,精度要求越来越高,网络规模也越来越大。大规模神经网络既是计算密集型又是存储密集型。因此对其加速和压缩是目前研究的重点。传统的通用芯片在处理复杂神经网络时受到了带宽和能耗的限制,人们开始改进通用芯片的结构以支持神经网络的有效处理。此外,研发专用加速芯片也成为另一条加速神经网络处理的途径。独特的处理结构加上特地优化的处理数据流。让它与通用芯片相比,能耗更低,性能更高。但是并没有一种数据流适用于所有网络的加速。传统的压缩方案,如剪枝,低秩分解,稀疏网络等,虽能够有效的减少网络参数,但是都破坏了网络的规则结构,增加了训练复杂度。为了解决上述限制,该课题基于神经网络本身训练的预测准确率置信区间,提出了一种使用Kmeans来加速和压缩神经网络的方法。在神经网络中,卷积层属于计算密集型,全连接层属于存储密集型。卷积层的权重数少但计算量大(权重复用多),因此表现为处理速度跟不上存取速度;全连接层的权重数多但计算量小(无权重复用),因此表现为存取速度跟不上处理速度。本文提出了上述问题的解决方法,一是通过将卷积过程中的输入特征图采用Kmeans聚类来减少计算量;二是通过将全连接层的权重压缩来减少存储量。具体来说,将卷积层的输入前加一个Kmeans层,将输入特征图采用Kmeans聚类,这样聚类后数的类别远小于聚类前,将聚类后所有类别的数和权重相乘可以得到聚类前所有数和权重相乘的结果,这样做就减少了乘法计算量。对全连接层的权重参数采取Kmeans聚类,将聚类值编号作为索引标签。在存储模型时,本文所提方法存储权重聚类后值的索引标签,与原来的32位权重值相比,索引标签通常只有三四位(依据聚类数量),以此达到压缩的目的。该方法对Alex Net网络单个卷积层的计算量最多能减少上百倍,加入合适的Kmeans层,整个网络的处理时间加速比能达到2.007,对Alex Net网络压缩能达到10.4倍。
其他文献
自20世纪80年代开始,复杂系统的研究逐渐兴起,它被认为是解决各个领域研究面临的困难的一个重要突破点。而复杂网络是研究复杂系统的一个重要工具,如物流运输、道路规划、社交网络、生物研究等问题在研究的过程中,都可以抽象成由边和顶点组成的复杂网络,借助于复杂网络的相关技术对其进行研究。但系统中基本单元常常达到成千上万甚至是数以亿计,这就使得复杂网络的研究不得不借助于高效的计算工具来解决实时的、规模足够大
近年来,视频智能监控技术得到了快速发展,己被广泛的应用于社会生产生活的各个领域。在煤炭工业中视频智能监控技术也得到应用,尤其是在矿井安全生产方面,这对于及时发现和预
超级电容器由于具有高功率密度、快速充放电特性和长循环稳定性而受到越来越多的关注。为了扩宽超级电容器的市场应用范围,研究人员一直通过开发新颖的电极材料来提高超级电
白光发光二极管(WLEDs)是近年来广泛使用的固态照明光源,具有节能,环保等优点。在众多合成WLEDs的方法中,荧光粉转换型白光发光二极管(pc-WLEDs)是制备WLEDs的一种主流方法。广泛
硫是一种燃料中常见的污染物,在催化过程中通常会导致贵金属催化剂中毒失活。铂族金属是价格昂贵的不可再生资源,在苛刻的化学反应环境中此类催化剂还存在易溶解性、易腐蚀性
现实场景中,物体暴露在自然光下通常会发生镜面反射和漫反射,当镜面反射较为强烈时,物体表面就会呈现出高光现象,严重时在数字图像中表现为饱和像素。高光在计算机视觉的任务
本文第二部分通过两步阳极氧化法成功制备了管长分别为4、6和7μm的TiO2纳米管阵列(TiO2 nanotube array,TNA)。此后,使用这些具有不同管长的TNA制备了具有Au/TNA/Au结构的紫外
为了方便阅读,大多数文档的前景文字与背景区域都特意的以高对比度的方式呈现。图像的二值化是文本识别中一个十分重要的步骤。当涉及到退化文档图像的处理时,图像的二值化就
动作识别与时序分割是一项十分重要的视频理解任务,在视频监控、视频检索、自动驾驶等领域有着广泛应用.其目标不仅是识别一段未修剪视频中包含哪些动作,还要预测每个动作在
女性的生命健康严重受到乳腺高发恶性病变的威胁,尽早的发现与治疗将有效提升乳腺癌患者的生存率。乳腺X线摄影(Mammography)作为临床上进行良恶性病变筛查的首选方法。在常