【摘 要】
:
深度卷积神经网络(CNNs)的强大性能是依赖于其庞大的参数量和计算量而产生的,但是这两个特点反而成为了限制卷积神经网络的进一步发展的瓶颈。近年来,越来越多的研究关注如何对卷积神经网络进行压缩与加速。目前的神经网络压缩与加速方法大多采用直观的压缩方案,没有去理解神经网络的内部原理,挖掘冗余性存在的原因和位置。因此,本文提出压缩神经网络前应先分析其内部的工作原理和机制,并基于神经网络的可解释部分来进行
论文部分内容阅读
深度卷积神经网络(CNNs)的强大性能是依赖于其庞大的参数量和计算量而产生的,但是这两个特点反而成为了限制卷积神经网络的进一步发展的瓶颈。近年来,越来越多的研究关注如何对卷积神经网络进行压缩与加速。目前的神经网络压缩与加速方法大多采用直观的压缩方案,没有去理解神经网络的内部原理,挖掘冗余性存在的原因和位置。因此,本文提出压缩神经网络前应先分析其内部的工作原理和机制,并基于神经网络的可解释部分来进行神经网络的压缩和加速,使得设计出来的算法能够更加贴合神经网络的本质。具体的研究内容和创新点如下:(1)基于权重核稀疏度与密度熵的神经网络压缩方法。本文从可解释的角度对卷积神经网络的压缩问题进行分析,发现决定网络中特征重要性的因素有两个:稀疏度与信息丰富度。但是直接计算这两者需要较大的时间开销,为了能够加速压缩算法的流程,本文探究了卷积层中输入特征通道与对应权重核之间的关系,从而提出了无需数据,仅基于权重核稀疏度与密度熵的指标来计算输入特征的重要性。然后,本文使用了核聚类算法来减少每个输入特征通道对应权重核的数量。该方法相比于之前的压缩算法达到了更高的性能。(2)基于网络结构解耦的神经网络加速方法。根据神经网络的内部工作机制,本文发现滤波器对不同的输入拥有不同的响应,静态剪枝实际上并不完全适合神经网络的内部工作机制,因此本文采用动态剪枝算法来加速网络。首先,本文设计了一种结构编码模块,用于插入网络中各个卷积层里,该模块能够动态决定哪些滤波器被激活。之后,通过最大化结构编码向量与输入图片属性的互信息,网络结构能够被逐渐解耦,每个输入仅使用部分滤波器参与计算,从而达到加速效果。同时,为了进一步提高神经网络的表征能力和减少计算时间,本文限制卷积层中滤波器的输出并稀疏度结构编码向量减少参与计算的滤波器数量。该方法能够在保证性能的情况下达到有效的实际加速效果。
其他文献
道路灰尘是城市环境系统重要的组成部分,其污染状况与城市水、土壤、大气等生态环境质量以及人体健康具有重要的联系。厦门市、漳州市和泉州市是福建省重要的经济发展区域,称为“闽三角”。本研究分别采集了厦门市、漳州市和泉州市道路的地表灰尘,共获得有效样品257个。通过以厦门岛道路灰尘作为闽三角城区代表,以厦门岛外、漳州市和泉州市的采样区域作为闽三角的城郊代表,分析道路地表灰尘的重金属含量特征、磁学特征,评价
本论文题目为《禅文化与禅修空间的互文性——厦门佛心寺禅修中心设计研究》,文章立足于互文性理论之上,梳理了禅文化与禅修空间之间的关系,论证了禅文化与禅修空间之间存在互文性。并在建筑语言环境内,进一步阐述实践设计中禅文化互文性的体现。本论文所要关注的禅文化集中在经典、诗歌、公案、绘画、音乐等一系列具有传统传播作用的世俗性与宗教性共生的文化范式上,而关注的禅修空间则作为跳出传统表现,跨越精神现象,物化文
晚更新世时期全球的海岸带广泛发育了风吹沙丘,这些海岸沙丘的形成与古气候、古地理环境的演变息息相关。老红砂是我国东南沿海广泛分布的一种棕红色、红色或橙黄色半胶结的中细砂沉积物,大多分布于今海平面以上0-40m高度植被覆盖区的前缘位置,形成于晚更新世,与北方黄土共同构成了覆盖我国地表的两大典型第四纪松散沉积物。老红砂的发育与东亚季风的演化、海平面变化等表生地质过程密切相关。因此,东南海岸带老红砂是晚更
137Cs是核设施的裂变产物之一,半衰期为30.17年,裂变产额为5.9%,被认为是生物学上最危险的放射性核素之一。铯的生物学行为与钾类似,通过竞争K+通道进入食物链威胁人体健康,并对生态环境造成污染。目前用于修复环境中放射性核素铯污染的常规方法效果欠佳且成本高,微生物修复技术以成本低、效果明显且不易产生二次污染的优点进入国内外研究学者的视野。本研究从海洋沉积物中富集筛选出一株耐受高浓度铯的海洋细
科技的进步给我们带来了更美好的生活,而现实生活的需求又使科技有了更强大的发展动力。人工智能已经体现在了生活的方方面面,给人们带来了前所未有的交互式体验。人体行为识别是跟生活联系非常紧密的一项研究,也是人工智能一个重要的领域。对获取的人体完整3D视觉数据进行深入分析是机器学习和模式识别领域的前沿研究主题。行为识别的两个重要研究方向,一个是如何提取更具鲁棒性区别性的特征,另一个是对获取的特征如何更好的
单帧图像超分辨率重建旨在从一张低分辨率图像重建出相应的高分辨率图像,要求在增加像素点的同时提升清晰度。图像超分在高清电视、历史资料恢复、压缩传输、安防监控、医疗诊断等方面有着广泛的应用。伴随着卷积神经网络的兴起以及计算资源性能的提升,深度图像超分不管是在客观指标,还是视觉效果方面都取得了空前的研究进展,并且在很大程度上超越了传统重建算法。与此同时,如何在图像主观效果与客观指标之间保持平衡,如何设计
形状记忆合金经过长足发展,现今投入使用的已包括Ni-Ti基、Cu基和Fe基形状记忆合金。其中,Cu基形状记忆合金因其低成本和较好的切削加工性而备受关注。传统凝固法制备的Cu基合金一般为多晶结构,不可避免具有多晶脆性,后续的固溶处理还可能会获得更粗大的晶粒,这就进一步加剧了合金的脆性。目前改善多晶脆性的方法通常为细化晶粒、降低母相有序度和制备单晶。本文以制备单晶为目的,通过在Cu-Al-Mn基合金中
盾蚧是红树林重要害虫类群之一,在福建、广西等地红树林中危害严重。目前,现有的红树林盾蚧研究主要集中于盾蚧种类鉴定、种群动态及生活史等方面,对红树林盾蚧的种类调查、发生规律和危害研究较少。因此对本论文以秋茄红树林为主要研究对象,综合运用野外调查方法、分子标记技术、植物生理学及转录组学分析方法等,详细地研究秋茄红树林内的盾蚧种类、数量动态规律及其影响因素,对红树植物的危害等,全面探究红树林中的盾蚧危害
目的:评价PPI联合使用SSRI对咽喉反流性疾病(laryngopharyngeal reflux disease,LPRD)合并抑郁(depression)症状患者的疗效是否优于单纯抑酸治疗。方法:对耳鼻喉科门诊可疑LPRD合并抑郁症状的患者采用反流症状指数量表(reflux symptom index,RSI)、反流体征评分量表(reflux finding score)以及抑郁自评量表(se
本文针对多源融合导航定位系统提出完好性监测技术,完好性反映的是系统的稳定性和安全性问题。定位技术发展到现在,面对室内室外各种复杂的定位场景,仅靠某种单一的定位技术已经远不能满足人们的定位需求。目前,将多项定位技术的优劣势进行互补,形成多源融合导航定位技术,已成为定位领域的热门研究主题,同时多源融合导航定位技术也已经广泛应用于各大领域。在多项定位技术中,视觉定位技术因其精度高、成本低、不受信号强弱影