面向卷积神经网络的高效压缩技术研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:lummy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机硬件能力的提升以及大数据时代的到来,深度学习技术得到了极速发展。相较于其他机器学习领域的智能算法,深度学习模型使用了更加复杂的模型结构和更大规模的数据量,因此能够模拟更多实际场景中的问题。卷积神经网络作为深度学习的一种代表算法,被广泛应用自然语言处理、图像识别、目标检测等领域。随着任务复杂度的提升,通常模型的结构会更加复杂,如模型层数和参数量将成倍增长,消耗了大量的存储和计算资源,从而使其难以部署到硬件资源受限的嵌入式设备上,限制了卷积神经网络的进一步发展。为了解决这个困境,本文提出了一种基于自动化搜索的卷积神经网络压缩剪枝方案,在保证模型预测性能的同时降低了计算资源和内存空间的消耗,在公开的图像数据集以及实际的漏洞检测数据集上验证了该算法的有效性并取得了较好的效果。具体来说,本文的主要贡献如下:(1)提出一种自动化搜索模型剪枝结构的通道剪枝算法。首先通过超参数增加目标约束,减少庞大的优化结构组合,然后将搜索过程看作是一个优化问题,利用麻雀搜索算法,自动化搜索并优化剪枝结构。该算法通过确定神经网络每一层的通道数,实现模型压缩与加速,可以减少人工操作,并提高模型的压缩率,避免基于规则或经验去选择重要的通道,实现自动化的搜索选择。(2)在ResNet-56和VGG-16两种卷积神经网络上对本文提出的通道剪枝算法进行实验验证,并与其他几种经典的压缩算法进行对比。在ResNet-56网络上,在精确度下降不超过1%的情况下,参数压缩率达到55.27%,FLOPs缩减57.58%。在VGG-16网络上,在精确度下降不到0.5%的情况下,参数压缩率达到80.62%,FLOPs缩减了70.35%。(3)为了验证该算法的有效性和实用性,将该算法应用软件漏洞检测领域中。通过对压缩前后ResNet-34卷积神经网络模型在二进制文件中的分类效果、模型参数量、FLOPs数以及通道数目进行分析,证明在保证漏洞检测模型检测率的情况下,应用该通道剪枝算法能够实现模型压缩与加速,并且得到一个轻量级的漏洞检测模型。
其他文献
接地网是电力系统必不可少的组成部分,对电力系统稳定运行起到关键作用。我国的接地网常年埋于地下及其容易发生腐蚀断裂,导致其工作性能下降甚至引发事故。因此提高接地网腐蚀检测效率并对腐蚀速率进行预测,有助于及时发现并解决接地网存在的问题。目前接地网的腐蚀检测方法仍有待完善,腐蚀预测的方法更是稀少,因此改进接地网检测与预测方法并开发一款智能装置,对保证接地网的安全运行具有指导性意义。本文分析了现有的检测方
随着现代社会的发展和人口增多,大型建筑楼层高度不断攀升,内部结构日趋复杂,人们对于基于位置的服务需求日益剧增,随着物联网技术的快速发展和智能终端的广泛普及,精准的室内定位和路径规划服务在日常生活和室内应急救援中的重要性日渐凸显。日常生活场景中,无线局域网内基础设施完备,基于接收信号强度(Received Signal Strength Indication,RSSI)指纹的定位技术因其无需额外的硬
传统的功率MOSFET可靠性检测方式一般采用电压、电流等电气参数作为检测指标。近年来新兴检测手段包括芯片结温、热阻抗以及巨磁阻场等手段也发展迅速。对于功率MOSFET健康状态的有效监视,亟需满足可靠、快速、非入侵的要求,而基于声发射技术手段理论上能够满足其要求。新兴的声发射技术手段为提高功率MOSFET的可靠性指明了一种新的方向。本文首次采用声发射技术手段对功率MOSFET状态开展研究,初步分析了
随着网络信息化的发展,网络安全问题正变得日益严峻。慢速拒绝服务(LDoS)攻击是一种针对网络自适应机制缺陷的拒绝服务(Do S)攻击变体,不仅具有较强大的破坏性,而且还具有攻击流量平均速率低、隐蔽性强的特点,因此其能轻易逃脱针对Do S攻击的防范机制。而现有的LDoS攻击检测方法仍存在自适应能力不足和检测准确性不高等缺点,因此,对LDoS攻击及其检测方法进行深入的研究,对保障网络安全具有重大的价值
近年来,随着各种高科技技术的出现和应用,比如5G、人工智能、大数据等,作为智慧交通系统必不可少的一个部分,车联网(Internet of Vehicles,Io V)受到了工业界和学术界的广泛关注。由于车联网固有的开放性通信环境,使得其容易受到攻击。因此,为了确保车联网的安全,需要研究者设计安全有效的认证协议在车辆接入车联网之前对其进行认证,同时,由于车联网有严格的实时性需要,所设计的协议必须是高
贵金属(Au、Ag等)纳米颗粒具有独特的局部表面等离激元共振(LSPR)性质,在可见光照射下表现出强烈的颜色可调节性,因此被广泛地应用于比色传感器的构建。此外,金属纳米颗粒的LSPR特性可以调节局部荧光团光学行为,即等离激元增强荧光现象(PEF),从而实现对荧光团或者其他荧光分子发射强度的指数级增强,使其在低丰度物质荧光检测方面拥有巨大潜能。然而,目前大部分的传感策略仍依赖于金属纳米颗粒的合成和荧
“哈伯-博施”(Haber-Bosch)固氮法作为工业合成氨工艺,为社会发展和科技进步做出了巨大贡献。然而,此工艺需要苛刻的反应条件,不仅能耗高而且排放大量的温室气体。因此,改进传统的工业固氮技术,寻求高效、低耗、清洁的合成氨方法已成为近几年的研究热点。常温常压下可见光催化氮气还原为氨气被认为是绿色合成氨技术之一,近年来受到研究者们广泛关注。但是,高效光催化剂种类有限、催化剂对可见光的利用效率低、
边缘计算的发展,催生了“边服务市场”计算模式。越来越多的用户将服务请求提交到边缘服务器(提供商)上执行。随着服务请求的增多,大规模请求并发的情况在所难免,请求失效的情况也逐渐增多,严重时可能导致系统崩溃。因此用户的请求策略需要优化。如何优化用户请求策略的同时提升用户的效益变得十分重要。而提供商也期望效益最优化。两者之间是相互矛盾的。价格是边服务市场的调节杠杆。具体而言,当服务价格过高时,提供商的效
碳-氮(C-N)键是有机物中常见的一类化学键,具有较高的解离能,通过C-N键裂解构建复杂的功能化合物具有重要意义。目前,利用过渡金属催化使简单含氮化合物发生C-N键断裂,形成含氮和含碳的合成砌块,再与另一分子结合构建新的C-Z键,已经成为一种合成新型功能分子的方法,具有良好的应用前景。本文基于惰性sp~3C-N键断裂,利用过渡金属促进反应进程,成功实现了新的C-C键和C-P的构建,合成了炔丙胺和二
随着科技的蓬勃发展,智能机器人走入了我们的生活,为我们的衣食住行带来了许多便利。智能机器人可以代替人类去一些极端、危险、人力所不能及的环境进行工作,因此需要具备自主导航和避障的技术,而SLAM(同时定位与地图的构建)算法可以帮助智能机器人实现导航、定位、建图等功能,是智能机器人不可或缺的一部分。近年来,视觉SLAM算法日趋成熟,难有大的理论突破,深度学习技术则日新月异,在很多方面都取得了很大的进展