基于遗传算法的卷积神经网络模型压缩技术研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:yellowyangjie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为人工智能领域的佼佼者,深度学习技术在近十年来取得了长足的进步,在诸如计算机视觉、自然语言处理等多个领域成为了难以替代的主流算法。而随着卷积神经网络模型结构的日趋复杂化,模型压缩技术开始受到研究人员的广泛关注。网络剪枝作为模型压缩技术一个重要的研究方向,近年来成果显著。然而,本文调查发现,目前还较少有研究学者尝试将网络剪枝技术与进化算法相结合来进行模型压缩。这是因为进化算法较难嵌入到卷积神经网络中,且存在后续模型结构难以优化等问题。基于以上论述,为了拓展网络剪枝技术的研究思路,补充自动化的模型压缩方法,本文考虑将网络剪枝技术与目前比较成熟的进化算法——遗传算法进行结合,研究出一套基于遗传算法的卷积神经网络模型压缩技术。该技术使用遗传算法来对网络模型进行剪枝优化,并结合反向传播算法优化模型中的参数。遗传迭代的过程可以有效避免反向传播陷入局部最优,从而维持了模型的准确率,并大幅压缩与加速了卷积神经网络。压缩后的模型在模型规模、计算开销等指标上都较原模型有较大程度的降低,且算法不需要特定的计算库支持。实验证明本文提出的方法能够满足实际需要,实现了较好的模型压缩效果,同时大规模降低了模型的计算量,提升了模型的响应速率。本文的创新点如下:1、提出了一种基于组合通道剪枝的卷积神经网络模型分枝方法。该方法通过多次组合的通道剪枝方式及模型微调实现对网络模型的分枝处理,形成多分枝的网络结构,从而在保持模型精度的前提下降低模型的存储规模及计算开销。2、在多分枝神经网络模型的基础上,提出了一种基于遗传算法的多分枝神经网络剪枝技术。该技术通过遗传算法的优胜劣汰机制逐步汇聚多分枝神经网络中的优势分枝,淘汰劣势分枝,并辅以模型微调,以此来进一步实现对网络模型的有效压缩。
其他文献
随着通信和计算技术的进步,移动互联网获得了空前巨大的发展,移动互联网快速的发展使得无线通信技术面临着前所未有的挑战。一方面,如何设计安全高效的无线传输技术来增加无
选择性催化还原技术(SCR)以其独特的优势广泛用于烟气脱硝系统中。其中,喷氨量的控制占据重要的位置,其控制效果的好坏直接影响着NO_x排放浓度及生产效率。但喷氨量控制中存
目标跟踪是计算机视觉领域中的一个研究热点,在实际生活中有着广泛的应用前景。在目标跟踪领域中相关滤波是当前主流的研究框架之一,在该框架下,许多学者提出了很多优秀的跟踪算法,解决了目标跟踪的基本问题,同时也具备较好的精确性。但是在实际应用中,仍会面临很多挑战,比如光照变化、目标遮挡、尺度变化等。针对这些挑战,本文主要在前人工作之上,从特征提取和模板更新这两个模块入手对跟踪器进行改进。论文主要工作如下:
自2013年《塔林网络战国际法手册》(即《塔林手册1.0版》)问世以来,围绕着该手册关于规范网络战争的规则引发了学界争论。对于第一版手册中存在的争议性问题,2017年国际专家组再次进行了修订,即《网络行动国际法塔林手册2.0版》。在这一书中,首先明确了国家主权适用于网络空间,其次对于网络行动规则进行了重新论述。但国家在网络空间中的自卫权行使仍然具有相当大的争议,本文在结合《塔林手册2.0版》中最新
学位
根据中国残疾人联合会2010年末公布的统计数据显示我国残疾人总人数8502万,其中下肢截肢的残疾人数是120多万。患者在截肢后为了能够站立起来进行正常的生活,一般会选择安装
紫外光电探测器广泛应用在民用和军事领域,包括环境监测、化学和生物分析、火焰探测、远程控制和安全的空对空通信。由于出色的化学,物理和光学特性,一维二氧化钛纳米结构(纳
传统相干光接收机可支持高阶调制格式解调和链路损伤补偿,在高速率、长距离光通信中得到广泛应用。新近出现的Kramers-Kronig(KK)光接收机通过数字信号处理(DSP)技术结合单个光探测器即可实现信号光场重建,具有成本低、功耗小的优点,是目前的研究热点之一。本论文围绕KK光接收机实时DSP系统的设计与实现开展了相关工作,主要内容包括:(1)研究了KK光接收机的系统结构和工作原理,设计了相应的D
艾里光束因其无衍射性和自弯曲性,在粒子捕获,显微镜成像,等离子体,大气湍流等领域有广泛的应用,近年来引起了很多研究人员的关注,并取得了一系列研究成果。但有关粒子对一维
高效用项集挖掘是通过效用值来衡量项集的重要性、反应用户的兴趣度,能较好的解决用户的问题,是数据挖掘研究领域的一个热门话题。高效用项集挖掘算法研究相对比较成熟,其效
伴随着图处理的快速发展,包括数据规模、数据类型,以及图应用在内的多方面因素,显著影响着访存特征。图处理的过程一般分为多次迭代进行,每一次迭代过程中同时存在着活跃数据和不活跃数据,而当前图处理主要的研究方向是通过努力获取访问数据的局部性,减少随机访问请求以提高I/O速度,这主要是针对活跃数据的优化工作,但是处理过程中暂不参与处理的数据,也会给存储系统造成负担,其同样受图处理访存高随机性的影响,很难在