压缩卷积神经网络的FPGA加速研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xxziliao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现场可编程门阵列(Field Programmable Gate Array,FPGA)由于高并行、高能效比、计算资源丰富、灵活可配等特性被广泛认为是加速卷积神经网络(Convolutional Neural Network,CNN)非常有前途的平台。然而卷积神经网络通常有数十亿个参数,这使得采用FPGA加速卷积神经网络的实现有着非常繁重的计算量和内存负担。此外,大多数研究都将算法视为一个黑盒子,只专注于优化硬件架构而忽略了算法本身,进而导致较大模型的卷积神经网络模型无法在硬件资源有限和功耗预算紧张的手机、无人机和平板电脑等嵌入式系统上部署。论文从软硬件协同设计角度出发,将算法优化和硬件架构相结合,对卷积神经网络模型进行压缩并采用FPGA加速实现。在模型压缩方面:在不影响准确率的前提下,论文采用反向剪枝和峰值剪枝策略来显著减少已训练好的卷积神经网络模型参数,降低计算量;而后对完成剪枝的网络模型进行量化处理,并针对卷积神经网络的卷积层和全连接层各自的结构特点分别提出高效的数据存储方法,大幅降低额外的缓存开销。在FPGA加速方面:采用Xilinx Zynq UltraScale+MPSoC系列的FPGA芯片作为平台核心,以Zynq的PS(Processing System)端即ARM作为控制中心实现卷积神经网络的全连接层和输出层的Softmax函数,PL(Programmable Logic)端即FPGA作为加速核心负责卷积层和池化层。为了验证论文压缩策略的有效性,本文以卷积神经网络AlexNet为例进行模型压缩,利用赛灵思的FPGA开发套件和ZCU104开发板对压缩后的AlexNet进行设计实现。经过测试分析,本文提出的模型压缩策略在准确率损失忽略不计的情况下可将AlexNet网络从243MB压缩至8.7MB,即压缩了28倍。此外,本文设计的压缩AlexNet网络的FPGA加速框架的整体性能可以达到9.73FPS(Frame per Second)。与CPU和GPU加速平台相比,AlexNet网络的卷积层分别实现了182.3倍和1.1倍的延迟和计算性能的提升,并分别获得了822.0倍和15.8倍的能量效率的提高。这种改进的模型压缩策略为递归神经网络(Recurrent neural network,RNN)、生成式对抗网络(Generative Adversarial Net,GAN)和其他神经网络的应用提供了参考。
其他文献
伴随着移动互联网技术的蓬勃发展,人们对未来高速率通信的需求也日益增加。传统通信技术无法满足未来通信的巨大需求,大规模MIMO(Multi-Input Multi-Output,MIMO)技术应运而生,该技术是5G通信的关键技术之一。大规模MIMO技术能够很明显提升系统的能量效率、频谱利用率和系统容量。能否获取准确的信道状态信息直接影响到大规模MIMO性能的好坏。大规模MIMO系统基站端的天线数量巨
无人机编队依靠人工智能、计算机视觉等技术,通过无人机间信息交互、主动避撞,能够协作完成各种空中任务。下一代5G移动蜂窝网络不仅能为无人机编队提供可靠的信号覆盖,还可以保证无人机编队间高效的直接通信。但是无人机编队通信的可靠性和安全性受恶意用户的影响,恶意用户传输虚假信息会对无人机编队产生严重危害。同时由于无人机飞行速度快、航迹灵活多变,因此5G移动性管理机制对无人机编队的通信性能也至关重要。本文针
函数是高中数学课程中的一条重要主线,是高中生数学学习的主要内容之一,关于函数的极值,2017年版《课标》在A类、B类两类课程的微积分部分都提出“会利用导数讨论函数的极值问题,利用几何图形说明一个点是极值点的必要条件与充分条件(不要求数学证明)”的教学要求。然而,不少高中学生对求解函数极值问题存在困难。本研究归纳高中生在运用导数求解函数极值时产生的困难类型,分析高中生解决函数极值问题产生困难的原因并
突发环境事件是环境风险转化为现实危害的极端表现,突发环境事件的发生会对公众的生命健康、物质财产及生态环境造成极大的损害。为了有序高效地应对突发环境事件,需要对突发环境事件应急法律制度进行完善,以期更好地调解经济发展与环境保护之间的矛盾。本文首先阐述突发环境事件、突发环境事件应急法律制度的含义与特征:突发环境事件是在人为或自然因素的作用下,对公众人身、财产、生态环境突然造成紧迫性、严重性损害的环境事
近年来,智能天线以其能够提高频谱利用率和扩大系统容量的两大优势为人们所关注,并广泛应用于通信、雷达、声呐、侦察、地震勘探等多种军用和民用领域。自适应波束成形技术作为智能天线的核心技术之一,具有极高的研究价值。本文首先针对较高信干噪比环境下单用户波束成形问题提出一种自适应波束成形算法,并推广至强干扰扩频通信系统;而后针对大规模阵列天线波束成形问题,提出一种基于特殊阵列布局与子阵划分方式的子阵级波束成
信息与通信行业的能耗问题日益严重,降低通信能耗,提高系统的能量效率(Energy Efficiency,EE)将是未来5G发展的一个重要方向。分布式天线系统(Distributed Antenna System,DAS)可以有效提高系统速率、扩大覆盖范围,是实现“绿色通信”的关键技术之一。而且,无线携能通信(Simultaneous Wireless Information and Power T
波达方向估计(Direction of Arrival,DOA)作为阵列信号处理中的一个核心问题,近年来得到学者们的广泛关注。平行因子(Parallel Factor,PARAFAC)分析是阵列信号DOA估计中常用
由于我国地理环境的多样性,岩溶隧道涌突水灾害发生频繁,不仅造成一定的人员伤亡,而且对地下水系统破坏严重。现阶段突水灾害的治理主要采取注浆技术,但动水注浆理论不完善。为了更好的研究突水灾害的治理方法,在全球范围内进行学术交流是非常重要的。本篇翻译实践报告选取一篇科技论文“基于注水动浆封堵机理玻璃纤维水泥浆夜流型实验及应用研究”作为源文本,其主要介绍了解决涌突水灾害常用的治理方法。本报告以奈达的功能对
三晋红色文化作为我国优秀传统文化的重要组成部分,对国家和民族的发展都有着极其重要的影响。而且三晋地区作为革命老区之一,在不同的历史时期都有着丰富的红色文化资源。三晋红色文化资源的形成不仅是因为独特的自然条件,更重要的是当地有着发达的农业基础、坚实的组织以及群众基础。同时,三晋红色文化资源有着重要的历史意义,也对当代社会经济、政治、文化、教育、生态等有着重要的现实意义。因此,对三晋红色文化资源的保护
近年来,由于移动终端,尤其是智能手机的大规模普及,在移动终端访问、浏览互联网网站成为人们生活中的常态,而移动端的访问量也大有赶超个人电脑的趋势。然而,移动终端囿于其