【摘 要】
：
深度卷积神经网络通常包含数十亿的参数量,计算量和内存占用都十分庞大,严重阻碍了其在硬件资源以及功耗存在限制的轻量型移动端的应用与部署。目前主流的神经网络运算平台GPU由于其功耗、尺寸以及能量效率等问题,无法实现在移动设备端应用。现场可编程门阵列FPGA具有丰富的逻辑与运算资源,因其具备高并行度、高能效比、灵活可配等特性,十分适合作为在移动端搭载深度神经网络的实现平台。但是采用FPGA加速实现深度神
论文部分内容阅读
深度卷积神经网络通常包含数十亿的参数量,计算量和内存占用都十分庞大,严重阻碍了其在硬件资源以及功耗存在限制的轻量型移动端的应用与部署。目前主流的神经网络运算平台GPU由于其功耗、尺寸以及能量效率等问题,无法实现在移动设备端应用。现场可编程门阵列FPGA具有丰富的逻辑与运算资源,因其具备高并行度、高能效比、灵活可配等特性,十分适合作为在移动端搭载深度神经网络的实现平台。但是采用FPGA加速实现深度神经网络往往也面临着繁重的运算任务和内存消耗,因此降低资源消耗以及合理分配内存对于卷积神经网络在移动端的应用部署具有重大意义。本文即围绕卷积神经网络在FPGA平台上的实现与加速展开研究,最终选定二值化的卷积神经网络作为FPGA平台的加速对象。在对网络进行平台移植之前,对其做了以下的优化与改进:首先讨论了卷积神经网络二值化后在训练过程中的导数逼近问题,二值神经网络的正向传播函数的导数是脉冲函数,不适合反向传播,本文采用分段的三次函数的导数来近似脉冲函数;其次提出了一种初始化二值神经网络的预训练方法,在Image Net数据集上先训练与二值神经网络结构近似的浮点精度卷积神经网络模型,训练得到的参数用来初始化二值神经网络模型;在初始化二值神经网络后,引入了降维操作来计算网络中卷积核之间的相关系数,通过删减部分特征重复性高的卷积核从而减少训练过程中的计算冗余,提升了网络最终的推理精度。为了验证二值神经网络模型的有效性,本文将最后的推理工作放在赛灵思公司提供的FPGA芯片Zynq-7020上,进行神经网络算法的推理加速实验,最后验证了在FPGA平台加速神经网络算法模型的可行性。本文提出的二值神经网络模型在Image Net数据集上,获得了55.9%的top-1和78.6%的top-5精度。针对二值神经网络设计的FPGA加速框架与CPU、GPU加速平台相比,分别获得了373.3倍和28.7倍能量效率的提升。
其他文献
在重大自然灾害过后,基础通信设施基本瘫痪,灾区内的人们可以通过移动自组织网络在短时间内建立起通信网络协调开展救援工作,而邻节点间的相互发现是移动自组织网络能够提供服务的前提。在基于BLE(Bluetooth Low Energy,蓝牙低功耗)的移动自组织网络中,节点间的发现是单向的,扫描节点能够发现广播节点,广播节点不能发现扫描节点,而移动自组织网络中的节点应该同时具有发现邻节点和被邻节点发现的功
物联网技术作为我国信息技术发展的第三次革命,对各行各业的发展都发挥了重要的推动作用。农业作为物联网技术应用的重要领域,在农业领域的不断应用不仅为农业经济的现代化发展做出了重要贡献,同时也为农村信息化建设以及农村社会进步与发展产生了积极影响。但是农业物联网在我国仍然属于新兴事物,在部分地区的初步推广工作也出现了诸多问题,这导致农业物联网技术的作用没有有效发挥,因此有必要对我国农业物联网技术的推广应用
水下信号处理技术是开发维护海洋必不可少的技术手段,波达方位估计作为水下信号处理的重要分支,一直都是热门研究课题。传统的DOA估计手段多是建立在窄带信号的基础上,而在实际工程中信号多为宽带信号,因此对于宽带信号高分辨DOA估计算法计算量大,低信噪比情况下性能退化等问题的研究极具现实意义。MUSIC算法作为高分辨DOA估计算法的重要方法之一,存在计算量大的问题。针对此问题,本文提出了一种改进的MUSI
随着教育理念以及互联网技术的不断发展,英语教学形式不断创新。其中微课作为互联网发展的产物,被广泛的应用于英语教学之中。当代小学生从小接触网络以及电子产品,对于微课这样的教学形式能够迅速接受。小学英语语法教学在整个小学英语学习中是较为单调和枯燥的一个版块,但语法教学的重要性也是新课程标准中尤为强调的。那么,将微课应用于小学英语语法教学能否帮助学生提高英语语法成绩和学习兴趣值得广大小学英语教师关注。基
随着互联网和人工智能时代的到来,国家各个领域对于高层次的人才需求持续的增长。在深化研究生选拔和培养的供给侧结构改革、促进研究生教育的高质量发展以及考研培训产业转型和升级的背景下,当前考研培训市场的格局也必将发生改变,很多企业也会面临着新的危机和挑战。X公司,成立于2005年,主营业务是考研培训项目。在教学质量和教学服务上不断探索和升级,赢得了客户的信任和良好的口碑,但是在山东省考研培训市场上,其营
目前,大型泵站主要采用故障检修与定期检修相结合的维修方式,实现对泵站的安全运行管理。许多泵站已经增设了状态监测系统,然而主要以状态监测为主,部分系统提供了状态评价和故障诊断软件功能,但实际应用效果远未达到预期效果。其主要原因包括:水泵机组的状态量成分复杂,状态特征提取难;影响水泵机组状态的因素多,难以建立精确的状态评价模型等。为提高大型泵站的运行管理水平,结合南水北调泵站群运行管理的需要,针对目前
近年来,机器翻译,语音识别和文字预测等应用成为自然语言处理领域研究中的热点和难点,循环神经网络(Recurrent Neural Network,RNN)网络在这些应用中总能获得很好的表现,尤其是长短时间序列(Long Short-Term Memory,LSTM)。LSTM在RNN单元中加入了门单元,使得其长时间记忆能力更强,适合解决复杂的学习问题,但也带来了高计算复杂度和海量存储的需求。随着现
随着移动互联网的蓬勃发展及Android手机市场占有率的日益提高,Android移动终端也成为人们不可或缺的隐私管家。人们在Android移动终端上存储了包括通话记录、联系人等传统隐私数据,也存储了图片、音视频以及文本等隐私文件。由于Android系统的开放性,用户存储的隐私数据及隐私文件的安全面临极大威胁。攻击软件只需通过申请权限便可以得到用户隐私数据和隐私文件的访问权,从而窃取用户的隐私。因此
在经济快速发展和经济全球化的背景下,让供应链企业成员协同发展已成为供应链管理的优化目标之一,然而由于企业间信息壁垒的存在,导致供应链中的成员不能及时、准确地掌握相关的有效信息。而区块链技术去中心化、信息难以篡改、共同维护公共账本等特点契合了目前供应链出现问题的解决方式,成为解决供应链现存问题的新方式。但区块链技术的高容量占用问题是区块链与供应链管理结合的主要挑战,因此设计并实现一个面向供应链管理的
终端直通通信(Device to Device,D2D)技术是一种允许一定距离范围内的用户通信设备进行直接通信的新型技术,它能够在一定程度上减轻基站的负荷,并且能够提升频谱的利用率以及系统吞吐量等性能。但同时,D2D通信的应用会给蜂窝网络的用户带来干扰,这样的干扰会影响到整体通信系统的性能。所以如何降低D2D通信系统中的干扰,优化系统的性能一直是研究的热点。鉴于此,本文致力于研究终端直通通信系统的