基于反向传播的深度脉冲神经网络训练算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:WPF0731
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
与传统的人工神经网络(Artificial Neural Network,ANN)采用连续的实数值进行信息传递不同,脉冲神经网络(Spike Neural Network,SNN)采用类似于大脑神经元产生动作电位的离散脉冲事件进行信息传递,因而具有更接近于大脑的信息处理能力。SNN通过脉冲事件驱动的通信实现神经元和突触计算,其与事件传感器相结合,有望突破深度人工神经网络所面临的能源和吞吐量瓶颈,实现低功耗、低延迟和高精度的目标识别。但由于脉冲函数无法求导数,误差反向传播算法难以直接应用于SNN训练,阻碍了SNN的发展。为此,本文从神经元模型、网络结构、算法优化等几方面进行研究,提出了一种新的基于脉冲频率与输入电流关系(Spike Rate Input Current,SRIC)的SNN训练算法,进一步提高了SNN在图像识别方面的性能,并显著提高了学习效率,具体包括:(1)提出SRIC训练算法。针对目前SNN仍然面临无法直接训练难题,受到神经科学领域关于LIF(Leaky Integrate-and-Fire)神经元响应机制研究启发,本文提出了一种新的基于频率编码的SNN训练算法。通过仿真实验对LIF神经元发放脉冲频率进行建模,得到LIF神经元脉冲频率与输入电流之间显示表达关系,并将其导数作为梯度。解决了SNN训练过程中脉冲函数的不可微性问题,使得可利用BP算法对SNN进行训练。其次,采用LIF神经元响应机制的参数更新机制。现有基于频率编码的方法大多采用时间信用分配(Temporal Credit Assignment)机制进行参数更新,通常具有较差的学习效率,为此,本文采用LIF神经元响应机制更新网络参数,提高学习效率。(2)针对本文提出的SRIC算法进一步改进,提高SRIC算法在深层网络上的识别精度与SRIC算法的抗噪性。针对训练深层SNN时脉冲发放速率变得极低,从而导致识别精度较差的问题,提出对SRIC算法的脉冲输入标准化。具体来说,在网络训练时的每一时间步,对卷积后的脉冲输入进行标准化,从而完成在时间和空间两个维度上的标准化,使脉冲的发放频率保持稳定,进而提高SRIC算法在深层网络的识别精度。其次,将侧向作用机制引入到SRIC的网络结构中,通过引入一个可训练的核,使得膜电位的更新受到该神经元的邻近神经元影响,进而提高了SRIC网络的抗噪性。仿真实验结果表明,本文所提出的SRIC算法在静态数据集和动态数据集的识别精度均有不同程度的提升,在训练效率上,相较于采用时间信用分配机制更新参数的其他SNN算法有着较大提升。其次,通过增加脉冲输入标准化与侧向作用,使得SRIC算法进一步提高了在深层网络训练的识别精度以及算法的抗噪性能。
其他文献
在市政道路设计中积极引入BIM技术,保证设计更加完善,能够做到全过程设计、动态化管理,以提高设计水平,各项资源高效利用。本论文着重于研究BIM技术在市政道路设计中的应用。
经济全球化不可避免的对大学生的世界观、人生观、价值观以及意识形态的形成产生巨大的冲击,高校思想政治教育作为高校德育的重要组成部分,要主动应对全球化的变化与挑战,不断丰富高校德育工作的内容,积极创新高校德育工作的新机制,更好地为培养具有全方面综合竞争能力的高素质人才而努力,是新时代高校需要面对的一个重要课题,同时也是提升高校综合竞争力的重要体现。
期刊
试验旨在研究姜黄素对断奶仔猪肠道屏障功能、抗氧化能力和线粒体功能的影响。选取28日龄断奶的杜大长仔猪60头,按胎次、体重相近和公母各半分成2组,每组3个重复,每个重复10头。对照组饲喂基础饲粮,试验组饲喂基础饲粮+200 mg/kg姜黄素,试验期14 d。结果表明:与对照组相比,饲粮中添加姜黄素使断奶仔猪日增重提高6.10%(P<0.05),耗料增重比降低4.35%(P>0.05);十二指肠、空肠
<正>随着我国综合国力的提升,教育水平与教育需求也在不断提出新要求,越来越多的家庭更注重幼儿的培养。幼儿教育是基础教育阶段十分重要的环节,这个阶段是培养幼儿性格特征、兴趣爱好的重要时期,因此我们更应注重幼儿阶段的教育。幼儿园是幼儿教育的重要场所,开展幼儿园体育教学游戏化活动更是为幼儿教育、幼儿园未来发展指明了方向。
期刊
本文设计了一款2-18GHz的超宽带45°斜极化天线,由双锥天线和五层极化栅组成,通过对双锥天线结构尾端加一段卷边结构,减小传统双锥天线末端结构突变的影响,进而有效的展宽天线的带宽,通过用微波网络综合方法来设计研究斜极化栅,该水平全向超宽带斜极化天线在2-18GHz频带内VSWR<2.5,Gain Theta和Gain Phi差值不超过3d B,具有良好的斜极化性能,可以满足对于电子对抗等应用场景
<正> 流行病学近年来,西方国家(包括日本)风湿热和风湿性心脏病的发病率明显下降,在斯堪的那维亚国家,风湿热的发病率近一百年来由十万人中每年200例下降到11例;在美国康涅狄格州,由1934~1938年每十万人中12.3例下降至1968~1972年的2.9例。在纳希维尔自1964年的14.9例下降至1969年的6.4例。在巴尔的摩,年龄5~19岁组中由1935年的十万人中40例下降至1960~19
期刊
地理核心素养是地理学科育人价值的集中体现,高考地理试题主要围绕四大地理核心素养对学生进行考查。文章从试题特征、命题方向、典型试题等方面对2016—2020年高考全国文综卷Ⅱ地理试题的核心素养考查功能进行分析,并据此总结出4点教学启示。