基于STDP在线学习的卷积脉冲神经网络的硬件实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:jeffzhangjf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络是目前人工智能领域的一大核心。近年来,神经网络中的深度卷积神经网络(DCNN)具备的功能越来越强大,甚至能够在许多目标识别的任务中超越人的视觉能力,在越来越多的领域得到应用。然而,由于计算量大并且耗时的原因,使用误差反向传播算法进行训练的深度卷积神经网络并不适用于能够适应环境变化的在线学习任务。与DCNN相反,脉冲神经网络(SNN)模拟生物大脑的运作机制,通过脉冲传递信息,计算精度要求更低,计算速度更快,更适用于在线学习领域。除此之外,计算功耗的降低也是SNN相比于DCNN的一大优势,而将软件算法用硬件平台来实现可以显著降低功耗,因此硬件实现是SNN的一个重要研究方向。由于SNN还没有一种公认的核心训练算法,目前很多硬件实现的SNN仅实现了网络的推理功能,而没有实现学习功能。在实现学习功能的硬件方案中,其训练算法之间也存在很大的差异,同时,支持在网络运行过程中实时进行权值更新的在线学习功能的也比较少。基于以上背景,本文实现了一种结合卷积神经网络与脉冲神经网络的卷积脉冲神经网络(CSNN)的硬件加速器,并且采用脉冲时间依赖可塑性(STDP)与强化学习形式的脉冲时间依赖可塑性(RSTDP)两种算法结合训练的形式,支持网络的在线学习功能,FPGA在网络推理的同时进行训练,以适应动态变化的环境。本文采用特殊的输入脉冲格式使得硬件无需存储神经元膜电位,并且采用卷积核阵列与移位寄存器的结构实现卷积并行计算。整个系统由上位机与FPGA组成,前者进行脉冲编码等数据预处理,后者进行实际的网络计算工作。加速器在Xilinx的ZCU102型号的FPGA上实现,最终在MNIST数据集上进行训练后,测试准确率可达95%。同时,本网络支持小样本学习,即在有标签数据数量减少到原训练集的20%时,测试准确率依然可达约95%。在100MHz时钟频率下,处理速度相比于CPU提高了18倍,功耗相比于CPU降低了两个数量级。
其他文献
目的 了解苏州市住院肺炎病例的病原谱和流行动态,为呼吸道传染病的防治提供参考。方法 利用苏州市呼吸道传染病综合监测项目,选取2018年4月—2020年3月期间苏州市264例住院肺炎病例进行11种常见呼吸道病原体RT-PCR检测,描述病原谱和流行动态。结果 264例住院肺炎病例共检出阳性标本134份,阳性率50.8%,其中33份(占24.6%)为混合感染。检出率居前3的病原体为肺炎链球菌(14.0%
目的 :探讨血中鸢尾素水平与肥胖和2型糖尿病(type 2 diabetes mellitus,T2DM)相关指标的关系。方法 :选取79例T2DM患者和非糖尿病对照80例,根据体质指数(body mass index,BMI)进一步分为正常组、肥胖组、T2DM组、T2DM肥胖组。应用全自动生化分析仪、全自动血糖检测仪、全自动糖化血红蛋白检测仪检测各组肥胖和T2DM相关指标,用酶联免疫吸附法检测血
近年来,不断提高的环境保护意识已迫使从事植物油加工业的厂商大大改变它们的废物处置方法。由政府污染控制主管部门颁布的废物处置法律、条例、限制和极限,要求采取严格的措施,以最大限度减少或防止大气污染、废料引起的污染和水污染。为了履行政府的环境保护法规,植物油工业必须尽一切努力开发新技术。 允许处置的油厂废物的质量因国而异。这是影响处置费用以及装置和处理设备的投资费用的一个重要因素。政府、立法机构和植
期刊
“经济新常态”背景下,银行业面临着前所未有的“生存”挑战。国有商业银行的传统模式已无法抵御来自互联网金融以及地方股份制商业银行双重竞争压力与冲击,国有商业银行必须探寻适合自身发展的营销策略。A银行D支行位于省会城市周边郊县,2020年支行零售业务贡献度占比超过65%,其中,中高净值客户贡献度占比近70%,根据“二八定律”,抓住中高净值客户,就抓住了支行发展的根本。作为传统国有商业银行,A银行有较强
目的 探讨细胞周期蛋白A1(CyclinA1)在肝细胞肝癌(HCC)中的表达及意义。方法 应用实时荧光定量PCR(qRT-PCR)和Western blot方法,分别检测新鲜HCC及相应癌旁非瘤组织中CyclinA1 mRNA和蛋白的表达水平;应用组织芯片及免疫组织化学方法,检测HCC及相应癌旁非瘤石蜡包埋组织中CyclinA1蛋白的表达情况。结果 新鲜HCC组织中CyclinA1 mRNA和蛋白
家国情怀是维持中华民族生生不息的基因密码,是实现国家长治久安和繁荣富强的坚实基础。近年来,国家对青少年家国情怀培养的重视程度越来越高。小学阶段是塑造学生的人生观和价值观的重要阶段,也是培养学生家国情怀的黄金时期。语文兼具人文性和工具性,是培养学生语文素养、开展家国情怀教育、促进学生全面发展的主阵地。在小学课程结构中,语文课程是课时量和课时占比最高的课程之一。语文教材是开展教学工作的直接依据,教材内
目的 构建输尿管皮肤造口患者延续护理质量评价指标体系,为评价延续护理质量提供工具。方法 以三维质量结构模式为理论框架,采用文献回顾、半结构式访谈、2轮专家函询及层次分析法,确立输尿管皮肤造口患者延续护理质量评价指标体系及各级指标权重。结果 2轮专家函询问卷有效回收率为95.83%、100%,专家权威系数为0.900、0.909,肯德尔和谐系数为0.161~0.217(均P<0.05)。最终确立输尿
<正>小熊猫Ailurus fulgens隶属食肉目Carnivora小熊猫科Ailuridae,喜马拉雅横断山脉特有珍稀兽类,国家二级重点保护野生动物,被IUCN列为濒危(EN)等级(Glatston et al.,2015),分布于中国、尼泊尔、不丹、锡金、印度和缅甸北部地区(Robert&Gittleman,1984;Giatston,1994;Wei et al.,1999;韩宗先,胡锦矗
期刊
探讨美国印第安纳大学牙医院正畸专业研究生专科培养模式,从教育理念、课程设置、师资结构和能力训练等方面进行分析总结,并对比我国现阶段口腔正畸专业型研究生培养状况,提出我国应在培养目标、授课形式、临床技能训练、职业技能考试等方面进行调整与优化,以适应未来对应用型高素质人才的需求。