面向深度神经网络的随机计算方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:qq11qq11qq11qq11qq11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以深度神经网络为代表的人工智能技术广泛应用于物体识别、图像分类、自然语言处理和自动驾驶等多个领域,给社会的生产和生活带来了极大改善。然而,受限于深度神经网络模型计算复杂度大、存储需求高的特性,深度神经网络在嵌入式设备部署的过程中遇到了极大的挑战。为了解决嵌入式硬件资源受限与深度神经网络高资源需求之间的矛盾,一种区别于传统二进制计算方法的随机计算(Stochastic Computing)方法受到了越来越多的关注。与二进制计算相比,随机计算具有更小电路面积、更低功耗、更短关键路径以及更强容错能力的优势。然而,由于随机计算概率性、冗余性的特性,计算精度的提高往往带来计算延迟和计算能耗的大幅增加,这与随机计算的初衷是相悖的。针对这一问题,本文研究围绕着深度神经网络中随机计算的电路设计而展开,从随机序列编码优化、高精度计算模块的设计和整体架构优化三个方面,探索随机计算的在神经网络中的应用方法。本文的创造性成果主要有:(1)评估了两种非随机性序列编码方式对随机计算精度的影响,并选择了合适的编码组合方式应用于内积运算模块中。实验结果显示,相比于LFSR编码的随机序列,采用非随机性编码的随机序列可以提高随机计算的计算精度。(2)提出了一种高精度的多输入随机近似加法器(SPC),实验结果显示,SPC计算精度优于目前使用的近似并行累加器(Ax PC)。与序列编码优化方法相结合后,基于SPC的内积运算模块计算性能得到了较大提升。(3)设计了两种随机特征提取块架构,实验评估了两种架构在MNIST数据集上的推理精度。实验结果显示,在随机序列长度为128比特时,混合随机架构的整体推理精度下降仅为0.58%。相比于CPU,基于随机计算的Le Net-5模型推理过程,其功耗降低了50倍,吞吐率提高了297倍,能量效率达到63620 Images/J。
其他文献
对公共债与经济增长二者之间关系的探讨由来已久,但二者的关系如何目前仍未有一个定论。近几十年来,主权债务危机的爆发可谓是层出不穷,像是1998年的俄罗斯债务危机、2009年
学位
批判性思维能够开拓思维、提高创新能力、提升素养,对现代社会具有重要意义。我国对批判性思维的研究相对滞后,对批判性思维的测量研究,也主要是停留在翻译国外的测量量表。本研究通过查阅文献、问卷调查、访谈、数据分析等方法,以高中生为被试对象,针对高中生的地理批判性思维技能,做了以下研究。一是理论研究。梳理国内外对批判性思维的研究,发现主要以批判性思维的概念内涵、现状调查、培养策略为主,而对批判性思维测量的
在人们都更倾向于使用移动互联、智能手机的今天,对于网络信息的态度表达也更加快捷、直接,网络成为大众舆情的主要载体,网络舆情应运而生。然而任何事物都有两面性,网络伪舆
电力是现代工业文明的标志,电力规划是能源规划和建设的核心。城市是我国能源供需政策制定的基本单位,科学规划城市电力,需要对城市电力消费量(Electric Power Consumption,E
随着电子信息技术快速发展,人们对集成电路微型化、信息传输效率和信息处理速度都有了很高的要求。但是受电子自身的影响,半导体器件在微型化的过程中,性能上出现了一定的局限,致使能量损耗过大,信息传输过慢。为了寻求突破,光信息技术的研究进入了人类的视野。光子晶体作为一种新型的光学材料,在制成光学器件时,具有高集成、低功耗和高精度等优点。本文以二维光子晶体微腔为研究对象,用平面波展开法和时域有限差分法分析光
为满足深空探测任务的要求,实现地球与宇宙行星间的可靠通信,一种被证实可以有效克服太空或受限通信环境的网络架构时延/中断容忍网络(Delay/Disruption-Tolerant Network,DTN)应运而生。本文旨在研究 DTN 网络中专为链路断续和长延迟而设计的 Licklider 传输协议(Licklider Transmission Protocol,LTP),做了如下研究工作:第一,
芒硝基相变储能材料吸、放热恒温,相变温度范围宽,储能密度大,利用固-液相可逆变化实现能量循环存储与释放,能源利用率高,不仅成本低,而且绿色环保。目前国际形势能源紧张,在这样的大环境下,芒硝基相变储能材料可循环储能,可实现能源利用最大化,具有较高的应用价值和广阔的市场空间。实验探究了几种粘稠剂、成核剂的添加量对3种相变温度芒硝基相变储能材料性能影响,最终分别筛选速溶高粘羧甲基纤维素钠(CMC-Na)
年轮体现树木的生长量,在春夏降雨量大、光照时间长时,树木生长量较大,形成早材,在秋冬温度较低、降水匮乏时,树木生长量较小,形成晚材。通过研究树木年轮可以提取树木生长环境的气候变化情况和规律,传统的树木年轮研究方法需要取得树木圆盘或者使用生长锥钻取木芯,对树木本身伤害极大,并且研究的效率较为低下。树木年轮研究对于高效、精确的获取树木年轮信息的需求越来越大。本文设计的树木年轮针刺测量系统,可以实现准确
冷弯薄壁型钢组合墙体是冷弯薄壁型钢结构住宅主要的受力构件。组合墙体既承受竖向荷载,又承受水平荷载,其中竖向荷载主要通过组合墙体内龙骨柱进行传递。采用新型截面龙骨可