制程变异影响下卷积神经网络加速器的优化设计研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:mygd520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从软件角度而言,用户不断增长的需求导致应用的计算量近年来急速上升。举例来说,卷积神经网络(convolutional neural network,CNN)是实现图像处理的一种有效方法,巨大的数据处理量是CNN的一个显著特征。而从硬件角度而言,近年来各类高性能计算平台计算能力的飞速进步也使得处理超大规模数据逐渐成为可能。在这场提高硬件计算水平的革命中,有两种手段不容忽视:一种是设计相应的专用集成电路(application specific integrated circuit,ASIC),针对特定计算进行处理器设计能够有效降低硬件复杂度,随之提升整体性能。近年来学术界针对卷积神经网络加速器进行了大量的研究,成为广受青睐的高效CNN计算平台。此类加速器通常使用大量处理器核心,提高处理器并行计算能力,同时增强数据重用,减少访存,以此提高计算效率。另一种便降低半导体工艺制程。工艺制程的降低使得计算机硬件在计算性能得到提升的同时,能耗和发热量等问题也得到有效控制,但制造难度的加大也引起了一系列其他挑战,制程变异效应便是其中之一。制程变异效应引发芯片内部晶体管物理参数的差异,进而导致芯片各部件延迟的不同,造成时序错误问题(timing error)。CNN加速器由于采用了大量的处理单元(processing element,PE),这将更大程度地受到制程变异效应的影响。高效的CNN计算要求众多处理单元具备一致的运行速度,因此,CNN加速器的整体运行速度将受到状态最差的处理单元的限制,造成大量计算性能的浪费。本文着眼于上述两种手段综合情景下产生的问题,即制程变异效应对以Google Tensor Processing Unit(TPU)为代表的基于脉冲阵列技术的CNN加速器上产生的性能限制。首先通过建模,对这一性能受限问题的严重性进行了定量分析,随后通过结合CNN及CNN加速器的部分特性,从多角度分别提出一系列有效的解决方案:1.从处理器核心使用率的角度,提出一种子阵列重构技术。该技术利用CNN加速器在处理小规模卷积层时核心存在冗余的特性,通过选择性能状态较好的计算单元重新组成计算矩阵的方式,提升加速器整体运行频率。2.从CNN计算特性角度,提出一种权重转移技术。该技术利用图像的像素相似性和CNN自身容错性,通过将权重转移到相邻位置的方式,将原本性能状态较差处理单元的任务分配给其他处理单元,并禁止其参与计算,进而提升加速器处理速度。3.从CNN模型特性角度,提出一种基于敏感度分析的权重分配技术。该技术考察了CNN模型中各个权重的变化对计算结果影响的严重程度,令权重转移技术仅在不敏感的权重上得以执行,进一步大幅降低权重转移技术对CNN计算结果的影响。此外,本文还针对所提出的设计,对Google TPU进行的相应的结构设计修改,使文中技术可以在CNN加速器上得到实际执行。本文选取Le Net-5、Cifar-10 CNN、VGG-16以及Res Net-50四种不同规模的常见CNN模型,并在以Google TPU为原型的基于脉冲阵列技术的CNN加速器上完成所提技术的一系列模拟仿真,从性能提升和识别准确率损失两方面对技术进行评估。结果显示子阵列重构技术+权重转移技术可在低于1%的精度损失前提下实现2.3x-3.3x速度提升,在低于10%识别准确率损失的条件下实现2.7x-3.6x性能提升。基于权重敏感度的分配技术在同等加速效果下可降低权重转移技术带来的34%-100%精度损失,于大规模CNN模型中,在约6.5%识别准确率损失的条件下达到2.7x-2.8x性能提升。
其他文献
龙江剧是在周恩来总理“东北要有自己的地方戏”的倡导下诞生的,是黑龙江省唯一的戏曲剧种。它是以母体二人转为基础,借鉴其他剧种优长发展起来的有浓郁地方特色的戏曲形式,凝聚着黑土文化的精华,承载着弘扬黑土文化的使命。龙江剧诞生之初主要是为了解决黑龙江省没有地方戏曲剧种的问题,但是它的创建满足了人民对传统舞台艺术的期待,也适应了时代发展的要求。近年来,已有多部剧目获得戏曲届顶级奖项,成为了东北地区最有代表
BOT总承包模式项目参与方较为复杂、各参与方的风险偏好存在差异,有必要研究BOT总承包模式下高速公路参与方的风险分担,从而提高高速公路建设管理、保证项目建设保质保量完成,实现项目参与各方利益最大化。为了更好的探讨BOT总承包模式下高速公路参与方的风险分担,本文在研读已有参考文献的基础上,对BOT总承包这种新兴模式进行界定,并分析了模式的特点。在此基础上,利用WBS-RBS方法,从工作分解结构与风险
随着体验经济时代的到来,感官交互的重要性日益体现,手感体验作为一种集合了感官、情感及交互体验的综合性体验,可以有效激发产品的感性价值。产品表皮纹理是交互过程中人体获得物体表面微观信息的关键因素,与手感体验关系密切。本研究期望从表皮纹理的角度切入,为产品的手感体验提升开拓一条创新之路。本文首先对手感体验进行了文献研究综述,结合产品触觉体验研究,总结手感体验发生过程;并且基于对手感文化调研以及对传统手
“还行”在日常交际互动中经常出现,使用频率非常高。但是,学界对“还行”的研究尚未深入,现有研究成果较少。尤其是从互动语言学视角下对“还行”的研究不够充分,从互动语言学视角出发,将“还行”与对外汉语教学方面的结合研究较为缺乏。因此,笔者选择“还行”作为研究对象,从互动语言学的角度出发,对“还行”的会话功能进行分析研究,同时,结合“还行”在汉语课堂上的实际教学情况进行分析,并根据分析结果提出教学建议。
电视剧歌曲作为声乐作品的一部分,不同于一般歌曲,其通常与电视剧相伴而生,无论从词曲的创作方面还是从演唱要素的把握方面,都需要与电视剧整体做到协调统一。随着社会的不断发展和电视剧文化的进步,经过越来越多优秀词作家的创作,电视剧歌曲也呈现出愈发繁荣之景象,为大众所熟知。赵季平作为音乐领域当中里程碑式的人物,在电视剧歌曲创作中的作品数量之多、质量之精是为众人所有目共睹的,其创作风格自成一派且在取材方面灵
钢琴不仅是独奏乐器,它在重奏中也担任了重要角色,有钢琴参加的室内乐也称作钢琴室内乐。钢琴室内乐是钢琴与其他乐器合奏的一种音乐形式,在演奏中形成一个由不同音色组成的立体空间,音响效果更加丰富。钢琴室内乐的创作及研究虽然相对较少,但从整个钢琴发展的历史来看,它还是具有一定重要地位的。因此,笔者从钢琴室内乐研究的角度出发,针对钢琴在室内乐演奏中的重要性及其合作问题进行深入探究。本文主要以肖斯塔科维奇的《
互联网的迅速发展,使得微博、Facebook等为代表的自媒体逐渐流行起来,成为用户抒发情感和表达个人观点的热门社交平台。这使得大量包含情感倾向的文本在网络中不断积累,分析这些文本背后隐藏的情感信息,可以掌握人们对热点话题的情感变化,为相关部门在监控舆情时提供参考。在自然语言处理中,文本情感分析是重要分支之一。它是指利用文本挖掘等技术,从含有情感信息的文本中提取态度、观点等信息进行分析。传统的情感分
空调处于故障状态下运行会导致大量的电能消耗。空气处理机组(AHU)是空调系统的重要一部分,同时也是最容易发生故障的一部分。因此,准确高效的对空气处理机组故障进行检测和诊断极为重要。基于数据驱动的故障检测和诊断技术在识别各种空气处理机组故障时已经展现了良好的效果。目前大部分数据驱动的故障检测和诊断方法是采用有监督的机器学习技术,该技术假设有足够数量的故障训练数据样本。然而,在现实中场景中,带标注的故
《d小调钢琴协奏曲BWV1052》是由巴赫在莱比锡时期创作的《d小调大键琴协奏曲BWV1052》改编而来。全曲模仿意大利风格的独奏协奏曲样式进行创作,采用“快-慢-快”三乐章结构。巴赫在这首作品的华彩乐段中运用了即兴的创作手法,使旋律更加华丽、优雅。虽然这首作品不是巴赫最有代表性的键盘作品,但却是其在莱比锡时期创作的键盘协奏曲中最受欢迎的一首。本文对巴洛克时期音乐的历史发展脉络进行回顾、梳理,着重
目的:观察艾灸神阙穴干预改善运动性疲劳大鼠心肌结构和功能的疗效,以期为临床提供一种疗效明确、简便易行的物理疗法。方法:将符合条件的60只SPF级雄性SD大鼠随机分为空白组、对照组、模型组、非经非穴组、足三里组和神阙组,每组10只。采用7周跑台实验建立运动性心肌重构模型。非经非穴组、足三里组、神阙组大鼠分别于每次运动后即刻分别温和灸非经非穴点、足三里穴、神阙穴,15min/次,共37次。测量运动前及