基于FPGA的多卷积神经网络任务实时切换系统的设计与实现

来源 :天津大学 | 被引量 : 0次 | 上传用户:armodmli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以控制架构为主的中央处理器(Central Processing Unit,CPU)无法深层次优化卷积神经网络的计算,在速度和功耗方面难以满足应用的要求。而计算密集的现场可编程门阵列(Field Programmable Gate Array,FPGA)适合并行计算的开发,并且具有可配置、开发周期短、成本低等特点,所以成为了部署卷积神经网络的热门平台。但卷积神经网络模型庞大、计算复杂,且FPGA的资源有限,因此在FPGA中如何实现多个卷积神经网络任务的实时计算仍具有挑战性。针对上述问题,本文展开了多卷积神经网络任务计算的研究,并基于FPGA设计了一种多卷积神经网络任务切换架构。采用“任务序列+控制模块”的方式控制整个系统根据卷积神经网络任务的优先级进行计算和切换,以提升系统的实时性和灵活度。针对卷积神经网络的层级计算特点,提出了普通的层级切换机制和实时的层级切换机制。当系统中计算的任务需要切换时,将任务的切换点选择在两个相近的隐藏层之间,以降低系统的复杂度和实现多任务切换的难度。在部署卷积神经网络的过程中,将卷积神经网络的计算划分成可配置的基本计算单元,并通过复用计算单元的方式来减少FPGA资源的开销。在实现卷积层的计算时,采用卷积窗口内部并行计算的结构来提升任务的计算速度。将手写数字识别网络部署在FPGA上进行验证,实验结果表明:在50 MHz的工作频率下,当存在3个不同优先级的手写数字识别任务时,实时的层级切换机制最快可使最高优先级的任务提前57.26 ms被响应,普通的层级切换机制也可提升系统对高优先级任务的响应速度;可配置设计减少了(除BRAM外)50%以上的计算资源开销;针对单张图片的识别,FPGA的平均计算速度是CPU的4.51倍,功耗仅为CPU的40.25%。
其他文献
DNA结合蛋白在细胞生命活动中起着至关重要的作用,仅根据蛋白质序列信息完成DNA结合蛋白的鉴定和功能注释是目前生物信息学研究中的主要挑战之一。传统的机器学习方法只能预测较小规模的数据,基于深度学习的预测方法虽然在大数据集上取得了显著的预测结果,但是并不能找出DNA结合蛋白的功能域。在本文中,提出了一种基于自注意力机制的深度学习模型能够完成DNA结合蛋白的鉴定和功能注释。一条蛋白质序列经过编码层、嵌
助听器是医学界广泛认可的听障患者听力干预和康复的有效手段之一。目前助听器的听力改善效果并不理想,其中一个主要原因是置身于复杂多样的声音环境通常会使得助听器的性能出现很大的偏差,为了解决此问题需要对音频环境进行可靠的检测,为助听器根据不同场景进行自动切换提供环境信息。基于此本文提出了一种用于数字助听器的自动声场景分类算法。本文对目前使用的特征提取方法和特征分类方法进行了研究,提出了一种由基于全相位滤
随着自动驾驶、军事等领域对高速、高精度传感器需求的进一步提高,传统逐帧扫描图像传感器时间误差大、数据冗余等一系列缺点逐渐暴露出来。随后人们提出仿生图像传感器的概念,并且脉冲型仿生图像传感器与传统逐帧扫描图像传感器相比,具有冗余数据少、时间精度高和功耗低等优势,可应用于动态检测和高速目标追踪等领域。然而,随着传感器阵列增大和场景复杂度提升,脉冲型仿生图像传感器的输出时间误差和光强量化误差开始增大,并
随着CMOS图像传感器(CMOS Image Sensor,CIS)技术的不断发展,CIS如今已被广泛应用于各种成像领域。但典型的滚筒快门CIS在拍摄高速运动的物体时存在固有的图像失真问题,而这种问题在全局快门CIS中得到了很好的解决。因此,全局快门CIS在机器视觉、工业测量等领域具有极其重要的应用价值。但随着全局快门CIS中像素阵列的不断扩大,其设计复杂度也逐渐增加,从而导致了一系列非理想效应。
近年来,深度学习凭借其特有的优势,在计算机视觉等多个领域被广泛关注。本文概述了机器学习、深度学习及其相关算法,分析了经典的神经网络模型,并且详细介绍了常见特征提取算法和数据处理技术。本文建立了一种多源深度迁移学习分类模型MS-DTL,该模型在对深度学习算法创新的基础上,充分发挥了迁移学习的优势。为在源域中实现多任务学习的目标,模型MS-DTL采用多源训练策略,通过增加训练数据多样性,来提高预训练模
党的十八大以来,以习近平同志为核心的党中央高度重视教育工作。党中央、国务院不仅出台了一系列深化教育改革、推动教育发展的方针政策,习总书记也发表了一系列关于教育的重要论述,为新时期教育的发展指引了前进方向,提供了根本遵循。2014年5月30日,习总书记参加北京市海淀区民族小学庆祝"六一"国际儿童节活动时发表重要讲话,他要求:"学校要把德育放在更加重要的位置,全面加强校风、师德建设,
期刊
随着机器人技术的普及和发展,机器人的应用场景也在不断扩大。为了适应复杂多变的环境并能自主完成任务,机器人必须具备同步定位与地图构建(SLAM)能力。光束平差法(BA)是SLAM技术中最有效的一种解决方案,但是其庞大计算量带来的高延迟和高功耗的问题制约了其在嵌入式系统中的应用。为解决这一问题,本文在光束平差法的硬件设计上做了先行的探索。本文提出并实现了光束平差法的FPGA加速器。针对光束平差算法中计
风格迁移是计算机视觉中极具创造性的一个领域,随着深度学习重回大众视野,大量的神经网络结构被用于这一领域的探索。虽然优秀的相关算法不断面世,但是距离高效率的,有鲁棒性和泛化性的模型仍然有巨大的提升空间。一是在局部风格迁移过程中,如何平衡图像的语义内容信息和风格特征信息,高效率地获得迁移结果;二是如何在不同层级的特征空间整合有效信息,处理多域的风格迁移问题。针对这两点,本文基于神经网络提出两种改进的风
随着数据采集技术的发展,获取数据的方式越来越多样化,所得到数据通常具有多个视图,从而形成多视图数据。如何高效利用多视图数据所包含的信息进行学习是多视图学习的研究目标。为了更好地利用多视图数据,促进多视图学习在实际中的应用,必须要考虑多变量相关性。针对单视图数据的多变量相关性问题,本文基于单输入单输出的矩阵信息通道,提出了多变量输入的张量信息通道,该通道可以研究多变量如何共享信息,与矩阵信息通道相比
近年来,多智能体系统在许多领域都有广泛应用,比如无人飞行器的协同控制、编队控制和耦合振子同步等;多智能体系统的分布式协调控制已经吸引了越来越多的科研工作者的关注.目前关于多智能体系统分布式协调控制的研究,大多都是假设智能体之间是连续通信的,而对于间歇通信下多智能体系统的研究还相对较少.本文分别研究了间歇通信下一般线性多智能体系统的一致性和鲁棒镇定问题,主要内容和贡献如下:1.分别研究了间歇通信下连