基于FPGA的SSD神经网络加速

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:Helilujah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的快速发展,基于卷积神经网络的目标检测算法在目标检测领域取得突破性进展,并成为近些年最热门的研究方向之一,被广泛应用于自动驾驶、视频监控、医学影像、雷达探测等领域。经典的基于卷积神经网络的目标检测算法有SSD、YOLOv3等算法,这些算法在带来高性能的目标检测效果的同时,也带来了巨大的参数量和计算量,因此当前主要通过GPU等高算力平台进行实现。但是GPU存在功耗高、体积大等缺点,难以应用于移动端设备中。而现有的移动端设备常采用ARM这类通用处理器,对SSD算法这种计算密集的算法,运行效率低,难以达到实时性的要求。针对这一问题,本文针对SSD算法,提出了一套基于FPGA的算法优化方案,并设计一款基于FPGA的神经网络加速器,最后将优化后的SSD算法使用加速器进行实现。本文的主要工作如下:(1)在不增加额外的参数量和计算量的情况下,为了提高SSD算法的检测精度,本文使用Rep VGG块替换SSD算法主干网络VGG16的部分3×3卷积层,并在部署时通过结构重参数化方法将Rep VGG块的多分支结构融合成一个3×3卷积层。改进后的SSD算法相比原SSD算法,在本文所使用的数据集上m AP提高了0.78%。为了区别原有的SSD算法,本文将改进后的算法重命名为Rep-SSD算法。(2)在工作一的基础上,针对Rep-SSD算法参数量大、计算复杂度高问题,本文使用参数稀疏化训练方法筛选出Rep-SSD算法中冗余的通道,并使用模型裁剪方法对Rep-SSD算法进行裁剪。经过裁剪,模型参数由97.54MB变为35.42MB,推理速度由145fps变为204fps。然后,使用结构重参数化方法对Rep-SSD算法中的Rep VGG块进行融合,融合后模型参数由35.42MB变为19.63MB,推理速度由204fps变为250fps。最后,使用8位宽逐层对称量化方案对Rep-SSD算法进行量化,量化后,模型参数由19.63MB变为5.12MB。(3)在工作二的基础上,为了便于FPGA加速,本文在算法量化时,对相邻卷积层之间的反量化层、Re LU激活层和量化层进行调整,将Re LU激活层调整到量化层之后,将反量化层和量化层融合成一个重新量化层。通过调整,可以降低Rep-SSD算法在量化层和反量化层的计算量,提升计算速度。(4)在工作三的基础上,本文使用软硬件协同设计思想对Rep-SSD算法进行加速,针对Rep-SSD算法中的卷积层和池化层采用加速器进行加速,对算法的检测部分采用CPU进行计算,加速器和CPU之间采用网口通信。(5)本文加速器设计中,对Rep-SSD算法的每个网络层设计一条指令,指令中包含该层的结构信息、数据存储信息和网络层的量化信息,可通过配置不同的指令控制加速器执行算法不同的网络层。此外,指令设计使加速器具有较强的通用性,可通过更改指令,将不同的算法部署在加速器上。加速器的核心采用3种加速阵列,分别为尺寸为16×16的3×3卷积单元阵列、尺寸为18×18的1×1卷积单元阵列、尺寸为1×9的池化单元阵列,可以加速3×3卷积层、1×1卷积层和池化层,且这些阵列可以通过分时复用的方式来适用更大规模的网络结构。(6)在加速器设计时,为了更加有效的利用3×3卷积单元阵列,本文将尺寸为16×16的3×3卷积单元阵列划成2个尺寸为8×16的3×3卷积单元阵列,加速器可以根据3×3卷积层的步长灵活地对这2个阵列进行组合。
其他文献
遥感目标检测技术旨在对遥感图像的目标实现定位和识别,在民用和军事等领域发挥着重要的作用。然而,实际场景下的遥感目标检测面临着诸多问题和挑战。比如,如何解决由于样本标记工作专业性强、成本高导致的标记样本缺失的问题;如何有效挖掘遥感图像中复杂场景下的目标特征,在不影响检测效率的情况下提高检测精度;如何更高效地训练检测器,让特征层提取出的特征更好地发挥作用。针对上述问题,本文深入分析了人脑高效认知目标的
学位
[目的]分析慢性鼻窦炎患者的变应原谱、血清总IgE和血清特异性IgE的特点,探讨变态反应在慢性鼻窦炎中的作用机制。[方法]收集2016年7月-2018年10月期间收入本院耳鼻咽喉头颈外科的变应原检测阳性的慢性鼻窦炎患者160例,根据《慢性鼻-鼻窦炎诊断和治疗指南(2012)》分为79例慢性鼻窦炎伴鼻息肉组(CRSwNP组)和81例慢性鼻窦炎不伴鼻息肉组(CRSsNP组),同期91例变应原检测阳性的
学位
高光谱图像相比于自然图像具有更加丰富的空间信息和光谱信息,能够用于对地物目标进行更准确的识别,近年来得到了越来越广泛的研究和应用。高光谱图像数据丰富,但是标记样本难以获取,因而应用更少的标记样本得到更高的分类精度是重要的研究方向。随着深度学习技术的发展,许多基于神经网络的高光谱图像分类方法取得了很好的分类效果。但是这些分类方法大多从邻域块内提取特征信息,忽视了地物目标在空间上更大区域内的匀质性。图
学位
随着高光谱遥感成像技术的不断发展,高光谱图像在现实世界中的应用已经成为遥感领域中的重点研究方向并受到越来越多学者们的关注。区别于自然图像和多光谱图像,高光谱图像具有更多的光谱波段和更多的光谱信息,便于研究者对地物目标进行更好的分类。深度学习方法可以有效提取高光谱数据中的光谱-空间信息,已经在高光谱图像分类任务中取得了很好的效果。但是,现实世界中的高光谱数据集往往是开放集,即由于时间成本和人力成本等
学位
视觉目标跟踪是计算机视觉中一个基础而又具有挑战性的研究课题,应用场景越来越广泛,主要包括视频监控、人机交互、自动驾驶以及军事制导等。视觉目标跟踪的主要任务是,给定视频第一帧图像中待跟踪目标的位置,通过跟踪器推断出该目标在后续帧图像中的位置。近年来,越来越多的研究人员致力于基于深度神经网络的视觉目标跟踪研究,跟踪的性能也在不断地被优化,但是由于存在背景相似干扰、目标形变、光照变化、尺度变化、运动模糊
学位
随着虚拟现实、自动驾驶和机器人等智能技术的发展,在相关的定位、建图与导航任务中,视觉SLAM(Simultaneous Localization And Mapping)成为了其理论的核心支持技术。目前大多数落地的视觉SLAM方案,主要由传感器、视觉里程计、后端优化、回环检测和建图几个模块组成,其用于视觉跟踪的视觉里程计模块依赖于手工设计的特征点而非真正的地标,这将导致SLAM系统在光照变换等复杂
学位
目的:宫颈癌是妇科最致命的恶性肿瘤之一,主要由持续的高危型人乳头瘤病毒(high-riskhumanpapillomavirus,HR-HPV)感染引起,近年来宫颈癌的发展趋势逐步趋于年轻化,严重影响着患者的生活质量及身心健康。早已有研究表明,宫颈病变过程需长达10余年的时间,所以治疗和预防宫颈癌的最好方法就是阻断和干预HPV感染,寻找到一种转阴率高、副作用小、复发率低的治疗方法已经成为当前预防宫
学位
遥感技术可以帮助人们更直观地了解世界,研究人员通过遥感技术可以从空中监测地球上的物体,这对资源勘探、地物监测以及海、陆、空导航意义重大。深度学习是一种新的遥感数据信息提取方法,也是处理大规模遥感数据的工具。目前遥感技术与深度学习的结合已经取得了显着的效果,提升了分类任务、语义分割任务、目标检测任务、变化检测任务等诸多问题的精度,在实际的应用落地过程中,已经有很多的成功经验和方向可以借鉴。本文将视觉
学位
当前目标检测作为计算机视觉的基础性任务受到了广泛的关注。伴随着现代计算机计算能力的提升,目标检测的方法也从传统的手工特征输入向采用深度神经网络进行特征提取的方法过渡。同时无人机在各个行业的应用逐步深入,基于无人机的目标检测领域成为了当下研究的一个重要方向。无人机的目标检测系统有其独特应用场景需求,其中主要体现在硬件系统和算法支持两个方面。由于无人机本身的体积重量和能耗的限制,因此对基于无人机的目标
学位
在过去的几十年中,涌现了对目标信息处理的多种多样的信息融合算法,涵盖目标信息处理的各个阶段,包括:空间配准、数据关联、数据滤波、航迹关联、估计融合、和目标识别等。各个算法有各自的优点和缺点,没有一个算法能适应所有任务需求。根据任务需求选择合适的算法不仅能充分发挥算法自身的优势,而且能实现算法的优势互补,提高目标信息处理的性能。在不同的任务场景下该选择哪个算法,即算法的集成调度问题成了现阶段目标信息
学位