基于深度学习的高清图像目标检测算法FPGA实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:skywing_wing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测是计算机视觉中的热门方向,随着科技的发展突破,高性能图像采集设备和高清摄像头的普及应用,降低了用户获取包含丰富信息的高清图像的门槛,也带来了更高的计算成本。深度学习相较于传统检测方法,削减大量冗余计算,同时不断涌现更新的优质神经网络提升了对高清图像的检测精度。高清图像以包含大量细节的优势在医疗诊断、无人机侦察、机载舰载等民用、军用领域扮演着重要角色,在某些环境苛刻的场合对设备功耗和体积有着特殊限制,需要用到嵌入式设备完成低功耗、高性能的检测任务。而嵌入式平台中FPGA以低成本、低功耗和可重构等特点具有较高性价比,本文选用FPGA平台并面向高清图像完成目标检测算法的部署任务,主要研究工作如下:1.依据设计要求,以软硬件协同设计思想为指导,在异构嵌入式平台ZYNQ-7100资源约束下,制定了总体研究方案和设计思路,通过分析设计要点完成系统整体架构设计和可配置层级硬件加速器结构设计。2.针对高清图像分辨率高、对小目标识别定位困难的特点,通过原理分析和实验评估选取了网络尺度可伸缩的深度学习检测算法类型作为部署对象,相比传统的基于图像分割的检测算法和其他深度学习检测算法类型,能够适应不同尺度的输入图像,进而可以有效提高对小目标的检测效果,并减小计算量。在完成检测算法基础框架选择的基础上,针对高清图像特点对算法进行了适应性改进,结合算法原理和嵌入式架构特点完成了软硬件设计任务分配。3.完成了算法中核心组件CBL(conv bn leakyrelu)的硬件加速器设计,合并了卷积层和BN层减少网络推理计算量,在硬件资源限制下设计了分区计算,并结合一定硬件优化方法如空间并行和时间流水等,缩短计算时延,完成了PL端CBL加速IP核的设计验证和封装调用,通过DMA调用实现片内外的数据交互,在PS端面向大型网络部署进行了内存复用和控制调度设计。4.在嵌入式平台ZYNQ-7100上完成了所部署检测算法的功能验证和性能评估,在功能方面,忽略不同平台对浮点数表示上的细微差别,通过硬件实现的算法检测结果同PC机保持一致,保证功能正确性。在性能方面,提升对小物体检测效果减小错检漏检,硬件加速器在低功耗5.474W下工作的峰值计算性能为38.534GOP/s,平均计算性能为24.448 GOP/s,相比图像分割算法在检测精度和计算推理性能上更具优势。
其他文献
海洋监视卫星是指用于探测和监视海上舰船、潜艇等目标活动的侦察卫星,其中基于光学遥感成像的海洋监视卫星已经广泛应用于军事侦察、战略预警等领域。随着航天遥感技术的快速发展,遥感成像的幅宽和帧率不断提高,导致图像数据量激增,从而给数据传输带宽和星上存储带来了巨大压力,因此遥感图像压缩成为一种减少数据量,缓解传输带宽和存储压力的必要手段。目前普遍采用有损压缩方式对遥感图像进行高倍率压缩编码,该方法虽然在较
在航天领域,多余物对于运载火箭、导弹的发射会产生极大危害,甚至会引起发射失败,造成严重的经济损失,影响一个国家航天技术水平的发展,因此近年来在航天运载领域对多余物的重视程度越来越高。基于目前多余物的极大危害以及传统清理方式的不足,因此研制具备良好清理效果且能够自动清理的多余物清理系统具有十分重要的实际意义。本课题针对火箭贮箱内部环筋等复杂结构的多余物,提出微激振多余物清理方法,在作用机理、核心部件
非球面光学元件是高功率固体激光装置终端光学组件的关键器件。在强激光辐照下光学元件表面容易产生微缺陷,且缺陷尺寸随着辐照次数呈指数增加。缺陷一旦产生将会加剧光学元件损伤过程,同时还会引起下游元件的损伤,因此需及时进行修复。由于缺陷点数量较多且尺寸微小,通过人工操作进行检测和修复的效率低下且容易出错。因而,实现元件表面微缺陷检测及修复的全流程自动化具有重要的意义。为此,本课题在CO2单点修复机床中试样
半球谐振陀螺仪(Hemispherical Resonator Gyro,简称HRG)是目前世界上最具发展潜力的新型高精度陀螺仪,其以结构简单、高精度、高可靠性、长寿命以及断电后能继续工作15分钟等优势在航空航天、军事国防、航海勘探等诸多领域具有广阔的发展前景。半球谐振子是半球谐振陀螺仪的核心零部件,半球谐振子的振动状态和能量损耗对谐振陀螺的工作性能具有决定性影响。本文主要基于多物理场耦合仿真软件
负泊松比网格材料与正泊松比材料相比具有更好的吸能性能和抗冲击能力,使其在航空航天、车辆、空投包装等的防撞结构中作为吸能材料具有广泛的应用前景。尤其是负泊松比结构的拉胀效应使得其吸收能量的能力得到了显著的提升,这对于轻质防护材料的研究方面极具研究价值。因此,对负泊松比网格材料的动态吸能性能进行研究具有重要的意义。适当尺寸参数的箭头型网格结构具有明显的负泊松比效应和很好的吸能性能,为了能够建立其力学性
CVD金刚石砂轮作为一种新型磨削工具,具有无结合剂、粒密度高以及耐磨性好的优点。但因砂轮表面容屑空间狭小,磨削时易造成砂轮堵塞,常常采用激光结构化的方法来增大砂轮表面的容屑空间。而激光加工过程中产生的热效应会导致部分已去除的材料通过固化或者凝华后重凝在加工区周围,形成后期难以去除的重凝层,使得加工的微结构边缘不规则,阻挡后续的激光脉冲,降低了激光加工的效率和精度。为解决以上问题,本课题研究了CVD
电流辅助微成形由于其高效,环保的特点,在微成形领域有着很大的应用空间。电流流过金属材料时,产生大量的焦耳热会使材料的力学性能发生改变,因此其作为一种新型热加工工艺受到了科研人员广泛的关注。由于金属材料在电流激励下发生塑性变形时会产生与常规热加工不同的变形行为,为了更系统的了解电流下材料的变形规律,进行基础实验及模拟预测是十分有必要的。本课题将在宏观和介观两种尺度对电流的电热耦合效应进行模拟仿真,同
结构的模态参数作为结构动力分析的基础,其在结构设计验证、损伤识别和安全评定等方面有着重要应用,结构模态参数识别一直是结构健康监测领域的研究热点之一。目前的模态参数识别方法中,随机子空间法因其诸多优点在实际工程中得到广泛应用,但是该方法在参数识别过程中需要大量的人工参与,不仅使得识别结果可能存在主观性和差异性,而且费时费力,不利于实现实时在线的结构损伤识别和安全评估。针对该问题,本论文提出并研究了一
水泥作为世界范围内使用量排首位的胶凝材料,由于其生产过程中原材料的不可再生和高能耗特点,寻找水泥的替代材料是当下亟待解决的问题。目前使用最广泛的方法是用工业废渣作为矿物掺合料替代水泥,粉煤灰是一个经典的例子。镍渣是冶炼红土镍矿生产金属镍或镍铁合金过程中的固体废弃物,生产1t镍约产生10t镍渣,历年产生的镍渣大部分处于露天堆积状态,不仅占用土地,还有可能因重金属浸出对生态环境产生污染。考虑到工业废弃
大型土木工程基础设施在助力社会经济发展和提高人民生活水平的同时,其结构的安全性无时无刻不遭受着各种因素的威胁,结构一旦失效往往会对社会造成灾难性的后果。因此,能够及时地识别出结构早期损伤的位置与损伤程度具有重要的意义。随着人工智能的发展以及大数据时代的来临,结构损伤识别也逐步向着智能化迈进。由于实际结构健康监测系统测试信息不完备,传统动力反演方程的求解存在不适定问题,本文研究基于强化学习的结构损伤