面向无人移动平台的语义分割任务硬件加速器设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:genesis
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于交通场景的语义分割技术是实现自动驾驶系统高智能化的关键技术,因为高分辨率表示对于语义分割这种密集预测任务非常重要,而高分辨率带来的缺点就是模型尺寸过大和在车载移动平台运行时耗时较高。而且网络模型的设计和硬件资源无关,因此本课题的研究内容就是设计一个适用于硬件资源受限的轻量化的高分辨率网络,并将硬件延时作为评价标准,以实现硬件感知。研究了语义分割神经网络需要高分辨率和低功耗共存的特点,构建了以通道为搜索单元的细粒度的搜索空间,建立了基于可微神经结构搜索DARTS的渐进收缩策略,引入硬件延时作为评价标准,以实现硬件感知,最终得到的模型在Cityscapes数据集上m Io U的值达到了70.48%。添加了ASPP(Atrous Spatial Pyramid Pooling,空洞卷积池化金字塔)用于融合多尺度特征、DUC(Dense Upsampling Convolution,密集上采样卷积)以增加细节信息,最终优化在Cityscapes数据集上m Io U的值达到72.51%,有2.03%的提升。选择GPU移动平台Jetson Xavier NX进行模型的实现,制作搜索单元在Jetson Xavier NX上的延时查找表,将其作为训练期间的评价标准,生成适用于Jetson Xavier NX的对应模型,将模型进行层间融合、量化等优化后在Jetson Xavier NX实现模型的推理。选择FPGA平台ZNYQ ZCU102上进行模型的推理,首先使用Vitis HLS仿真制作搜索单元在ZCU102上的延时查找表,将其作为训练期间的评价标准,生成适用于ZCU102的模型,对ZCU102进行逻辑电路和深度学习处理单元(Deep learning processing unit,DPU)进行了设计,并利用Vitis AI开发工具进行量化和编译成基于ZCU102的定制化模型,使用执行脚本在ZCU102开发板上进行推理。对比两种平台,Jetson Xavier NX在精度和开发难度上更占优势,ZYNQ ZCU102在检测速度和每张图片的能量消耗上占优势。
其他文献
目的:慢性阻塞性肺疾病(COPD)是一种高度异质性疾病,寻找潜在的生物标志物去识别慢阻肺患者从吸入性糖皮质激素(ICS)治疗中获益的情况是至关重要的。有研究表明,血嗜酸性粒细胞(EOS)可作为ICS治疗效果的预测性生物标志物,然而关于EOS用于预测ICS的治疗反应性仍存在争议,需要进一步验证。因此,本研究采用Meta分析探究血嗜酸性粒细胞计数指导慢性阻塞性肺疾病患者应用吸入性糖皮质激素治疗的临床意
学位
目的:系统评价糖皮质激素的使用对接受免疫检查点抑制剂(ICIs)治疗恶性肿瘤患者疾病控制率(DCR)、客观反应率(ORR)、无进展生存期(PFS)和总生存期(OS)的影响。方法:计算机检索Pub Med、EMbase、Cochrane Library、Web of Science以及中国知网、维普、万方、中国生物医学文献数据库,收集糖皮质激素对恶性肿瘤患者ICIs疗效影响的队列研究和随机对照试验,
学位
人类活动向水中排放的污水导致的水富养化使水中大量繁殖的浮游生物等已经成为严重的水域问题。传统的抑制方法从生物、化学、物理等方面入手,其中物理方法中的超声抑制水中浮游生物的方法具有着反应时间快、无二次污染物产生、操作简单等显著优点而得到关注。然而,超声波对于多生物环境中目标生物外的影响还未全知,并且由于超声抑制浮游生物对于功率的要求,需要低成本、结构简单、方向可控性增加的的除藻系统。传统的此类设备采
学位
航空飞行器在飞行中需要不断校正航向以使飞行器能够按照准确预设的轨道到达目标位置,航向校正通过控制发动机喷管调节产生推力的大小和方向来实现,则需要正确测量喷管的运动参数。过去对喷管的测量常用接触式方法,但这类方法由于伺服作动器的杆件变形及装置间因接触产生交互干扰等原因,导致结果常受到多个无法控制的误差源影响而难以准确测量。因此本文研究利用非接触的单目视觉系统测量喷管运动参数,主要研究内容为:首先,本
学位
超声无损检测是利用不同介质对超声波作用的不同响应来进行探测和测量的技术手段。作为无损检测中应用最广泛的检测技术,超声无损检测已经在许多领域中发挥着重要作用。科技发展的趋势也对超声检测提出了更高要求,在检测工作中需要更高分辨率的超声检测设备。压电超声换能器作为超声无损检测设备中的核心器件,密切影响着超声检测的测量精度。具有更高灵敏度和大带宽的超声换能器是实现高精度超声检测设备的重要因素,这就对超声换
学位
超声在医学中应用广泛,因其无创、非侵入的特点,在医学诊断以及治疗中都有不错的表现。低强度聚焦超声通过聚焦实现毫米精度的非侵入性的治疗,特别是近年来出现的在神经调控中的应用前景广阔。低强度聚焦超声换能器作为低强度聚焦超声治疗系统中的核心部件,换能器的性能极大的决定了利用低强度聚焦超声治疗的效果,想要利用低强度聚焦超声对病灶区域进行精准的治疗,首先要对换能器的性能特别是其声场分布有一定的了解。声匹配层
学位
滚动轴承是旋转机械中一种重要的零部件。据统计,旋转机械故障中有三分之一是由滚动轴承引起的。滚动轴承一旦发生故障,轻则停机检修,影响工作效率,重则造成整个设备的瘫痪。因此,准确判断轴承的运行状态对维护旋转机械的健康具有重大意义。近年来,神经网络被广泛引入故障诊断领域,取得了长足的进展。然而,通常需要精心设计网络结构,获得高准确率的同时增加了网络复杂度。为此,本文研究高准确率且网络复杂度低的轴承故障诊
学位
空间展开臂关节是航天飞行器的重要组成部分,其在完成卫星飞行与回收以及空间站的在线装配调整和维修等任务上起到了很大的作用。大尺寸多关节空间展开机构的空间位置关系比较复杂,并且其最重要的指标是关节末端的指向精度。空间展开机构在进行多自由度姿态调整时,任何一个方向的位移或者角度的微小变化都会引起其他方向位移和角度的变化,进而影响该机构的最终姿态。为了满足航空航天大型空间展开机构的高精度、高效率、微应力的
学位
目的:探讨碘克沙醇不同剂量对中高海拔地区不同年龄PCI术后患者早期肾功能的影响。方法:选择2020年9月至2021年9月期间在我院因诊治冠脉狭窄择期行冠状动脉造影并经皮冠状动脉介入治疗(Pereutaneous coronary intervention,PCI)的患者89例。根据PCI术中使用对比剂的剂量分为A组(<200 mL)和B组(≥200 mL)并收集研究对象的年龄、性别、身高、体重、慢
学位
相较于传统的二维成像,三维成像蕴含着更加丰富的信息,是目前成像技术的重要发展方向之一,在生物医疗、工业检测、纳米材料等领域都有着广泛的应用。基于点扩散函数(Point Spread Function,PSF)工程的成像方法在三维成像方面具有突出的优势,通过对光束的波前相位进行调控,从而按照光学系统的特定需求对点扩散函数进行整形。三维点扩散函数的应用使得成像光斑随着探测深度的变化能够产生特定的响应,
学位