面向机器人环境感知的视频目标检测算法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:laohu_you
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测是计算机视觉中的基础任务,也是研究的重点方向。基于深度学习的目标检测方法通过对输入图像进行特征提取,训练分类器完成对图像目标的分类识别,使用回归方法对目标位置进行定位。基于视频图像的目标检测算法相较于单帧图像的目标检测来说,可以更多地利用视频图像上下文时空信息来对视频目标进行更加精准的检测。面向机器人环境感知的视频目标检测算法不仅要求检测模型的精准度,对检测模型的速度也有一定的要求,以便满足机器人移动端检测的实时性需求。同时由于应用于移动机器人端,所以需要一个方便部署的轻量型网络模型。本文以多尺度目标检测算法YOLOv3为基础,通过改进目标检测的网络模型,优化检测的后处理过程,并对改进模型进行剪枝优化,最后采用检测与跟踪相结合的思想,实现了一种面向机器人环境感知的视频目标检测与跟踪网络模型。本文的主要工作包括以下几个方面:(1)以实时多尺度目标检测算法YOLOv3为基础,通过引入注意力机制和空间金字塔池化方法对多尺度检测模型的不同层级特征融合阶段进行改进,提出了一种ASPP-YOLOv3检测模型。ASPP-YOLOv3检测网络在多尺度检测的每个多尺度层级提取的特征之后使用注意力机制来增强关键特征,抑制无用信息,实现多尺度层级之间的特征在通道和空间位置上的自适应权重分配。之后结合空间金字塔池化的特点,融合了对应于同一特征图但具有不同感受野的池化特征,丰富了细粒度的语义特征,从而提高了目标的检测性能。相较于YOLOv3,该检测模型在不影响检测速度的情况下,提升了目标检测的精准度。(2)基于视频图像序列的上下文信息,采用一种基于上下文候选框关联性的置信度重打分策略,并结合soft-NMS的软化迭代算法思想,提出了一种基于视频的候选框选择方法Video-NMS。基于视频的候选框选择算法应用于目标检测的后处理阶段,通过同种类预测框的前后帧重叠关系进行关联匹配,最后根据匹配的情况,对当前帧的候选框置信度进行重新打分。在重打分之后,对于当前帧候选框采用软化迭代的非极大值方法进行最后的筛选。(3)基于深度可分离卷积的方法对ASPP-YOLOv3卷积网络中的卷积操作进行的优化改进,减少了网络的卷积参数,压缩了网络模型,减少了网络的计算量,提高了模型推理的运行速度。之后又采用基于卷积网络BN层的通道稀疏化方法对网络进行更进一步的剪枝压缩,获得了一种检测性能较好的轻量化网络模型。最后借鉴Deep Sort检测与跟踪相结合的思想,将该轻量化网络模型作为检测器,在后处理阶段采用基于视频的候选框选择方法,两者结合作为检测模块,并使用级联匹配的方法,得到了一个实时视频目标检测与跟踪网络。
其他文献
干衣机或洗干一体机在家庭、宾馆和酒店行业中的应用有着逐步扩大的趋势,到了一定阶段,其在城市家庭中的应用率可能会与洗衣机、冰箱等常用家电的应用率大致相当,可见干衣机具有相当可观的需求量。但是干衣机或洗干一体机工作时,不同材料的流道对温度的耐受性不同,流道的结构和干衣机的运行模式都会影响干衣的效果,因此干衣机或洗干一体机在研发过程中,需要进行必要的研究和测试。为了满足干衣机或洗干一体机研发测试的需求而
飞行安全一直以来都是备受关注的一个话题,航迹信息的获取对保障飞行安全至关重要。广播式自动相关监视信号(Automatic Dependent Surveillance-Broadcast,ADSB)是新一代飞行器监控技术,国际航空组织已将其称为下一代航空监视技术。论文首先介绍了课题的研究背景和研究意义,对ADS-B技术在国内外的发展情况以及ADS-B接收机的研究情况做了分析介绍。提出使用软件无线电
随着智慧城市概念的提出,智慧地铁呼之欲出。在这个互联网、人工智能、大数据飞速发展的时代,如何将新兴技术应用到地铁交通中,已经成为业界人士关注的重点。语音识别目前是这些技术中较为成熟的技术之一,智能语音走进地铁已经在很多城市达成共识。基于现阶段地铁车站发展的实际情况,将语音识别技术应用到地铁自动售票机(Ticket Vending Machine,TVM)是最实际、最理想的方案。自动售票机作为地铁车
三维人体形状和姿态估计是计算机视觉领域研究人体行为的重要方式。近年来,随着深度学习和计算机视觉的不断融合,基于深度学习的三维人体姿态估计方法也得到了广泛的关注与研究。三维人体姿态估计主要研究根据输入图片估计出对应人体姿态,尽管目前三维人体姿态估计方法已经取得了长足的进步,但其仍面临着一些严峻的挑战。首先,目前大多数三维人体姿态估计方法都使用RGB图像作为输入,但由于RGB图像缺少空间信息,导致从R
21世纪以来,饲料工业迅速发展,同时随着德国工业4.0和中国制造2025战略的提出,智能制造成为时代主流,中国励志从制造大国转变为制造强国,鼓励企业建设智能化工厂,推动企业升级转型。饲料工业作为国民制造业的重点对象,要求饲料工厂和机械设备朝着自动化和智能化的方向发展。基于上述背景,本文依托江苏省基础研究计划,对饲料挤压膨化设备-双螺杆挤压膨化机进行控制系统的研究设计,该控制系统可以实时监控膨化机的
火箭武器系统在发射过程中会产生高温高速的燃气射流,该燃气射流的瞬时冲击力和高温会对定向管造成冲击和烧蚀,导致定向管的材料特性发生变化。环氧玻璃钢复合材料由于其优异的性能成为了制造定向管的首要选择,为了研究燃气射流对环氧玻璃钢定向管性能的影响,本文以某型号火箭炮的环氧玻璃钢定向管为研究对象,对其在燃气射流作用下的热稳定性及力学性能变化开展了研究。首先通过热重分析法及热重-红外联用技术对环氧玻璃钢复合
导电银浆因良好的导电性能和低的烧结温度成为电子产品导电线路成形的理想材料,在三维结构电子、柔性电子、印刷电子等领域已进行初步尝试,显示出巨大潜能和广阔的商业化应用前景。但目前导电银浆的热烧结工艺,存在烧结温度受基体限制、烧结效率低等问题,为此本文采用激光束快速烧结成形导电线路,并针对导电线路性能开展深入研究,主要包括以下几点:(1)通过全因子试验对激光烧结导电银浆成形导电线路性能进行系统研究。阐明
激光粉末床熔融(LPBF)构件的质量很大程度上取决于打印过程中可能出现的各种缺陷。本文通过数值模拟和实验研究了高强铝合金Al2024在LPBF期间复杂的热流传输与缺陷演化现象。开发了一个基于离散粉末的多物理场数值模型获得了激光移动过程中的熔池特性、热循环等关键冶金变量。同时通过实验制备了单熔道、多熔道以及多层试样,验证了模拟结果并进一步研究了裂纹特征。首先发现了两种类型的熔道间孔隙。根据其形成机制
随着无人机成本降低以及飞控技术的不断成熟,无人机在各个领域得到了广泛的应用。为构建一个稳定无人机集群系统,搭建一个可靠的低时延的多无人机通信网络是必不可少的过程。本文重点关注无人机自组网(Flying Ad Hoc Networks,FANETs)中路由协议的研究,引入强化学习思想,设计出一种智能链路探测技术和一种智能路由协议。首先,本文针对无人机节点高速移动带来的拓扑变化和链路维护困难所造成的网
Fe-Cr基合金具有优良的力学性能、耐腐蚀、抗氧化和抗辐照性能,因此多应用于核电站压力管道、换热器管道以及海洋工程领域中。应力应变改变合金的成分分布,影响微观组织和力学性能。高温高压作用下,合金基体分离出细小弥散的富Cr纳米析出相,发生沉淀强化的同时伴有热脆化现象,威胁合金的服役安全。因此,研究应变状态下Fe-Cr基合金纳米析出相的微观组织与动力学演化,为合金的组织性能预测提供理论参考。基于Cah