面向视觉目标检测的特征融合方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:wubaishan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着图像传感设备的发展以及计算硬件的进步,基于深度学习的图像目标检测算法取得了很大的突破。近期,由于大量视频数据的出现、双目相机的广泛应用,人们对面向视频输入、双目输入的视觉目标检测算法也提出了要求。简单地将单一图像检测算法直接应用到视频输入与双目输入上忽视了这些输入信号内在的联系,带来效率低下、准确度不足等缺点。针对这些形式的输入,本文在基于卷积网络的目标检测器之上,挖掘视频、双目输入的丰富信息,在特征层级上考虑融合时序、双目特征,完成以下研究内容:(1)提出了一种面向在线视频目标检测的特征传播与融合方法。现有的视频目标检测算法中,多数方法重视以单一的方式进行邻近帧与帧之间的建模,却忽视了时序距离对特征传播带来的影响。然而时序距离不同的帧,其中所包含内容对本帧的重要性和可用程度也不同。为此,本文根据时序距离将早前的时序帧分为两类并对这两类帧进行独立的处理。针对时序距离相近的两帧,利用轻量的模块将高质量的关键帧特征融合到分辨率较小的非关键帧;针对时序上稀疏的关键帧,利用非局部操作将缓存队列中的先前关键帧特征聚合到本帧。该方法在计算速度和准确度上都比单帧方法有了提升。此外,该方法提供了两个额外的超参数用于调节运行时的精度与速度,使得检测器能够应用于广泛的场景中。(2)提出一种基于双目输入的特征融合算法。现有的文献中较少关注基于双目的二维目标检测;另一方面,基于传统双目匹配算法实现的特征融合算法,其效果受到检测目标纹理程度的影响较大。针对这些问题,考虑到双目视觉输入中存在的位置关系,本文提出了利用高层语义信息对水平方向特征进行融合的算法。具体地,在进行检测之前,利用两帧信息对参考帧中的采样位置进行预测,然后将重新采样的参考帧特征与当前帧特征计算像素点间相似度并根据相似度进行加权,最后将加权融合后的特征图输入到检测子模块中完成后续操作。这个结合了双目特征的检测模型能够根据双目中的高层目标信息自适应地预测参考帧中的采样位置,并取得检测准确度的提升。
其他文献
本文在前人利用元胞自动机模型等数值方法模拟金属腐蚀的基础上,建立了不锈钢应力腐蚀过程的模拟模型,模型分为点蚀孕育期间的钝化膜形成与破裂过程的模拟以及应力作用下点蚀生长过程的模拟两个部分。在不锈钢表面钝化膜形成与破裂过程的元胞自动机模拟中,利用点缺陷模型对金属基体的溶解以及钝化膜的溶解概率进行计算,并在模型中加入代表点缺陷的金属离子在钝化膜中的扩散过程。统计钝化膜生长时的电流密度,得到符合经验结论的
近年来迅速发展的现代无线通信技术对微波毫米波通信系统提出了更高的要求,急切需要高性能、高集成度、低成本、低损耗的器件来实现更加先进的通信系统。基于基片集成波导(Substrate Integrated Waveguide:SIW)的多频带以及宽阻带带通滤波器和宽阻带多工器拥有尺寸小、损耗低等特点,并因其在多通道和低干扰方面的优势得到了广泛的关注,成为了现代通信系统中的一个重要的研究课题。本文通过对
工业机械臂作为现代制造业皇冠顶上的明珠,其高精度运动控制一直是控制领域的研究热点。本课题选题来自于国家自然科学基金项目,旨在针对工业机械臂跟踪控制过程中存在的建模不准确、外部干扰未知、执行器死区和饱和以及状态约束等问题展开研究。本文以随车吊中的机械臂系统为研究对象,主要研究内容可以分为以下几个方面:1、随车吊机械臂系统的总体方案设计和建模。根据所提出的性能指标与技术要求,对随车吊机械臂系统的总体方
随着自动驾驶技术的发展与普及,硬件设备也在向着小型化和成本低廉化的方向发展。在SLAM领域内,信息丰富且价格低廉的相机受到了越来越多人的青睐。但由于纯视觉方案存在一些问题,如严重依赖环境纹理、对光照变化敏感、难以应对速度过快的场景等,因此多传感融合正代替单一传感器成为主流的方案,在这之中,惯性测量单元IMU由于具有短时间内精度极高的特点,因此也得到了广泛的应用。此外在室外大规模建图时,若缺少回环,
本文以某火炮弹丸协调器为研究对象,分别以结构和控制两个方面为切入点,利用参数优化设计和控制策略设计两种方法,对弹丸协调器展开协同设计研究,提升系统的综合运动性能。本文的研究内容包括以下几个方面:(1)介绍某火炮弹丸协调器的结构组成和工作流程,对弹丸协调器的各个子系统进行动力学和系统特性分析,构建了系统的数学模型,进而推导得到系统的状态空间方程。基于AMESim建立了弹丸协调器仿真模型,并在此基础上
智能故障诊断系统是木门加工生产线自动化升级的必需条件,是提高生产线故障诊断质量与效率,保障其可靠运行的有效措施。本文以木门生产线为研究对象,结合物联网技术,设计开发出适用于当前木门生产线的故障诊断专家系统。首先,梳理木门生产线加工制造流程,从生产线现状与存在问题出发,结合调研需求,提出故障诊断专家系统的总体方案。其次,针对生产线数据采集困难的问题,设计研发了现场数据采集系统,实现多源异构生产数据集
随着侵彻武器系统智能化、灵巧化的快速发展,对具有层式防御工事的重要军事目标实现精确毁伤问题已经成为了研究重点和难点。本文以侵彻钢筋混凝土多层靶计层方法为研究对象,提出了一种基于磁异信号与过载信号复合的侵彻多层钢筋混凝土靶计层方法与炸点控制研究方案,利用LS-DYNA与COMSOL有限元分析软件对弹丸侵彻多层钢筋混凝土靶过程中的过载特性与磁异信号特性进行数值仿真分析,为解决侵彻多层目标计层及炸点控制
为了给箱式火箭炮提供火箭炮起落架相对于装填车的精准位姿关系,本文设计了一种基于新型特征标志的单目视觉位姿测量方法。本文通过引入畸变建立相机非线性模型,完成了从空间三维坐标到图像平面二维坐标的转换,对位姿解算原理进行解释说明,选择EPNP算法作为位姿解算算法。然后,针对经典黑白棋盘格在大角度偏转下特征点排序混乱不唯一的问题进行改进,设计了一种标志圆与棋盘格相结合的新型特征标志,为了排除干扰并且快速得
传统的激光制导武器能精确的击中目标,战场价值很高,作战性能相当可观。但是存在成本过高、结构过于复杂的缺点使得各个国家很难实现武器装备的完全精确化制导的目标。而现代战争对战场弹药的效费比提出了越来越高的要求,因此将传统的无控弹药进行低成本的精确化改造成为了近年来的研究热点。本文基于位置敏感探测器和卫星导航定位技术对弹丸和目标的测姿定位技术进行了研究。使用位置敏感探测器解算弹丸的滚转角和弹目视线角;使
针对航天精密锻铸件的加工,划线过程作为其先驱工序,目前大多采用人工划线来完成。铸件毛坯复杂的结构及小余量的加工决定其通过钳工手工划线找正困难,定位基准难以把握,人工划线已经难以满足加工要求。随着智能制造业的快速发展以及三维数字化测量技术的出现,信息化与工业化的融合已成必然趋势,国内外逐步发展起了以三维数字化测量技术为基础,铸件毛坯加工余量优化分析为标准,结合精密数控加工技术的数字化、集成化精密加工