基于单目视觉的三维目标检测技术研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所) | 被引量 : 0次 | 上传用户:xzm191213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维目标检测技术是数字图像处理领域的关键问题,在军事、工业等领域有着广阔的应用前景。深度学习是一个复杂的机器学习算法,通过对样本数据的内在规律进行学习,获取样本的深层次特征,进而更好的完成对样本的解释。近几年来,得益于基于点云和双目视觉的三维检测算法的发展,三维目标检测结果的精度得到显著的提高。然而,点云需要昂贵的激光雷达设备获取,双目成像设备的架设场景要求较高,且在工业应用方面,成本较高。因此,如何利用图像信息挖掘的优势,将现有基于单目视觉的三维目标检测算法改进,使其性能上能够与基于激光雷达和双目的三维目标检测算法媲美具有重要的意义。所以,开展基于单目视觉的三维目标检测技术的研究具有很强的学术意义和实用价值。本论文在对基于单目视觉的三维目标检测关键技术进行分析的基础上,分别对单目深度估计算法,基于单目图像目标深度优化算法,伪点云三维目标检测算法以及全景单目三维目标检测算法等关键技术进行了研究。本论文主要完成了以下四个方面的工作:1.深入研究单目深度估计方法,针对像素级深度估计任务中卷积神经网络和视觉Transformer作为主干网络分别缺失对全局信息和局部纹理信息表征的问题,提出了一种联合卷积神经网络和视觉Transformer的深度回归方法。通过重新构建卷积层的构成并在卷积模块后添加Transformer模块来构建编码器,编码器负责提取多尺度的图像局部和全局特征。采用多尺度卷积神经网络作为解码器对融合特征进行稠密化像素级深度回归。本方法利用视觉Transformer建模多尺度卷积特征的全局相关性,提高了深度估计预测的精度。2.深入研究了基于单目视觉的三维目标检测方法,针对单目三维目标检测精度的限制主要来自深度估计中前景目标位置误差的问题,提出了一种联合实例分割与几何约束的目标深度优化方法。重新设计了基于中心点回归的视觉实例分割模型获取目标三维高度分布。采用基于相机成像原理的深度分布计算,联合深度估计方法优化不同距离位置的目标深度,采用不确定度学习的方式对待检测目标深度进行优化,提高了深度估计方法对于不同位置的目标深度估计的准确度。3.深入探究了通过激光雷达获取的点云和由图像生成的伪点云对基于点云算法的影响。针对伪点云分布的长尾问题,提出了一种基于目标伪点云分布优化的单目三维目标检测方法。首先编码器通过整合Point Net++的点集抽象模块和Transformer模块为特征增加全局一致性。接下来使用带有多尺度特征级监督的解码器对伪点云进行重分布调整,完成伪点云分布的优化。本方法进一步采用基于点云的三维目标检测方法于伪点云数据上进行三维目标检测。实验表明该方法大幅提高了单目三维目标检测的精度。4.深入研究了基于全景图像的单目三维目标检测算法。针对从二维图像生成俯视图特征不准确以及缺失时域关联的问题,提出了一种基于长短时域特征融合和运动特征蒸馏的全景单目三维目标检测方法。分别利用不同的特征分辨率提取长短程的时域特征,利用基于Transformer交叉互相关模块的编码器将运动特征和深度信息联合编码并整合到融合长短时域的俯视图特征中,后续使用带有运动特征蒸馏技术的解码器完成空间三维定位。该方法融合了不同时间步长的全景目标特征表达,辅以嵌入的运动特征和深度信息,提高全景单目三维目标检测的精度。实验表明该方法能够提高全景单目视觉三维目标检测精度。本论文针对现阶段基于单目视觉的三维目标检测关键技术中存在的不足,分别从提高单目深度估计的精度、通过实例分割和几何约束优化前景目标深度,伪点云分布优化,以及在全景图像中引入长短时域信息和运动特征等方面,提出了多种提高基于单目视觉三维目标检测任务性能的算法。同时,对每个提出的算法进行了大量的仿真实验验证。本论文的研究成果对提高现阶段基于单目视觉的三维目标检测的精确度和稳定性,拓宽单目视觉三维目标检测的应用领域具有重要的理论意义和参考价值。
其他文献
报纸
报纸
随着我国经济发展主动降速,依靠人口红利和传统“三驾马车”拉动的经济增长模式已不再适应新时代的可持续发展要求,探寻高质高效的新发展路径中,数字经济的兴起为我国经济转型和高质量发展提供了重要机遇。因此,研究数字经济在经济高质量发展过程中所起到的作用对推进我国经济实现高质高效发展具有重要意义。本文以2011-2020年为研究范围,我国除西藏和港澳台地区的30个省级行政单位为研究对象,对我国数字经济与经济
学位
学位
进入信息时代,一种新经济的出现对各国经济社会发展、人民生活产生了深远影响。党的十八大以来,我国高度重视数字经济的发展,并运用数字经济持续发力,助推我国高质量发展。近年来,我国逐渐形成以服务业为主导的经济结构,目前,在国内生产总值中,第三产业增加值所占的比例逐年上升,第三产业对我国经济发展来说至关重要。因此,抓住数字经济带来的技术红利,使其与服务业融合发展,可以促进服务行业的转型和升级,促进经济结构
学位
商业银行是经营货币的企业,按照业务类型可以分为对公业务和个人业务。对公业务主要服务对象为公司或单位,个人业务服务对象为个人。对公业务历来是银行业务发展的基石,也是银行收入的主要来源。但近年来,我国银行业在监管持续趋严、金融脱媒的背景下,传统业务市场被挤占、优质对公客户流失等问题日益凸显。同时,受全球经济低迷和新冠疫情影响,银行为实体经济减负、减费让利、资金成本上行等政策压力使得对公收益不断收窄,就
学位
近几年,我国交通业发展迅速,交通发展水平不断提高,基础设施建设运营成绩显著。数据显示,我国已有约25万个路口、400万公里路段,公路基础建设极大方便了人们的出行生活,也增强了道路运输服务能力,促进了社会经济发展。但随着城市规模不断扩大,城市人口和车辆数量急剧增长,交通拥堵系数不断升高。同时,各类交通违章、交通事故频发,尤其在城市干道交叉口、人车混行路段情况更为严重,进一步加剧了城市道路的拥堵,降低
学位
本文就文艺战线展现文化自信、以历史主动的精神投身社会主义文化强国建设的路径进行了梳理和归纳,认为各级文艺组织和广大文艺工作者要从三个方面做起。一是以理论清醒保持政治坚定,强化文化自信捍卫“两个确立”的主动自觉。二是以价值引领提升文化自觉,激发文化自信砥砺文艺理想的责任担当。三是以时代主题统领工作课题,彰显文化自信赋能高质量发展的独特作用:坚持以文化人,在助力乡村振兴中展现新作为;坚持以文塑旅,在推
期刊
<正>近年来,诸多弘扬中华文化的优质文艺作品次第涌现,《唐宫夜宴》《长安十二时辰》《风起洛阳》等蕴含了浪漫悠久的东方美学品格,《觉醒年代》《山海情》《功勋》等塑造了生动饱满的英雄形象……这些彰显了文化自信的影视艺术作品,有效助力了中国之美的传播。近期,动画电影《雄狮少年》中“宽眼距、吊梢眼”的主角造型引发争议,与此相类似的,某产品广告中的“眯眯眼”造型以及部分摄影作品中模特造型等,均被置于广泛讨论
期刊
环境感知技术是支撑智能汽车发展的重要基础。感知模块的作用是得到周围目标物的详细信息,包括类别、距离等。常用传感器中,摄像头擅长检测目标类别,激光雷达便于检测3D位置,但检测类别信息不够丰富,将二者融合可实现优势互补。感知模块得到的目标物信息是决策和规划模块的输入,因此感知算法需要准且快。目前融合感知算法常存在实时性差、难于在嵌入式设备上部署等缺点,全面提高融合感知的实时性和准确性是一个值得研究的课
学位