基于多模态融合的三维目标检测方法研究

来源 :上海工程技术大学 | 被引量 : 0次 | 上传用户:wangcong1001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的快速发展,越来越多的智能化产品面向人们的生活。在智慧城市建设的推动下,智能家居的需求日益增加。其中,自动驾驶技术也取得了飞跃发展。三维目标检测作为自动驾驶中的关键技术,具有极其重要的意义和研究价值。三维目标检测是对真实的三维世界进一步精确的环境感知,在二维目标检测的基础上,获得物体的空间结构信息,最终检测出物体的类别、尺寸、方向。由于应用场景复杂多变,且物体间存在各种遮挡,自动驾驶场景中的三维目标检测仍然是计算机视觉领域中一项十分具有挑战性的研究课题。目前,由于点云的稀疏性和无序性,利用纯点云的方法在小目标检测中表现较差,容易出现漏检误检的情况,因此利用多模态数据融合进行三维目标检测逐渐发展成一种研究趋势。通过同时使用图像与点云数据,可以提取到更鲁棒和具有泛化性的特征,从而弥补单一数据的不足,提升最终三维目标检测的性能。本文开展的研究内容和主要创新如下:(1)针对传统人工设定的anchor存在离散和泛化性差的问题,本文提出了一种基于多模态生成精准候选框的模型(Precise Anchor Generation Network,PAG-Net)。该模型以二维目标检测器来驱动三维目标检测,使用预训练好Faster-RCNN作为作二维目标检测器,得到RGB图片中目标的位置和类别,并将二维目标框和类别作为先验信息投影到三维空间中生成候选三维anchor,得到精准区域及类别自适应的候选框。(2)由于不同模态的表示,分布和密度不同,传统特征连接容易忽略模态间的差异,导致特征不匹配的问题。为了更好的融合不同模态之间的特征,本文提出了一种多层迭代特征融合方法(Multi-layer fusion)来增强特征的表征性,同时保留特征的整体和局部信息,提升小目标物体的检测精度。与传统的特征连接方法不同的是,多层迭代特征融合首先分别将不同模态多层的不同尺度特征融合,使得特征中包含语义信息和位置信息,再通过多次迭代特征融合操作得到表征性和泛化性较强的特征,从而提升最终的检测性能。(3)针对物理约束和语义信息的回归冗余问题,本文更新了边界框的编码方式。我们利用在自动驾驶场景中需要检测的类别,如行人,车,骑自行车者,都在地平面上这一语义信息,用四个角和一个高度进行编码来更新三维边界框的编码方法。最后,在具有挑战性和大规模的标准KITTI数据集上通过大量实验和比较评估证明了本文提出的模型具有较好的性能。同时,与最新的主流先进方法相比,实验结果表明本文提出的PAG-Net和Multi-layer fusion两个模块都取得了较大的性能提升。
其他文献
目的:采用不同的级联撞击器测定沙美特罗替卡松粉雾剂的空气动力学粒度分布,比较并评价不同方法的测定结果。方法:分别采用双级撞击器(twin stage impactor,TSI)、安德森撞击器(Andersen cascade impactor,ACI)和新一代药用撞击器(next generation pharmaceutical impactor,NGI)测定了沙美特罗替卡松粉吸入剂的粉雾剂空气
期刊
“双减”对小学音乐教育提出了全新的要求,教师要在尊重学生的个体差异情况下,利用多元化教学方法满足每名学生的成长需求,如此才能真正达成小学音乐教学目标。从小学生成长特点来看,学生成长环境学习能力不同,统一化的教学方法只能迎合部分学生的学习需要,无法将音乐教学落实于整体。所谓“教无定法,贵在得法”,教师应结合学生成长特点,打破传统教育束缚,利用更为多元的教学思路,构建更契合学生成长需求的音乐教学课堂,
期刊
农村道路客运作为一种能满足农村居民乘客出行的道路运输服务,随着城乡一体化的进一步发展,城乡居民出行需求不断增加,但公共服务质量低下的问题尤其明显。传统的农村道路客运经营模式,无论是在制度管理、线路设置、服务水平上,都不能满足城乡居民的出行需要,因此,农村道路客运的公交化发展是必然的选择。原有的农村道路客运班线经过公交化改革,成为城乡公交线路。在公交化改革过程中由于对客流特征认知的不充分性、线路的发
学位
<正>课程建设非一日之功,需要经年岁月的理论沉淀和日积月累的实践历练。北京市东城区实验幼儿园统筹考虑时代发展的人才需要、教育理论与儿童观的改革发展和园所教育实践的现实需要,提出联通生态式教育思想理论和探究式课程基本理念,整合多元教育要素,建构幼儿园生态式自主探究课程,在充分调查分析课程组织现状的基础上,探索形成促进幼儿完整和谐、可持续发展的具有园本特色的生态式自主探究课程的思想理念。
期刊
土俗字古籍文献是壮族传统文化成果的体现。20世纪80年代以来,由于中央及各级政府对抢救、整理少数民族古籍工作的重视以及少数民族古籍整理工作者的努力,壮族土俗字古籍文献整理出版工作取得了一定的成绩,但在项目经费投入、古籍译注质量、人才队伍建设以及造字软件推广等方面仍然面临一些现实困境,故工作效果不尽如人意。为了促进壮族土俗字古籍文献整理出版工作的可持续发展,亟需多渠道申请经费和实施精品工程以推进古籍
期刊
报纸
随着教育改革的不断深化,在素质教育背景下,作为培养学生核心素养有效途径的小学音乐教学受到了更多的关注。“双减”背景下,让音乐课堂教学高效提质,让学生能够在课堂中轻松掌握音乐知识,在快乐的氛围中学习成长,促进学生全面发展,是每一位音乐教师的目标。教师应对“双减”政策具有更深层次的认识,基于以生为本的原则对课堂教学策略进行优化,让学生在轻松愉悦的氛围中学习音乐知识,在提升课堂教学质量的同时,推动学生学
期刊
农村客运服务是我国农村地区经济社会发展的基础性支撑条件,在保障农村地区居民交通公平、便利日常生产生活出行和推动乡村振兴战略实施中发挥着重要作用。目前,我国农村客运发展迅速,公路基础设施和客运线路覆盖率逐年快速增长,随着农村居民收入水平的提升,越来越多的农村地区出行者开始追求多元化、个性化的客运服务。有部分农村地区还未覆盖客运线路,或受到道路条件限制,居住地区离开通的客运线路相距较远,出行非常不便;
学位
本文利用深度学习算法DBN (Deep Belief Network)实现农村电商跨平台、多模态数据的有效融合;建立多源电商平台的异构数据的采集、整合、识别、清洗、特征提取、分类和分析等信息处理过程;构建农村电商产品类型、品牌、产地、溯源等特征库,实现农村电商多平台异构数据的特征提取、实时处理和监测分析;形成较高精度无损异构数据融合、信息分析与可视化、管理与决策一体化系统。研究改善了大数据背景下跨
期刊
预制菜是指以农、畜、禽、水产品等为原料,配以各种辅料,经过预加工而成的成品或半成品。预制菜最早是先民为了解决生鲜食材的储存问题,通过晾晒脱水、盐糖腌渍等方式延长其保存期。随着工业冷冻技术的发展,欧美国家在二战后发展起现代半成品预制食品产业,而我国近年来冷链技术的广泛应用,预制菜产业已然成为群雄争夺的新赛道。
期刊