面向AR的大场景构图与定位系统开发

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:xlj368
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)是增强现实(Augmented Reality,AR)中的重要基础技术之一,其能够支持用户在未知场景内利用传感器进行场景感知,以此构建场景地图实现虚实叠加显示。近年来,伴随着SLAM技术的发展,其在特征明显的静态场景下已经可以实现相机实时稳定的位姿估计。但考虑到AR应用有时需要面向大范围场景,场景内含有动态物体与重复纹理;AR设备由于便携性限制,计算性能不强等特点,传统SLAM方法无法直接应用于AR应用场景。本文在ORB-SLAM2的基础上进行研究,在可穿戴便携平台上开发了一套可以在先验知识充足的大范围动态场景下提供实时高精度相机位姿、构建语义地图的大场景构图与定位系统。针对AR应用虚实融合要求,基于语义地图与相机估计位姿实现大范围场景下的虚实物体遮挡判别与叠加显示。首先,本文在便携设备上将基于轻量级网络的目标检测分类器集成到ORB-SLAM2算法框架当中,利用点云分割技术对目标检测器提取的语义信息进行轮廓优化,提取语义;设计语义SLAM方法,通过从图像中提取的高质量语义信息辅助相机定位,消除由于动态物体移动所带来的相机估计位姿噪声,构建场景语义地图。其次,面向课题背景中含有重复纹理的大范围场景,本文设计人工标志库,将标志作为先验知识布置在场景内。算法利用已知空间坐标的人工标志进行相机位姿的快速估算,并基于对极几何对估计结果误差进行检测与抑制;在设计的语义SLAM方法的基础上融入先验人工标志,通过先验知识约束去除大范围场景运行所累积的漂移误差、辅助重定位和回环检测等任务,实现算法在各个场景下的鲁棒跟踪。然后,针对大规模场景下用户快速移动等容易造成视觉SLAM方法跟踪丢失的情况,本文将算法估计的相机位姿结果与惯性测量单元数据基于扩展卡尔曼滤波进行融合。在增强现实虚实遮挡方面,考虑到场景规模与AR设备计算性能限制,本文通过语义信息标签,离线构建场景静态网格模型,仅对当前视野下的动态语义物体网格模型进行在线刷新,利用三维网格模型将真实物体映射到虚拟空间内进行虚实遮挡判别。最后,设计了可以在穿戴设备上稳定运行的系统工具集:相机定位定向-语义地图构建工具、增强现实虚实遮挡显示工具。介绍了系统工具集各模块的详细结构与流程,并对系统开展了相关实验。证明其在课题应用场景可以实时高效工作,相机定位与语义地图构建精度满足虚实叠加要求,虚拟物体和真实物体的遮挡关系正确。
其他文献
新时代构建更高水平的社会主义市场经济体制是实现我国经济高质量发展和全面建成社会主义现代化强国的要求,具体路径有:站在世界百年未有之大变局、我国社会主要矛盾转化和经济发展阶段转变的新起点上精心谋划;全面深化所有制结构改革、扎实推动共同富裕、建设高标准市场体系,提供完备制度体系保障;实现社会主义市场经济改革方向与高质量发展目标相统一,处理好改革发展和安全稳定的关系;针对深层次体制机制问题,在重点领域和
随着科技进步,我国在应急通信系统建设上也正高速发展,当前应急通信网络对多媒体业务有着迫切需求,对网络带宽要求更高。而当网络存在多种不同业务时,传统通用的路由协议不再适用,它们大多以最小跳数为路由度量或者是某个单一度量,未能考虑不同业务的QoS(Quality of Service)需求,因而无法同时兼顾不同业务流的传输要求。提出一种应急通信中业务感知的宽带自组网路由策略,对不同类型业务在路由和转发
针对当前电力通讯网络故障诊断方法及时性差、准确率低和自我学习能力差等缺陷,提出基于改进卷积神经网络的电力通信网故障诊断方法,结合ReLU和Softplus两个激活函数的特点,对卷积神经网络原有激活函数进行改进,使其同时具备光滑性与稀疏性;采用ReLU函数作为作为卷积层与池化层的激活函数,改进激活函数作为全连接层激活函数的结构模型,基于小波神经网络模型对告警信息进行加权操作,得到不同告警类型和信息影
新冠肺炎疫情以来,国际经济形势动荡不安,世界经济增速整体放缓,中美贸易摩擦加剧,我国出口企业面临着国外市场需求萎靡、出口物流受阻、经营成本上升、全球供应链和产业链重组等一系列困境,同时也暴露出我国出口企业抗风险能力差、出口竞争力不足等问题。因此,出口企业应把握好双循环政策导向,充分利用国内国际两个市场、两种资源的优势,国内国际双循环相互促进,分散经营风险。
建筑在城市中的积累和废弃能够对城市环境产生显著影响。本文以同处于闽三角地区、但处于城市化不同阶段的福州市、厦门市和泉州市为例,通过物质流分析预测了三座城市至本世纪末在高速发展、历史轨迹和可持续发展三种情景下住宅新建量、保有量和拆除量的动态变化规律和趋势。研究结果表明:(1)未来福厦泉城市群的人均居住条件有望达到甚至超过欧美现有水平。(2)相较于沿历史轨迹继续发展,盲目追求过高的居住条件(高速发展情
文章以智慧城市理论为指导,探讨智慧城市理念在住宅建筑设计中的渗透。第一部分介绍智慧城市相关的理论;第二部分分析智慧城市理念对住宅设计的影响;第三部分探讨了智慧城市理论在住宅建筑设计中的应用;第四部分通过案例分析智慧城市理念的渗透途径,旨在为智慧城市、智慧社区的建筑设计与建设提供一些有价值的参考。
学位
本文以非物质文化遗产与短视频融合意义、运用短视频开展非遗传承与传播的显著效果为切入点展开具体分析,并提出构建从短视频制作到产品营销的完整产业链、运用跨业态整合方式进行非遗传播、保持市场与原生态始终处于平衡发展状态、正确整合短视频营销资源等新途径。
增强现实技术(AR)目前在很多领域得到开发,沉浸式的交互体验让体验者有前所未有的新鲜感,满足了当下娱乐创新的要求,结合自拍美颜和互动性的手机,更是让使用者欲罢不能。然而传统的舞台艺术却一直没有实质性的创新,尽管AR运用到舞台上已经有一段时间,但是都没有形成有效的互动性,从根本上说还是依赖后期制作的艺术呈现方式。这需要演员花费很长时间去同“看不见的”虚拟人物排练交流,要做到步调一致,精确配合的演出,
目的了解郑州市狂犬病暴露人群流行病学特征及暴露后处置监测情况,为狂犬病消除提供科学依据。方法选取2015—2020年郑州市狂犬病暴露人群流行病学监测资料进行分析。结果 2015—2020年共监测狂犬病暴露病例507 353例,男女性别比为1.34∶1。15~<30岁青年最多,140 262例(27.65%);暴露高峰为7—8月有130 913例(25.80%);致伤动物以犬类为最多389 865例