基于单目相机构建语义场景地图

来源 :武汉大学 | 被引量 : 0次 | 上传用户:dxw2814
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于一个仿生机器人而言,它能进行自主移动的前提,是它知道周边环境是什么,和它在环境中的哪个位置。这就要求我们,能够实时的处理机器人传感器采集到的周边信息,并为其构建场景地图。这里我们使用单目相机作为传感器来采集周边环境信息。单目相机即我们日常最常见的相机,它仅使用一个摄像头拍摄场景,用二维的图像来反映三维的世界。我们之所以选择单目相机作为我们构建地图时的传感器,一方面是因为它成本低廉且最为常见,另一方面则是因为它不像双目相机那样,深度测量范围会受到基线距离的限制,它也不像深度相机那样,适用范围仅限于室内,且无法采集到每个点的深度信息。单目相机是唯一不受使用场景和深度范围所限的硬件,它唯一的缺陷是在拍摄时丢失了场景深度的信息,而这一点,我们可以通过深度学习的方法恢复得到。此外,单目相机拍摄场景时会受到环境光的影响,因此,我们会预先对单目相机拍摄到的图像进行风格迁移,将不同时刻拍摄的图像,统一到相同光照条件下,从而消除环境光照变化对深度估计和后序相邻帧配准的影响。因此,本文的研究内容为:首先用风格迁移网络,统一单目相机所拍摄图像的亮度,并在此基础上,用深度学习的方法恢复图像的场景深度;同时,对图像进行语义实例分割,为构建的地图增加语义,从而满足更多场景的需求;此外,考虑一个物体表面不同位置处深度的相互关系,用语义实例分割的结果修正深度估计的误差。最后,将当前帧恢复了场景深度的单目图像,和上一帧场景地图的投影图像做配准,求得当前帧相机的位姿,从而将当前帧图像的不同语义实例分割部分,融合到场景地图的不同实例部分中去,从而形成带语义的场景地图,即地图中的每个点,都知道它对应真实世界中的哪个物体。
其他文献
随着经济全球一体化,越来越多的国际企业爆出财务舞弊丑闻,例如巴西石油、安然公司、光大证券等企业,凸显了企业内部控制水平低下,风险防范机制存在问题。2002年,美国政府通
量子通信作为量子信息处理技术的几个主要分支之一,因其具有理论上的无条件安全性而广为人知。但在实际环境下由于部分技术要求不能保证完美实现,投入实际使用的量子通信系统
随着新一代航空发动机对推重比越来越高的要求,在航空发动机设计中采用了整体叶盘结构。作为新型发动机的核心零件,整体叶盘多采用钛合金、高温合金等难加工材料制造,且由于
近年来,回音壁模式微腔因为其极高的品质因子成为研究热点,而表面等离子激元(surface plasmon polariton,简称SPP)因为其极强的场束缚能力,可以将光波束缚在亚波长尺寸而吸引
预制装配式混凝土结构是实现我国建筑行业进一步发展的一种重要的结构形式。装配式结构具有环保节能、工期短等许多方面的优点,是目前行业公认的符合我国发展且应用前景广阔的一种新型结构形式。而保证装配式框架结构的抗震性能是推动装配式混凝土框架结构体系发展和应用的重中之重。本文提出了一种在梁端和柱连接处设置高强螺栓连接节点的装配式框架形式。即在梁端预埋钢件通过高强螺栓柱连接而成。为验证该新型高强螺栓连接节点的
随着电动汽车行业的快速发展,电动汽车及其充电站的数量激增,运营商面临着电动汽车用户充电行为离散化、随机化等重大挑战。考虑电动汽车用户的时空转移特性,如何对电动汽车充电负荷在时空尺度进行引导、管理和调度,实现电动汽车充电站经济优化的目标,成为目前的研究重点。在电动汽车充电站的管理运行中,可再生能源发电的波动性与间歇性、现货市场电价的不确定性、基础充电负荷分布的随机性等因素都会对调度结果产生影响。不确
伴随着国家飞速发展的工业步伐,社会对矿产资源的需求也日益猛增,导致各地愈加频繁的矿业开采。繁重的工矿业活动成为土壤中重金属的一个重要来源,并造成生态失衡和严重的环
光与物质的相互作用在少光子层面上的研究常用腔量子电动力学理论,在全量子体系中分析点腔耦合系统的非线性光学特性及其量子态。现阶段常用光子晶体作为纳米微腔来增大光与
鬼成像是一种新型的成像技术。它利用光场的关联性,通过多次曝光间接计算出物体的像。这种方式相比于传统的透镜成像而言比较新奇,甚至有点诡异,因而被称之为“鬼成像”。赝
木薯(Manihot esculenta Crantz)是热带和亚热带地区重要的粮食作物之一,同时也是一种重要的、极具发展潜力的再生能源作物。地毯草黄单胞菌木薯萎蔫致病变种(Xanthomonasaxonopodis pv.manihotis,Xam)所引起的木薯细菌性枯萎病(Cassava bacterial blight,CBB)是国内外当前木薯生产中最为严重的病害之一,尚缺乏有效的防治手段。