基于点云数据输入的三维鲁棒修复技术

来源 :浙江理工大学 | 被引量 : 1次 | 上传用户:nbf1smt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机图形学和三维机器视觉中,离散点云数据由于其数据获取方便、数据结构简单而得到了广泛应用。然而,利用深度相机获取点云数据时,通常由于受到场景中物体的遮挡、深度相机的传感器距离限制等原因会产生缺失的离散点云数据,亟需进行点云数据修复补全。传统的点云修复方法多用于对小型孔洞的修复,无法对点云模型的形状结构缺失进行修复。为了对形状结构缺失的点云进行补全,本文利用深度学习框架,对于两类点云的应用对象构建了直接输入点云数据的深度神经补全网络。其一是基于生成对抗网络的单个点云模型的保结构补全,侧重于修复单个点云物体的形状结构缺失,能够对模型细节精确预测。其二是基于“类别-实例”分割的室内场景修复,侧重于修复位于室内场景中缺失的家具形状,产生较为完整的室内场景点云。本文的主要工作以及取得的研究成果如下:1)针对三维点云形状修复补全中难以保持形状精细结构信息的难点,借助于生成对抗网络框架,本文提出了一种自动修复补全三维点云形状的神经网络结构。该网络由生成器和判别器构成。神经网络的生成器采用自编码器结构,以缺失的三维点云形状作为输入,首先通过输入变换和特征变换对齐输入点云数据的采样点位置与特征信息;然后借助权共享多层感知器对各采样点提取局部形状特征并利用最大池化层与多层感知器编码提取出采样点的特征码字;其次将采样点特征码字加上网格坐标数据,解码器使用2个连续的三层感知器折叠操作将网格数据转变成点云形状的缺失补全数据;最后将缺失补全数据与点云输入数据合并,得到完整的三维点云形状。神经网络的判别器则接收真实的完整点云形状数据和生成器生成的完整点云形状数据,并利用与生成器相同的编码器结构判别出点云形状数据的真假并反馈以不断优化生成器,最终使生成器生成足以“以假乱真”的点云形状数据样本。不同于传统的基于体素化输入的网络模型,本文采用点云数据直接输入基于自编码器的对抗生成网络。基于点云数据输入能够精确地表达物体的形状信息,相较于体素化输入方式能够占用更小的显存空间、提高训练速度。本文网络采用Wasserstein距离优化真实点云与生成点云的相似性误差,能够预测点云模型的精细结构。实验表明,针对形状缺失的稠密点云和稀疏点云数据,本文方法在修复补全形状缺失部分的同时能有效保持输入点云形状的精细结构信息。2)针对室内场景修复补全中难以处理大规模点云数据和室内家具形状难以补全的问题,本文提出了一种基于“类别-实例”分割的室内点云场景修复补全框架。该框架包括点云场景分割模块和点云补全模块,前者由基于PointNet的类别分割网络和基于欧式距离聚类的实例分割模块构成,后者由基于自编码器结构的点云补全网络构成。本文框架以缺失的室内点云场景数据为输入,首先采用“类别-实例”分割策略,利用PointNet对室内点云场景进行物体级别的语义分割,并利用基于欧式距离的聚类方法进行实例分割得到各个室内家具点云,再借助点云补全网络将分割出的缺失家具点云逐一进行形状补全,并融合进原始点云场景。最后,框架输出补全完整的点云场景,从而实现场景修复。其中,为了实现缺失家具点云形状的补全,本文提出了一种新的基于自编码器结构的点云补全网络,首先通过输入变换和特征变换对齐输入缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据。实验结果表明,本文提出的基于自编码器结构的点云补全网络能够较好地补全室内场景中缺失的家具结构形状;基于该点云补全网络的场景修复补全框架能够有效修复大型室内场景。针对三维点云模型和点云场景的修复补全,基于神经网络和深度学习框架,本文提出了点云形状的保结构补全方法和室内点云场景的鲁棒修复方法。本文在阐述国内外相关研究现状的基础上,提出了具体的神经网络结构和相应的修复补全框架,并给出了算法实验效果以及与其他现有方法的比较说明。
其他文献
频谱感知作为认知无线电关键技术和研究内容之一,对于缓解静态频谱分配策略与动态频谱需求之间的矛盾具有重要的研究意义。本文针对传统频谱感知性能不足和进一步提高频谱利
为了简化腹腔微创手术的导航系统,产生了基于SLAM的腹腔镜导航系统。将医学图像信息与实时腹腔镜视频融合在一起,可以极大的增加外科医生的视野,使医生能看到位于表面一下的
目前智能移动机器人是很多学者研究的主要方向,而同步定位与地图构建技术是移动机器人能够实现自主移动的关键。视觉SLAM系统是指搭载相机为传感器主体,能够同时进行定位与地
传统的手势识别方法依靠人工设计复杂的特征提取算法进行图像的特征提取,该方法对手势图像的采集设备、背景及人的手势动作要求较高。基于卷积神经网络的图像特征提取可以直
行人再辨识可应用于刑探侦查、社会安保等领域。已有许多行人再辨识方法被提出,主要分为两大类:基于人工设计特征的行人再辨识方法和基于深度学习的行人再辨识方法。早期行人
实体识别和关系抽取是自然语言处理领域中两个十分经典的问题。能够快速准确的识别出实体对及其之间的语义关系,对于信息抽取有着必不可少的作用,同时在进行知识图谱的创建过
语言问题贯穿着海德格尔前后期的探索,具有十分重要的地位。前期海德格尔批判了传统逻辑中心主义语言观,强调要还原逻格斯的本义并将语言从逻辑和语法中解救出来。他把语言奠基在了作为此在展开状态之一的话语之上,认为语言就是生存论上的话语,从而赋予语言以源始的生存论根基,突破了传统工具性语言观的桎梏。后期海德格尔则进一步将语言从附属于人的状态中解放了出来,摆到了比人更高的位置上。他认为语言的本质具有“不可说性
随着人们对随时随地享受便捷通信的需求不断增长,传统的射频无线通信由于受到无线电频谱资源的限制而面临着巨大的挑战。同时在全球“绿色照明”的倡导下,高效节能的LED照明
移动群智感知作为一种全新的感知模式,将普通用户的智能移动终端视为感知单元,通过短距离无线通信相互协作的方式,为完成大规模感知任务提供新思路。受覆盖范围、用户偏好和
爱玩游戏是人类的天性,尤其是中小学的学生,他们更愿意接受在课堂中插入游戏的上课形式。对外汉语游戏教学法将学生爱玩游戏的天性与汉语教学内容相结合,改善了传统沉闷的教