基于Kinect的室内大场景实时三维建模系统

来源 :深圳大学 | 被引量 : 0次 | 上传用户:quhaoshu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前场景三维建模常用的技术手段主要基于两种思想,正向思想和逆向思想。正向思想基于三维建模软件3ds Max、Maya、CAD等主流的建模软件,但是从想法到设计再到建模,所耗时间周期太长,成本高。逆向思想是基于传统的三维重建设备三维扫描仪,如激光扫描仪,双目立体视觉系统,TOF深度相机。这些三维扫描设备价格昂贵、设备结构复杂、采集数据量大、扫描时间长、实时性差、场景建模效果不理想。随着消费级深度相机Kinect的问世和普及,室内大场景的三维建模变得更加容易。但是Kinect获取深度数据受其本身硬件、环境光照条件和距离远近的限制,获取的深度数据往往带有噪声和空洞且几何深度信息缺失严重使得三维建模困难和不准确。此外,室内场景实时三维重建时还存在累计误差和错匹配问题,动态实时效果差,场景重建大小有限,无彩色纹理信息等问题。针对上述问题,本文开展基于Kinect的室内场景实时三维建模关键技术研究,提出一种基于消费级深度相机Kinect的低成本、高精度、实时性室内场景三维建模系统,解决深度数据的空洞修复,高精度多视点深度数据匹配、实时重建与场景更新等关键技术问题。本文工作主要包括:(1)搭建一套基于消费级深度相机Kinect的低成本、高精度、实时性的室内大场景三维建模软硬件系统。可在室内环境中移动采集场景信息,在Linux操作系统上完成室内场景的实时三维重建和运动轨迹的估计。(2)利用OPENNI驱动Kinect2深度相机获取室内场景的深度数据和彩色数据。对Kinect相机进行精确标定获取相机的参数以及红外相机与彩色相机的相对位置,将深度图和彩色图进行配准对齐生成三维彩色点云。分析了Kinect获取的深度数据存在大范围深度值缺失的原因和相应的解决办法,对比了高斯滤波、中值滤波,均值滤波,双边滤波这几种常用的深度图像滤波修复算法。提出了一种改进的深度图补全方法,研究基于空间相关性和颜色一致性约束填补深度图中的空洞,并利用双边滤波进一步修复与去噪。(3)在基于Kinect的室内大场景实时三维重建方案中,编写MFC应用程序测试了SIFT、SURF和ORB三种算法的特征检测与匹配的效果,考虑到动态场景实时建模,选用ORB算子运用到系统前端图像处理中。对ICP算法做了优化和改进,通过对深度数据进行精简和采样,四叉树结构进行对应点的索引,结合ORB与RANSAC算法进行特征检测与快速匹配,提高了特征检测与配准的效率。(4)随着室内场景三维扫描时间的增加,累计误差的积累会造成重叠、错匹配现象影响重建的室内场景整体效果。研究通过回环检测与全局优化减小累计误差提高配准的精度,扩展Kinect Fusion算法固定重建场景大小,对室内大场景进行实时三维重建与融合渲染。
其他文献
位移传感技术是利用可测的物理量来与微小位移量之间形成对应关系,通过对可测物理量的测量实现位移信息的获取。根据所测物理量的种类,现有的位移传感技术主要分为电学测量和光学测量两种,实际应用中可以根据不同的需求进行选择。对于电学测量方法,常用的电学物理量有电位、电容和电感等,而光学方法所用的光学物理量有振幅、相位和偏振等。针对较高精度的位移传感,在实际测量中光物理量相对于电物理量存在一定的先天优势,例如
如今,超短脉冲激光技术已成为探测微观世界的主要手段,也是推动物理、生物、化学、信息等一系列学科领域发展的关键技术。超短脉冲激光的广泛应用,离不开具有广泛自由度的色散调控器件,以得到最短的激光脉宽。另一方面,啁啾脉冲放大(CPA)是目前获得高峰值功率超短脉冲激光的重要方式。在CPA中,展宽器与压缩器以及材料之间的色散匹配会直接影响最终的压缩脉宽以及光束质量。因而,为迎合超短脉冲激光的发展需要,需要一
1979年,Berry和Balazs在量子力学领域提出薛定谔方程具有不随时间变化的艾里函数的波包函数解,并表示这种不对称的自加速光束具有无穷的能量。起初这一工作并未引起人们的兴趣,2007年由美国佛罗里达大学光电工程学院的Siviloglou和Broky等人无偏差的从理论上和实验上展示了艾里光束形成。通过引入截至系数得到了有限能量艾里光束。艾里光束因自身具有自加速、无衍射、自愈等奇特特性引起了科研
深圳市作为我国战略性新兴产业集聚性最强、规模最大的城市,科技产业园建设正蓬勃发展。与此同时,随着城市经济建设快速发展,城市土地资源日趋紧张,为科技产业园的发展带来了新的挑战。在此背景下,深圳市科技产业园与城市的关系越发密切,园区功能日益多元化,同时空间布局向高密度发展,空间形态也呈现出立体化的特征,高密度科技产业园在有限土地资源下,以高效混合的方式满足了新兴产业空间的发展需求。高密度科技产业园公共
近年来,为满足科研与商业市场的实际应用需求,各种类型的生物传感器研究相继开展,其中,光学生物传感器的研究获得了广泛地关注。相比较于其他类型的生物传感器,光学生物传感器具有快速响应、高灵敏度、高稳定等优点。目前,基于Kretschmann结构的表面等离子体共振(Surface plasmon resonance,SPR)的生物传感器凭借其免标签、实时检测的特性被广泛应用于生命科学、电化学、环境安全以
随着三维扫描设备的普及,人们越来越容易获得物体的三维数据。三维数据在测绘、无人驾驶、电商购物、文物保护、逆向工程以及工业自动化等诸多领域具有广泛的发展前景。手机厂商在产品质量检测环节,需对手机外壳各类的关键尺寸进行检测,以保证良品率。手机外壳常用的检测手段为接触式三坐标测量机和二维影像测量仪等。手机外壳的微小结构甚多,需要检测的尺寸项目繁多,三坐标测量机需要花费大量时间,效率低下;而二维影像测量设
在一定条件下,光入射至金属表面会产生等离子体共振现象(SPR),共振条件对表面的介质介电常数十分敏感,因此,被用于制造SPR传感器。该类传感器具有实时、无标记、高分辨率且样品消耗低等优势,目前已被广泛用于生化反应监测。此外,具有成像能力的SPR传感器在高通量检测方面具有明显优势。本文中我们设计并搭建了一种基于声光可调滤波器(AOTF)的光谱调制型SPR成像检测仪。其特点在于可实现快速(1p/s)、
受控核聚变因其固有的核安全性、可用燃料的区域广泛性和持久性以及对环境保护的优越性,被认为是解决人类能源问题的最佳途径,而以托卡马克装置为代表的磁约束核聚变被认为是目前最有前途的受控核聚变方式,其中试验包层块模块的第一壁结构件直接面对等离子体,被认为是聚变堆最为关键的部件之一。低活化铁素体马氏体(RAFM)钢因其固有的几何稳定性、高热导率、较低的热膨胀和辐照肿胀系数等优良的热物理特性,并且其低活化成
近年来随着增材技术的迅速发展,制造方法越来越多,应用场景也越来越广泛。但是,增材制造技术共有的制造缺陷仍旧严重制约着它的发展。特别是台阶效应、表面质量差、成型时间过长、打印件力学性能差等问题。但是,2015年提出的一种连续液面成型技术(Continuous Liquid Interface Production,CLIP)颠覆了之前的增材制造的方式,解决了上述传统增材制造方式所存在的问题。此技术自
随着社会科技水平的提高,三维重建技术在生产生活中变得越来越常见,与我们的生活也越来越贴近。普通物体的三维重建技术已经较为成熟,重建得到的点云质量与精度都较高,而对于高反物体和深色物体的三维重建依旧存在些许问题。高反物体与深色物体由于采集的图像上存在过曝和欠曝现象,导致重建得到的点云出现缺失。另外,由于双目相机采集图像的位置不同,致使采集得到的图像上反光区域不同,也加重了点云的缺失。本文针对以上两个