基于深度相机的教室场景三维重建与自由视点图像生成

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hathaway60000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超级三维课堂是指利用三维重建,虚拟现实等技术提供三维沉浸式教学场景的教学方式。它将使得网络教学更具吸引力,是未来教学的新模态。重建完整的教室场景三维模型是开发实现超级三维课堂的前提和基础。RGB-D相机可以实时获取场景深度图像,能方便的用于室内场景的视觉三维重建。但是,由于教室场景光照环境复杂,获取的深度图像存在噪声和空洞,导致重建的三维模型存在孔洞。因此,针对复杂教室场景中采集到的深度图像进行修复,为三维重建提供更精确的数据,具有重要意义。为了重建更完整的教室场景三维模型,提出先利用深度图像显著性检测和阈值分割填补噪声区域再融合彩色图像边界检测与表面法线估计修复深度图像的方法。首先,通过深度图像显著性检测与阈值分割提取出深度图像中噪声区域的位置,利用检测结果对噪声区域进行填充。然后,通过训练卷积神经网络对彩色图像进行边界检测与表面法线估计,融合噪声填充后的深度图像、边界检测图和表面法线估计图进行全局优化修复原始深度图,完成深度信息的补全。为教室场景的三维重建提供更精确的数据,从而修复三维模型孔洞。然后将修复后的深度图像和对齐的彩色图像作为输入,采用截断符号距离模型进行三维重建,得到教室场景三维模型。最后对三维模型文件进行分析,实现三维模型的可视化与自由视点图像生成,并利用OpenGL进行三维模型的加载与渲染,提高三维模型可视化速度。通过RealSense D435采集教室场景数据集进行实验。实验结果表明,深度图像中噪声区域显著性检测准确率达90%以上,对比直接进行深度图像修复,加入噪声填充后修复效果更好,RMSE值可达0.1351。且深度图像修复后重建的三维模型孔洞也得以修复。三维模型可视化时间开销为70ms左右,已初步满足进行实时交互的要求。研究结果对需要环境三维信息的三维室内设计、室内机器人等领域也具有一定指导意义。
其他文献
实验是高分子科学教育中不可或缺的教学形式,以往教学中各门课程的实验设计缺乏连贯性,只按自己的特点组织实验内容,相互之间没有交叉、衔接,教学内容僵化。针对这些问题,将
贝塔中性策略(Betting Against Beta Strategy),简称BAB策略,是Frazzini和Pedersen(2014)提出的买进低Beta资产,卖出高Beta资产,构建贝塔中性组合的一种低风险投资策略。在有低系统性风险高收益的Beta异象(Beta Anomaly)市场中,BAB策略可以获得传统定价模型难以解释的超额收益。Frazzini和Pedersen(2014)实证发现
氧化镁膨胀剂因与传统膨胀剂相比具有诸多优良特性而越来越多地应用与实际工程中,取得了显著的工程效益。目前其理论研究已取得了丰硕成果,但是关于其膨胀效能在不同条件下的
随着我国城镇化的不断推进与城市经济的高速发展,办公空间的需求将不断增加,而写字楼正是办公空间的载体。而且随着重庆自贸区的建设以及长江经济带核心城市的战略地位日益凸
循环荷载作用会影响软土的力学特性,导致其刚度降低,产生较大的变形甚至发生破坏。为了更好地了解天然软土在循环荷载作用下的动力特性,有必要建立能够描述软土动力特性的本
随着无线通信技术长期以来的发展与进步,不管是对社会整体生产还是对人们生活便利的方面来说,其发展已经与社会紧密结合在一起。而电磁波长久以来,作为无线通信的主要载体,电磁频谱资源一直是无线通信系统中非常宝贵并且稀缺的资源。近年来,通信领域逐渐将研究方向投入到了更高频段的通信传输技术当中,尤其是频率更高、频带更宽、波长更短、保密性更强的毫米波段,希望开拓更大的信道容量与传输速率,并具备更好的抗干扰能力。
随着这些年风能的不断飞速发展,越来越多的风电场被建立,而风机的支撑结构塔筒和基础是使风力机能够正常运行的重要保障。但是近年来风力机被破坏的事故频有发生,一种破坏现
毛细管电泳(CE)作为新型做量分析技术,具有高效、快速、样品用量少、可定性定量分析等特点,在生物、医学、食品、农业、环境等领域有广泛的应用。为生物学专业本科生开设“毛细管
急性乳腺炎多发生在哺乳期妇女,发病率约占10%左右,处理不当不仅影响哺乳,也使乳房形成较大的瘢痕或变形并影响外观。现将笔者在1990~1994年用药姜灸治疗急性乳腺炎40例总结如