基于深度学习的图像三维重建算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wsgray
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像三维重建技术是计算机视觉中一个不可或缺的分支,传统算法虽然经过长期发展已经有很好的表现,但其要求也相对严苛,例如需要大量不同角度的视图、已知的相机参数和充足的计算资源等,且成本相对较高。从随手采集到的单张图片中便捷、迅速地重建三维模型仍然是困难的。得益于深度学习技术的迅猛进展和大型3D数据集的开源,基于深度学习的单视图三维重建相关研究越来越多,但是目前大多数此类重建方法只针对无背景的渲染合成图片,而非真实世界中采集的图片。为此,本文受启发于深度学习领域的先进成果,提出了基于实例分割的网格重建算法和基于Transformer的体素重建算法两种兼顾合成图像和真实图像的端到端三维重建算法,并以充分的实验证实了所提出算法的有效性。最后,基于本文所提出的深度学习算法设计并实现了一个适用于单幅图像的三维重建系统。本文的主要工作如下:1.基于实例分割的网格重建算法研究。该研究在实例分割网络的基础上有机地融合了一个额外的3D重建分支,将处理后的感兴趣区域特征作为重建分支的输入,避免图片背景信息的干扰;同时,为该端到端的网络设计了恰当的整体损失函数和权重;此外还通过有监督的训练实现了生成模型与原图的姿态对齐。该算法在真实图像数据集3D-FUTURE和Pix3D上的实验结果,以及在IJCAI-PRICAI 20203D AI Challenge的单视图三维重建赛道中取得第三名的成绩均验证了其有效性。2.基于Transformer的体素重建算法研究。该研究基于自然语言处理领域的Transformer算法设计了纯卷积神经网络、纯Transformer以及混合网络三种不同架构作为单视图三维重建网络的编码器,并设计了轻量级的解码器,实现了端到端的体素重建网络。受益于Transformer中的自注意力机制,该网络更关注于对图像分类结果做出突出贡献的区域特征,从而改善重建质量。该算法在公开的合成图像数据集Shape Net上与现有方法相媲美,且在真实图像数据集Pix3D上取得比现有方法更佳的实验结果。3.基于深度学习的图像三维重建系统设计与实现。基于本文提出的算法,设计并实现了一个基于深度学习的图像三维重建系统,并做了充分的展示与测试。通过前后端的搭建和算法的部署,该系统可以简便、迅速的将采集到的单张图像中的物体转化为易用的三维模型。
其他文献
中央广播电视总台出品的纪录片《鲜生史》巧用“先生”谐音,为和鲁迅、苏轼、曹雪芹和白居易四位文人相关的美食作“史”。该片在散点式叙事结构、多元化视听语言与人文性艺术表达等方面进行了诸多尝试与突破,探索了美食纪录片的创新性叙事表达,同时也传达出美食文化背后承载的人文关怀与精神守望,是一部集思想性、艺术性与观赏性于一体的优秀纪录片。
对于初中阶段的学生来说,物理学科是一门新的学科,鉴于其对于学生的逻辑思维能力和空间想象能力有一定的要求,部分学生学习起来会觉得十分困难.为了提高学生对于初中物理的解题能力,如何引导学生利用已掌握的数学思维进行物理学习是教学中的关键.物理学科和数学学科之间存在千丝万缕的关系,物理学习离不开良好的数学基础,而数学思维同时也是学习物理的重要条件,两者相辅相成,互为补充.本文以物理例题为例,从几何知识、函
<正>习近平总书记强调:"办好思想政治理论课关键在教师,关键在发挥教师的积极性、主动性、创造性。思政课教师,要给学生心灵埋下真善美的种子,引导学生扣好人生第一粒扣子。"可是,在教育实践中,如何让思政课真正入脑入心,为学生喜爱并接受,这是广大思政教师必须探讨的问题。为此,我县举办了义务教育思想政治(道德与法治)学科专(兼)职教师培训,由县教师进修学校组织,参培学员结合自身课堂实际,问道思政课堂。
期刊
随着城市不断地扩张,原先存在于城市外围的工业厂房逐渐成为城市进一步发展的障碍,因为环境污染和城市居民的环保意识增强,这些工厂大多进行迁移或转型。对工业废弃地进行文化旅游规划,使工业废弃地重新焕发生机,对工业废弃地的文化内涵进行重塑,使其有效融入城市生态文化圈。
随着“一带一路”倡议的持续深入推进,西南沿边地区高质量共建西部陆海新通道,正逐步从对外开放的末梢变成面向南亚、东南亚国家开放的前沿窗口,对外开放的层次和平台将更加丰富。面对百年未有之大变局,西南沿边地区应主动服务国家高水平对外开放、国内国际相互促进的“双循环”新发展格局,从加强通道沿线区域合作、塑造区域价值链、统筹陆海联动、加强跨区跨境产能合作和产业互动、推进贸易便利化和制度性开放等维度来探索开放
在我国境内出现非洲猪瘟疫情后,其传染速率极为迅速,猪瘟防控成为现今迫在眉睫的重点工作。全国上下为遏制疫情传播,正在紧锣密鼓的开展防控猪瘟相关工作,为防止非洲猪瘟大面积传播,影响生猪价格以及百姓日常生活,必须对非洲猪瘟疫情防控提出根本性解决方案,保障猪场经济不受到影响,群众生活能够正常进行。本文介绍非洲猪瘟传播过程、小规模猪场非洲猪瘟疫情防控现状,并提出小规模猪场对非洲猪瘟有效防控策略。
氮对作物的正常生长和发育至关重要,藜麦(Chenopodium quinoa Willd.)是一种营养丰富并有很强的耐瘠薄特性的新兴粮食作物,黄土高原是典型的“缺氮”土壤,因此,研究藜麦耐低氮机制对培育低氮耐性作物品种、提高氮肥利用率,加快藜麦在土壤瘠薄地的合理种植有重要的意义。本研究选择藜麦ZK7(Chenopodium quinoa cv.ZK7)为实验材料,采用砂培法,通过低氮和缺氮处理,从
<正>以“氮及其化合物”中第一课时(氮气、一氧化氮、二氧化氮)为例,研究化学教学中学科核心素养的培养,在重点研究宏观辨识与微观探析、证据推理与模型认知、科学态度与社会责任等核心素养的同时,还研究如何培养学生的科学态度与辨识能力、说明论证、推论预测、概括关联和辨识记忆等学科能力。通过教学实际对改进前与改进后的教学进行对比反思,
期刊
<正>一、问题提出我发现,快递派送过程中存在不少问题,尤其效率低和快递件丢失,更是直接关系到快递员的绩效和用户的利益。通过系统分析与研究,我设计出一种智能、高效又安全的快递系统,以求解决上述问题。二、设计原理本系统以STM32 F103 ZET为控制核心,结合射频感应模块、二维码扫码模块、LCD显示屏、蜂鸣器、HC05蓝牙模块、震动传感器、舵机模块,以及电源等组成硬件系统,并综合利用了传感器、蓝牙
期刊
目的:研究门诊老年高血压患者治疗依从性及健康教育对健康知识掌握、血压控制和情绪调节的影响。方法:回顾性分析2020年5月~2021年5月在我院门诊治疗的老年高血压患者480例,依据管理方式的不同将这些患者随机分成2组。其中336例采用规范化管理的患者作为观察组,其余144例采用常规管理的患者作为对照组,两组管理方式的不同仅体现在健康教育的区别上。比较2组疾病健康知识知晓率、用药依从率、血压控制率、