基于深度学习的RGBD图像增强方法研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:woai6672690
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度信息是增强现实、三维重建、无人驾驶等众多应用场景中不可或缺的信息之一。RGBD相机不仅可以获取到场景的深度图像,还可以获取到同一场景下的彩色图像/RGB图像,然而受采集设备的限制,其获取得到的深度图分辨率远低于其对应的RGB图像的分辨率,很难满足实际应用的需求。针对这一问题,研究了在高分辨率RGB图像作为引导图像的条件下,对深度图像进行超分辨率重建的方法,充分利用RGB图像的细节信息来重建出高分辨率深度图,从而得到高分辨率高质量的深度图。主要研究工作如下:(1)提出基于改进U-Net网络的深度图超分辨率重建方法。为了充分利用深度图的高频特征和引导图像的层次特征,通过改进U-Net网络构建出深度图超分辨率重建网络(UDepth SR),该网络通过残差学习的方式,利用低分辨率(LR)深度图和高分辨率(HR)RGB图像,重建出HR深度图。UDepth SR在U-Net网络的Encoder-Decoder基础上增加多层次引导分支(MGB),该分支用来从彩色图像中提取多层次强度特征来引导深度残差图的重建;同时在跳跃连接中引入通道注意力机制模块(CAB),该模块用来突出那些包含丰富细节的通道信息来提取深度图的高频特征,从而为Decoder的上采样过程补充更精细的特征。Decoder提取的特征、MGB提取的分层特征和CAB提取的高频特征进行融合,通过残差学习得到HR深度图。在公开数据集上的实验结果表明,UDepth SR的结果优于一些传统方法和现有方法,验证了所提网络模型的有效性。(2)提出基于多尺度残差块的深度图超分辨率重建方法。为了充分利用深度图的多尺度特征和引导图像的高频特征,提出基于多尺度残差块的深度图超分辨率重建网络(MSRNet),该网络利用从RGB图像提取的高频特征来逐渐引导深度图的超分辨率重建过程。网络包含两个分支:高频引导分支(HFGB)和多尺度重建分支(MSRB)。HFGB中的高频层(High Frequency Layer,HFL)采用Octave卷积把RGB图像特征分解为高频特征和低频特征,只使用高频特征作为引导,用来提供有用的高频细节;对低频特征进行抑制以减少参数,保持重建效果的同时提高效率。MSRB中包含一种多尺度残差块(MSRM),这个模块在残差结构的基础上通过使用大小不同的卷积核来提取不同尺度下的深度特征,同时在不同尺度特征之间采用跳跃连接,实现特征的共享和复用,使深度特征在重建过程中得到充分的利用。HFL提取的高频特征和MSRM提取的多尺度特征进行特征融合重建出残差图,最后通过残差学习生成HR深度图。实验结果表明,MSRNet的实验结果优于一些传统方法和深度学习方法,具有一定的实际应用价值。
其他文献
燃料电池是将燃料中的化学能直接转化为电能的一种新型发电装置,也是继水力发电、热力发电和原子能发电的第四种发电方式。它的发电原理是将燃料化学能中的吉布斯自由能通过电化学的方式转化为电能,不受“卡诺循环”的限制,理论工作效率可以达到85%,因此是一种高效的发电方式。其中,质子交换膜燃料电池(PEMFC)因具有高效率、低排放、结构简单和静音的优点,而被认为是21世纪最有发展前景的电源技术之一。本文以高温
学位
推进内生发展实践,为实现脱贫攻坚与乡村振兴有效衔接提供了深层动力机制,是乡村振兴时期中国乡村社会发展的重要目标和实践方向。但“外生—内生”的实践张力在中国乡村发展的现实情境中长期存在,并演化成为乡村振兴时期中国乡村内生发展实践所面临的多重现实困境,同时体现在价值、主体、行动以及结构等层面。对此,需要将自上而下的外生发展模式和自下而上的内生发展模式相结合,采取“上下联动、内外共生”的新内生发展模式,
期刊
报纸
学位
随着全球化进程的不断推进,国际化社区不断涌现,国际化社区治理难题日益凸显,而中西方文化差异也成为社区治理难的原因之一。因此,国际化社区文化融合问题得到了越来越多的关注,社会工作在促进国际化社区文化融合的过程中扮演着重要的角色。X社区是多元文化共存明显的国际化社区之一,社区的文化具有多元性和异质性的特点,外籍人士的生活方式、价值观念、风俗习惯、宗教信仰等方面都与本地居民存在着或多或少的差异,因此文化
学位
我国扶贫搬迁措施实施后,大量农村贫困户迁入安置区。他们往往来自于各县区相对偏远的农村地区,其中又有一个相对特殊的群体即老年人。搬迁实施后,与老年人此前生活的农村对比而言,无论生活环境还是生产资源均有巨大改善。然而这一巨变对老年群体也产生一定负面影响,伴随生活环境与生产生活方式的转变,老年人在新社区中并不适应这种情况,社区融合欠佳。本次研究过程中,笔者采用问卷调查与访谈法对易地搬迁安置区G社区的老年
学位
石墨烯于2004年被实验证实可以稳定存在,由此打开了一扇揭示自然界神奇一面的大门,研究者们自此可以在二维的系统中直接研究电子与赝粒子们的运动及其相互作用。维度对材料的影响会在力学,电学,热学和磁学等性质上有深刻体现。本文所要讨论的能谷电子学性质也与二维材料的维度本身有着深刻的联系。所谓能谷是指最高价带或者最低导带的某些区域,在这些区域里载流子的能量会低于其它区域,形成一个能量山谷。能谷电子学就是研
学位
近些年来,随着生活水平的提高以及人们思想观念的变化,老年人越来越受到社会的关注和重视。老年人能够增强家庭的凝聚力,创建和谐社会环境,稳定社会结构,对家庭和社会都意义重大。老年女性是老年人群体的重要组成部分,社会对其关注的重点还在于养老问题、子孙辈的抚育和医学健康等议题上,忽视了其热心公益、闲暇时间多等优势。在这一背景下,增强老年女性主体意识,提高社会大众对于老年女性的关注与重视,满足老年女性社区参
学位
近年来,随着我国基础建设飞速发展,装配化建设的地位越来越高。目前装配化施工成为了很多桥梁采用的施工技术手段,用于预制桥面板之间连接的湿接缝是桥梁装配化施工的重点与难点,如何使湿接缝更好的传递剪力与弯矩,是湿接缝技术需要深刻探究的一个点。为了简化接缝内部钢筋构造,提高接缝安全性与耐久性,超高性能混凝土(Ultra High Performance Concrete,简称UHPC)凭借其优异的力学性能
学位
重载铁路由于运量大、有效降低运输成本、运输潜能高的特点,逐渐取代客货混运铁路,成为世界范围内铁路大国运输业发展主流。与此同时,曲线梁桥在铁路中应用越来越广,伴随而来的列车行驶在曲线轨道上产生的车桥耦合问题已成为铁路桥梁领域的研究热门课题。鉴于目前对重载铁路结合小半径曲线梁桥的车桥耦合振动分析还不够深入,对于不同小半径轨道(半径小于1000m)下列车通过曲线桥梁的动力响应的探讨缺乏细致分析。因此,本
学位