基于基于多线索学习的光场深度估计研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:ciyoyo23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度估计可为人脸识别、三维重建、自动驾驶等提供场景三维信息。与传统成像系统相比,光场成像记录了光线亮度和角度的4D信息,且隐含了多种深度线索。近年来,基于深度学习的光场深度估计已取得了显著的进展。但是大多数方法集中于从光场的单一表示中提取深度线索,其单个线索所包含的深度信息是不完整的。例如,外极线(EPI)线索可以有效解决遮挡、无纹理问题,但在处理噪声问题上无能为力;而对焦线索虽然可以高效的处理噪声问题,但对遮挡处理存在局限。本文研究光场中各类线索在深度估计的作用,并结合深度学习的优势,充分发挥多线索间的互补特性,进而提出了基于多线索混合学习的光场深度估计模型“FusionNet”。该模型包含了三个子网络,分别是基于EPI图像的EPI子网络(EPIs Pathway)、基于对焦线索的对焦子网络(Defocus Pathway)、基于中心子光圈线索的图像结构子网络(Structure Pathway)。研究多线索在深度估计中的互补特性是本文的重点,本文主要研究内容有以下三点:1、在多方向EPI图像块的深度估计方法基础上,针对EPI深度线索对噪声敏感的问题,提出基于重对焦线索的对焦子网络。通过引入重对焦线索,改善EPI子网络抗噪能力差的问题。2、针对基于重对焦线索的对焦子网络在遮挡和边缘区域预测效果不佳的情况,引进了中心子光圈的图像结构特征,设计了基于中心子光圈线索的图像结构子网络,从而改善边缘预测不准问题。3、通过分析三个单独线索的子网络,提出多线索融合策略以充分发挥各自优势。融合采用了多层融合的方式,实现3个子网络混合学习,使融合模型FusionNet在处理遮挡、边缘、噪声等问题上都得到令人满意的效果。.本文所提出的融合模型FusionNet在光场深度的估计精度上取得了大幅度提高,算法已经提交在HCI4D光场深度估计测评网站上,在BadPix0.03和BadPix0.01的高精度测评中,FusionNet排名第一,证明了本文算法的优越性。
其他文献
中国传统节日历史悠久,是我国民族精神与传统文化的重要载体,蕴含丰富的教育资源。将中国传统节日与大学生思想政治教育相结合,用中国传统节日的文化内涵丰富大学生思想政治
经济全球化和区域经济一体化发展形势下,城市群、开发区与产业集群成为经济社会发展中最密集、最具活力的地理现象,也是经济地理学和其他相关学科研究的热点问题和前沿领域。
工业互联网是工业生产与互联网相结合的产物,是一个开放的、全球化的网络。它打破了传统的工业生产系统相对封闭的环境,使其不可避免的面对互联网中的病毒、黑客等安全威胁。近年来各种工业网络安全事件呈现爆发式的增长,给企业和社会造成了极大的经济损失和安全威胁,因此开展工业互联网安全性测度研究迫在眉睫。本文在分析工业互联网安全特殊需求的基础上,运用多状态Markov理论针对工业互联网的特点构建Markov安全
互联网的快速发展使人们生活方式发生巨大改变的同时,为许多领域带来了变革与创新,尤其当移动互联融入日常生活,这样的改变愈加广泛且剧烈。人们生活水平的提高为文化的繁荣发展提供了契机,移动互联则能跨越时间与空间对文化进行更广泛的传播。对于文化本身来说,移动互联是新时代背景下保护与传承文化的新手段与新方法,有利于对文化进行长期的储存与管理,也更加利于传播。尤其对于非物质文化遗产来说,这样的方式打破了非遗文
随着不可再生能源的过度消耗,可再生能源得到了越来越多的关注,并以分布式能源的形式被广泛运用到电力产业,推动了区域能源互联网的发展;同时,智能电气设备的广泛部署产生的海量数据推动了区域能源互联网中的数据应用的发展。作为数据应用中的第一环,数据采集是数据应用的基石。针对区域能源互联网场景下发电侧与用电侧数据来源不同、数据种类不同等特点,分别研究稳定有效的数据采集技术能够为数据应用提供有力支撑。对于发电
为适应济南高新区国土规划建设管理局部门、职责整合,本文全面梳理、整合分散的档案、图形数据资源,创新性地提出了构建“结构优化、布局合理、专题齐全”的面向“大建设”管理体系的国土规划建设“数据中心”系统。建设完成的面向“大建设”管理体系的国土规划建设“数据中心”,解决了多部门数据不统一、不规范、不完整等问题,解决了当前数据采集、汇交、更新、积累、整合、开发和利用尚不能满足社会化服务需求问题,打破了“信
学风建设是高等学校教学与管理的重要工作,是高校教育改革的灵魂,亦是大学生顺利完成学业的重要保障。建设优良学风是大学固本强基的百年工程,也是践行“为党育人、为国育才”初心使命的重要保证。新时期在加强高校思想政治教育工作的过程中,更应该充分结合学风建设来满足大学生的发展需求和期待。目前,我国高校在学风建设中还存在不同程度的问题,其偏离了高等教育的人才培养目标和育人理念。无论是对高校还是对大学生自身,学
随着通信技术的不断发展,超短波通信系统依靠其稳定的传输方式和较高的通信速率,在定向、全向通信以及阵列测向等领域中扮演着重要角色。超短波天线作为系统中的关键组件,对其尺寸和性能要求也愈发提高。本文针对超短波天线的不同应用,对超短波天线的宽带、小型化及散射特性进行了研究,研究内容分三个部分:一、对超短波宽带八木天线的频带展宽、优化设计及小型化馈电技术进行研究。采用等效加粗有源振子直径的方法展宽天线工作
随着智能时代的到来,语音交互已经成为人机交互最重要的方式。机器语义理解的准确率是评价语音交互设备性能重要的指标之一。因此,建立有效的语音语义解析模型对于提高语音语义设备性能具有重要的作用,相关研究具有重要的理论意义和实际应用价值。语义解析,在某种意义上是一种将自然语言“翻译”为计算机可识别的形式化语言过程。因此,可以将语义解析当作一种特殊的机器翻译问题来处理。随着深度学习神经网络的迅速发展,诞生了
店铺选址是一个很重要的商业问题,一个好的选址策略对于一个企业的开始或者扩展都有着至关重要的作用。选址问题中的核心问题是如何合理而又准确的评估城市中的候选地块,这将会对后续的决策过程带来很大的影响和潜能。同时,在选址之后对店铺的运营过程中,如何实时分析和预测客户的流量信息,也对店铺的实时运营调整,营销活动,商品选购等业务有着很重要的帮助作用。然而,店铺选址和客流量预测都是非常困难的问题,它们受到很多