基于深度学习的无监督光场深度估计

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:cai2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度估计可为人脸识别、人脸活体检测、三维重建等应用提供目标或场景的三维信息。它从单目图像、双目图像或多目图像中提取深度线索,恢复深度图。不同于传统相机成像和多相机成像,基于微透镜阵列的光场成像可通过一次拍摄,得到9?9、11?11、13?13等不同视角的图像阵列,即不同视角下的图像集合。光场深度估计以光场图像作为输入,从而恢复出中心子光圈图像或多个子光圈图像的深度信息。由于光场图像提供了丰富的4D光线信息,因此它可以更有效地解决深度估计任务中的无纹理、弱纹理、遮挡、噪声等传统深度估计方法所面临的问题。卷积神经网络具有较强的特征提取能力。本文以深度学习方法来完成光场深度估计任务。针对大多数真实场景数据集缺乏Ground Truth,难以采用有监督训练的问题,本文研究并提出了单目输入和多目输入的无监督光场深度估计方法。该方法在处理无纹理、弱纹理、遮挡、噪声问题都展现出了良好的性能。本文的主要创新点在于提出了一种通用的无监督光场深度估计网络结构,及其无监督损失函数的设计,具体为:单目输入的无监督光场深度估计旨在从中心子光圈图像中估计光场深度估计。根据光场特性设计了三种新颖的无监督损失函数。分别为(1)光度一致性损失函数Photometric Loss,它根据光场图像间的照度一致性假设和预测的视差结果,计算生成图像与目标图像间各像素的相似性。(2)散焦损失函数Defocus Loss,它利用光场的重对焦特性生成的全焦点图像,并计算全焦点图像与中心子光圈图像的相似性。(3)对称性损失函数Symmetry loss,针对光场图像中遮挡对称性,提出对称子光圈图像间视差一致性约束的损失函数。在多目输入的无监督光场深度估计中,输入的多视角子光圈图像为深度估计提供了遮挡和多视角信息。主要包括:(1)网络根据输入的多视角图像,以及预测的视差图,提取遮挡信息,并用于无监督损失计算,从而缓解遮挡对深度估计的影响。(2)提出了角度熵一致性损失CAE Loss,根据生成的角分辨率图像,采用角度熵一致性约束,提高算法在遮挡区域和噪声环境下的鲁棒性。基于以上策略,本文提出了Unsupervised Monocular Net(已被IEEE Trans.Image Processing录用)SCI一区TOP期刊、Unsupervised Multi-input Net两种光场深度估计方法,在合成光场数据测评数据集和真实场景数据集的性能评估中,表现出良好的深度估计性能。
其他文献
在网络技术为代表的知识信息社会,马克思主义科学技术理论依旧指导着我们的科技实践活动。科学技术具有两面性。科学技术的价值体现在它作为第一生产力,可以提高人们的生活水平,加速社会发展进程。同时,科技的发展可以提升人们的认识水平,促进人的全面发展。然而,科技活动中也有一些社会问题伴随产生,这些就是科技发展的某些异化现象,主要表现为人的主体性丧失、道德沦丧和意识形态危机。求知是大学生的首要和根本任务。随着
在无线移动通信系统中,多址接入技术可以分为正交的和非正交的,其主要区别是非正交的多址技术用户可以对资源块进行复用。多址接入技术会随着无线移动通信系统的更新而发展。正交多址接入技术目前已经无法满足下一代通信系统提出的各种需求,如,超低的时延、数以万计的用户接入等。因此,非正交多址接入(Non-orthogonal Multiple Access,NOMA)技术凭借其多路复用的优点,成为面向5G通信的
随着计算机技术不断进步,互联网应用越来越广泛,网络在人类的生活和工作中扮演着越来越重要的角色。但是在网络给我们生活和工作提供便利条件的同时也带来了各种安全问题,因此网络的安全问题越来越受到重视,如何有效的评估网络的安全状况并及时的发现网络的安全问题已成为网络研究中的一个重要内容。针对网络安全问题,传统的防护手段是使用网络入侵检测系统、防火墙、防病毒软件或者脆弱监测系统等监测设备来对网络情况进行监测
语义分割是对对象类别,位置和形状信息的全面场景描述,在自动驾驶,医学分析和计算摄影具有广泛的应用。本课题研究了基于深度学习的语义分割算法。全卷积网络的引入,使得深度
太行精神是中国共产党领导太行军民在抗日救亡的烽火硝烟中形成的,又在社会建设和改革开放的艰苦奋斗中不断发扬光大,是经过实践检验的、与时俱进的精神财富,是我国革命文化的重要组成部分。正是在太行精神的鼓舞和鞭策下,革命战争年代,太行儿女能够前仆后继、英勇奋战、百折不挠,取得抗日战争和解放战争的伟大胜利;社会主义建设时期,能够艰苦奋斗、团结一心、自强不息,取得社会主义建设的辉煌成就;改革开放以来,能够脚踏
克氏原螯虾(Procambarus clarkii),俗称红螯虾、淡水小龙虾,在上世纪三十年代传入我国,随后几十年内凭借其较强的适应力、生长力迅速、肉质鲜美和营养价值高等诸多优点占据了我国淡水养殖虾类产业的重要地位,并成为全世界商品价值最高的虾类之一。但近年来,随着克氏原螯虾需求量的不断增加,其养殖规模和养殖密度也不断扩大,诱使各种致病微生物带来的病害频繁发生,严重威胁了克氏原螯虾养殖产业的健康发
随着无线电通讯设备和电子技术的发展,电磁波作为信息传播媒介已渗入人类生活的方方面面,带来便利的同时也造成了严重的电磁辐射。在军事领域中,随着探测技术的飞速发展,隐身技术的应用愈发广泛。因此,微波吸收材料的研究是目前的热点课题。另一方面,在煤炭开采和洗煤过程中会产生大量煤矸石,采用堆放处理的方式极其污染环境,因此,对煤矸石进行有效的回收利用成为科研工作者当前的主要任务。在此背景下,本论文尝试利用煤矸
企业财务战略中一大关键在于与资本结构相关的决策。已有大量文献从静态到动态的视角对资本结构加以研究:理论研究从静态理论发展到动态权衡理论,实证研究也从静态的资本结构决定因素上升到资本结构动态调整的动因和效果。通过研究产融结合是否对企业资本结构调整造成影响,可以探究关系型融资会否对企业缓解融资约束、促进自身资本结构优化等形成正面影响。本文选取沪深两市A股上市公司2007-2018年的数据为研究样本,研
随着城镇化进程和社会经济的快速发展,景观类型结构变化剧烈,景观格局特征复杂度逐渐增加,土地生态及其优化问题日益成为区域研究关注的热点。目前,土地生态优化多集中于分区
2015年国务院发布了“中国制造2025”战略计划,加快制造业升级,推动制造强国的实施。“中国制造2025”明确了九项战略任务和重点,最核心之一就是制造业转型,作为制造业重要支柱的上游钢铁行业也随之做出改变,着力落实产品结构调整与技术升级工作,特钢比重在钢铁行业逐步提高。随着国家对环保严控,加快了钢铁企业淘汰落后品种的速度,钢铁行业产品结构调整迫在眉睫。产品结构发生变化的同时,营销组织结构和客户关