面向复杂遮挡场景下的光场深度估计与超分辨率重建

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:bo0316
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,光场成像技术的飞速发展推动着光场相机在各个领域得到广泛应用。光场相机一次拍照就能同时捕捉场景的空间和角度信息,因此在深度获取方面具有多维数据的优势。但是当场景中存在复杂遮挡时,遮挡区域的深度估计结果精度会明显降低,同时由于硬件条件的限制,光场相机的空间分辨率和角度分辨率存在制约,为了记录场景多视角信息,会牺牲单张子孔径图像的空间分辨率,这使得光场相机的成像质量相比传统相机有所下降。针对上述问题,本文从遮挡场景下的光场深度估计和提高空间分辨率的光场超分辨率重建两个方面进行了深入研究。本文工作总结如下:(1)针对复杂场景中的遮挡区域构建基于子孔径差异检测的抗遮挡光场深度估计算法。首先利用本文提出的差异判别算法针对光场子孔径图像构建遮挡检测模型;其次,基于遮挡检测模型得到精确的遮挡检测图,并使用聚类算法将每个遮挡点窗口划分遮挡区域和非遮挡区域,得到遮挡边缘;最后采用马尔科夫能量场结合遮挡检测图、遮挡边缘、中心视角图像、初始视差图对深度估计结果进行优化。实验结果表明,本文提出的抗遮挡算法能够有效提高光场深度估计的精确性。(2)提出了一种新型光场深度估计网络EPI-OCC-NET(Epipolar Plane Image and Occlusion map Network)。该网络将遮挡检测图作为新的网络输入特征,在融合横向和纵向极平面图像(Epipolar Plane Image,EPI)的基础上构建了三输入分支网络,并将EPI索引作为时间维度,采用3D卷积核来驱使网络学习到更具备区分性的子孔径图像间的差异信息特征,然后拼接分支网络完成全卷积的深度估计。实验表明本网络在HCL光场4D数据集上能够获取可靠的场景深度信息,提高深度估计对遮挡区域的鲁棒性,优于目前几种流行的深度估计方法。(3)针对光场子孔径图像空间分辨率不足的问题构建了全聚焦的光场超分辨重建模型。该模型首先融合图像退化模型、散景渲染和深度图进行焦点区域的超分辨率重建,其次利用焦点栈进行全聚焦的超分辨重建,最后从多个角度出发设计实验,从定性和定量上验证算法的优越性。
其他文献
为适应新时代社会对德才兼备技术人才的新需求,《普通高中思想政治课程标准》(2017版)新增了核心素养理念,它是党的教育方针在学科课程里的具体要求,学科核心素养是新课标下课程目标具体展开的引擎,而政治认同核心素养作为政治学科核心素养的首要要素,彰显了政治课程的理念与性质。高中生是时代的“晴雨表”,历史和现实告诉我们:高中生的政治态度和政治行为关乎国家安全、社会稳定,因而培育高中生的政治认同素养变得尤
干旱地区土壤水分是影响土地荒漠化的主要因素之一,在植被恢复和群落演替过程中具有重要作用,如何高效、无损、精准的获取土壤水分信息,并在此基础上进行表层(0~20 cm)荒漠土壤水分空间分布特征及驱动影响因素的研究是目前的热点问题。因此,本研究采用光学遥感Landsat 8 OLI/TIRS和微波遥感Sentinel-1 SAR数据的优势,以南疆阿克苏地区空台里克为研究区,以光学遥感计算多个光谱指数,
信息技术作为当今先进生产力的代表,已经成为我国经济发展的重要支柱和网络强国的战略支撑。为培养学生适应信息社会,具备终身学习和社会发展的必备品格和关键能力,2017版《高中信息技术学科课程标准》提出,信息技术学科要增强学生信息意识,发展学生解决问题的计算思维,提高数字化学习与创新能力,树立正确的信息社会责任观念,信息技术学科要发挥其重要作用,成为发展学生信息素养的主阵地,培养具有较高信息素养的中国公
2021年02月国务院发布的《国务院关于加快建立健全绿色低碳循环发展经济体系的指导意见》提出要“打造绿色物流”的指导意见。立体仓库是物流体系的一个重要组成部分,所以针对立体仓库出入库系统的低碳化研究具有一定的现实意义。本文通过考察立体仓库出入库系统运行过程中的碳排放特征,主要针对出入库路径规划问题进行优化与仿真研究,以期提降低出入库系统的碳排放,同时保证该系统运行效率。本文的研究主要从以下几个方面
弗兰纳里·奥康纳是20世纪美国著名的女才子,长期生活在南方。她生活的时代,美国南方正处于激烈的动荡之中,女权主义运动兴起,资本主义经济迅速扩张,社会矛盾日益加剧,人与人的关系以及人的内在精神严重扭曲。奥康纳具有自己独特的人生体验,对人性的阴暗有着敏锐的洞察。她深受荣格影响,在创作中自觉运用分析心理学视角,透视人物隐秘的内心世界,呈现人物本真的精神状态,塑造了一群丢弃信仰,具有畸形性格的人物形象。本
在当前经济全球化的形势下,我们的民族文化正面临着巨大危机和挑战,保护和弘扬中华民族文化成为一项非常重要的任务,因此,在美术课程中应更加注重本民族传统文化的教育和学习。而非物质文化遗产是民族个性及审美习惯的活的体现,具有深厚的文化价值与内涵,是潜在的美术课程资源,但由于部分非遗美术工具的特殊性,对课程实施造成了一定困难。而第二课堂能够让学生依据自身兴趣爱好进行课程选择,一定程度上减少了学生人数,增强
陈银淑(Unsuk Chin.女.1961—),是活跃在全球音乐舞台名冠世界的旅德韩国现代音乐作曲家,被誉为二十一世纪塑造音乐色彩的魔术师。作为屈指可数的顶级作曲家,她的创作涉猎管弦乐、室内乐、歌剧、电子音乐以及声乐等诸多体裁,尤以作品质量高获奖多而著称,成为当今国际音乐创作领域之翘楚。她继承和发展了西方音乐理论和作曲手法,研究和应用电子音乐技术和佳美兰音乐,创造性的开辟了属于自己的创作领域。她追
近年来,虚拟现实技术发展迅速,在诸多领域展现了应用价值和潜力。虚拟现实素材须通过全景相机和全景图像拼接技术制作。全景相机是具有超大视场的拍摄设备,一般由多个相机组合而成。全景图像拼接技术是将全景相机采集到的图像合成为全景图像的数字图像处理技术。本文以高效地获取更高质量的全景图像为研究目的,对全景影像技术进行了深入研究,主要内容如下:(1)详细探讨了全景图像拼接过程的各个环节。对颜色校正、图像预处理
在近些年中,钙钛矿电池因其独特的光电特性而一直是科学研究的热点之一,目前最高的认证效率已经达到了25.2%。钙钛矿电池的结构组成一般为基底/阳极/空穴传输层/钙钛矿活性层/电子传输层/阴极。常用的阳极一般是ITO或FTO,而常用的阴极是Au、Ag、Al等。ITO和FTO这两种透明导电玻璃制作方法复杂、成本较高,一般通过磁控溅射来制备。Au、Ag、Al等阴极材料不仅价格不菲,而且还会出现反向移动进而
相比于其他外部测量式传感器,视觉传感器可提供颜色、形状、纹理等大量丰富的环境感知信息,具有较高的性价比。视觉导引对于提高自动导引车(Automated Guided Vehicle,AGV)的智能性、精确性、鲁棒性具有重要意义。针对复杂工业环境下的光照变化、地标退化和特征不稳定等难题,提出一种多目视觉AGV自由路径导航技术,研究了路径识别导航、RGB-D SLAM(Simultaneous Loc