基于时空域联合修复的虚拟视点生成算法研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:yzl417801753
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自由视点视频以其交互性、沉浸感、实时性等特征成为了下一代数字视频技术发展的方向,其在医学研究、视频监视、影音娱乐等方面有着巨大的市场需求和应用场景。由于传统的自由视点视频获取方法成本高、数据量大,因此利用已知视点生成任意视点的虚拟视点绘制技术成为了生成自由视点视频的首选方案。基于深度图的绘制技术(DIBR)因其绘制速度快、网络传输负担小、虚拟视点不受限等优点,已经成为虚拟视点绘制的关键技术。然而DIBR技术生成的虚拟视图中存在着大量裂缝、伪影和大面积连续的空洞,这些严重降低了虚拟视图的质量。目前现有的解决方法对裂缝、伪影具有较好的修复效果,但是对于大面积空洞的修复不仅缺乏语义感,具有块效应,而且修复只是局限在单帧图像上,忽略了视频帧间前景运动信息的时间连续性,以及视频帧间存在的冗余信息,进而导致修复后的虚拟视图在播放时产生闪烁失真现象。针对这些问题,本文提出了基于时空域联合修复空洞的方法。完成的主要工作如下:(1)基于空间域的Edge-PUnet网络的空洞修复方法。首先采用基于像素赋值和膨胀的方法对裂缝和伪影进行去除,消除对空洞修复的影响。然后针对空洞通常出现在虚拟视图中前景和背景交界的边缘部分,且边缘是图像中纹理和结构比较丰富的部分,在PUnet网络上设计了一个边缘检测器。边缘检测器主要检测数据集中前景和背景交界的边缘部分,以使PUnet网络重点提取图像边缘处的结构和纹理特征。最后利用训练后的模型对去除裂缝和伪影后的虚拟视图进行空洞修复。实验结果表明:该方法能够有效解决传统的图像修复方法修复空洞后导致的块效应和语义缺失问题,同时相比于PUnet网络,修复后的空洞区域边缘更加的清晰,具有着良好的结构信息。(2)基于时间域的光流引导像素传播的空洞修复方法。该方法对虚拟视点视频空洞中的前景区域和背景区域分别进行修复,对于前景区域的修复引入了流引导像素传播的思想,即提取视频帧间前景运动信息的时空光流场,然后利用光流引导视频帧中前景像素的传播。对于背景区域以及连接不到其它帧中任何像素的前景缺失区域,则由基于空间域的Edge-PUnet网络进行修复。实验结果表明:该方法不仅提高了单帧虚拟视图的质量,而且有效保证了修复后的图像在时间上的连续性,修复后的图像在播放时过渡自然。
其他文献
随着城市化和机动化的快速发展,中国面临着严重的交通问题,例如交通道路堵塞、交通环境恶化、交通事故发生率增加等。如何有效地缓解交通压力并降低事故发生率,实时并且准确
脑胶质瘤是好发于成人的颅内恶性肿瘤,传统化疗对于脑胶质瘤的治疗效果不佳。脑胶质瘤干细胞的存在及瘤内的缺氧微环境可能是导致脑胶质瘤对药物不敏感的重要原因。因此,改善肿瘤的缺氧微环境,可以增强化疗药物敏感性,将会有利于脑胶质瘤的治疗。本文利用多孔硅纳米粒负载化疗药物替莫唑胺,并结合温和光热及高压氧治疗降低肿瘤干性,实现脑胶质瘤化疗增敏。本研究的主要结果如下:1.通过阳极电化学腐蚀法经超声富集制备得到粒
自旋光电流是由圆偏振光或者线偏振光激发产生的自旋极化的光电流,它包含圆偏振光致电流和光致逆自旋霍尔电流两种光电流。圆偏振光致电流是研究材料自旋轨道耦合的有效手段,
作为一门前沿科学,智能优化算法是通过求解目标问题,并比较得到的结果来判断其性能优劣。目前,它存在一个不合理的现状:测试出有着更高性能的算法不断被提出,但实际应用中,只有经典优化算法被广泛使用,而那些有着较好性能的算法却更多的存在于论文中。其实这种测试算法性能的方式存在着不足,需要进一步补充完善。因此,本文提出了一种验证方法,用于完善测试性能的方法,并说明了其必要性。首先,介绍常用来测试算法性能的方
随着通信网络的高速发展,未来的网络将会成为一个自治系统,海量数据与智能算法一定会成为无线网络进一步发展的重要基础。在智能交通方面,随着人们对车辆智能化需求的不断增
由于缺乏对呼吸功能的客观评价,急性期的呼吸衰竭、呼吸窘迫综合症、肺部感染等并发症为颈脊髓损伤患者死亡的主要原因。咳嗽音的强弱也能反映呼吸功能的好坏,对咳嗽音的处理
射电望远镜观测的宽频率范围和高灵敏度使接收机极易受到射频干扰(Radio Frequency Interference,RFI)的影响。由于单天线望远镜几乎不具有对接收到的RFI信号进行方向分辨能
随着智能设备和移动数据服务的迅速发展,全球的数据流量呈爆炸式增长。由于回程链路容量有限,数据的爆炸式增长将不可避免的造成网络拥塞。如何打破回程链路容量瓶颈,成为了5G网络的一项挑战。尽管请求多而杂,但研究表明,互联网中绝大多数的业务负载源于少数流行内容的反复传输。因此,若将流行的内容缓存到网络边缘,可以显著减少回程链路的业务负载,缓解网络拥塞。本文在回程连接容量有限的软件定义网络(SDN)中考虑多
基于闪存的固态硬盘SSD(solid state drives)现在已经被广泛使用在各种存储系统中。为了容忍整块SSD盘错误,可以像HDD一样在多个SSD上组建冗余磁盘阵列RAID(Redundant Array
蝴蝶优化算法是根据蝴蝶之间的觅食行为规律而提出的一种群体智能算法,该算法数学模型简单,寻优能力较强,已成功应用于解决工程技术问题。然而蝴蝶优化算法存在容易陷入局部