基于全局优化光流的视频插帧算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:A2335767
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频插帧以视频中连续帧作为输入,利用输入帧的信息预测合成中间帧,从而生成帧率更高,画面更加连贯的视频。作为计算机视觉的热点研究方向之一,视频插帧在视频帧率转换,视频压缩传输,慢动作回放等领域有着广泛的应用。由于存在遮挡、运动模糊、大尺度运动等复杂情况,高质量的视频插帧任务面临极大的挑战。特别是真实场景中运动模式的复杂多变,使得进行准确的光流估计变得极为困难,因此,研究复杂运动模式下的视频插帧具有重要的理论意义和实用价值。本文针对现实场景中非均匀运动模式下的视频插帧算法展开研究。通过引入视频序列的全局光流,本文提出了基于多项式拟合优化和基于卷积LSTM学习优化两种优化策略,构建了基于全局优化光流的视频单帧插帧计算模型,并将基于全局优化光流的视频插帧算法应用到多帧插帧模型中,实现了低帧率视频的插帧增强。本文的主要研究工作总结如下:(1)提出了一种基于多项式拟合的全局优化光流的视频单帧插帧算法。考虑到相邻帧光流在非均匀运动估计上的局限性,本文引入整个视频序列的光流,并通过多项式拟合和残差增强优化全局光流序列,从而实现中间帧的光流预测,克服了非均匀运动模式下局部信息的局限性。该算法在UCF-101视频数据集上进行实验,相较于未采用全局优化光流的基网络,该算法将视频插帧结果的SSIM提高了0.0054,验证了引入全局光流的有效性,与Super-Slomo相比,该方法将插帧结果的SSIM提高了0.0308,与BMBC相比,该方法插帧结果的SSIM仅差0.0001。(2)提出了一种基于卷积LSTM的全局优化光流的视频单帧插帧算法。受卷积循环神经网络的启发,使用深度学习的方法来进行全局光流优化。本文提出基于卷积LSTM网络的全局光流预测模块,通过学习进行中间帧的光流预测,为插帧图像提供更好的光流估计。该算法在UCF-101视频数据集上进行实验,相较于基网络,本文将视频插帧结果的PSNR提高了0.05db,SSIM提高了0.0069,相较于第一个研究工作(基于多项式拟合的全局优化光流),该方法将插帧结果的PSNR提高了0.08db,SSIM提高了0.0015,但网络参数增加了0.6倍,处理每帧图像消耗的时间增加了1倍,与Super-Slomo相比,该方法将插帧结果的PSNR提高了1.02db,SSIM提高了0.0323,与BMBC相比,该方法将插帧结果的SSIM提高了0.0014,PSNR相差0.02db。(3)针对低帧率视频,结合上述两种算法,实现了基于全局优化光流的视频多帧插帧算法。该算法引入时间信息,将时间信息t和全局光流预测模块进行融合,以实现任意时刻t上的插帧,通过同时对不同时刻t进行视频插帧来实现两帧之间的多帧插帧。该算法在UCF-101视频数据集上进行了实验,相较于基网络,基于卷积LSTM的视频多帧插帧算法将视频插帧结果的PSNR提高了0.04db,SSIM提高了0.0089。基于多项式拟合的视频多帧插帧算法将视频插帧结果的SSIM提高了0.0013。通过实验验证了两种算法在视频多帧插帧的可行性,与Super-Slomo相比,两种算法分别将视频插帧结果的PSNR提高了1.05db和1.14db,与BMBC相比,基于卷积LSTM的算法将插帧结果的SSIM提高了0.0043。
其他文献
近年来,我国隧道的铺设量增长迅速。隧道场景的通信系统,不仅要实现列车的运行和调度,同时要提供给乘客通信的功能。传统的射频通信技术能够使用的频谱资源越来越少,高速通信的成本也越来越高。免许可证使用的可见光频段通信是一个新型的研究方向。将可见光通信技术应用在隧道场景中,提升隧道通信系统的性能,最重要的是设计一个新型的隧道可见光通信系统,对信道特性进行研究和分析。本文依据可见光通信的原理,结合隧道环境的
关键任务视频(Mission Critical Video,MCVideo)是第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)组织规定的新一代宽带数字集群视频通信技术标准,支持群组视频通话等宽带集群业务。MCVideo系统采用长期演进(Long Term Evolution,LTE)作为承载网络,利用增强多媒体广播多播服务(Enhanced-Mu
随着第六代(6th generation,6G)移动通信系统研究的进展,去蜂窝大规模多输入多输出(multiple-input multiple-output,MIMO)作为一项热点候选技术受到了广泛关注,其能够克服蜂窝小区边缘用户性能差,频繁切换,小区干扰严重等问题。而非正交多址(non-orthogonal multiple access,NOMA)作为一种未来无线通信发展的关键技术,能够满足
天地一体化网络作为未来国家电子信息系统的重要基础设施,是未来网络发展的一种趋势。目前有很多以地面网络技术为基础设计的天地一体化网络组网方案,其中的主流方案是基于传统互联网TCP/IP体系并结合天地一体化网络需求实现的。然而,传统互联网TCP/IP体系随着时代的发展显现出越来越多的局限性,其中包括IP地址二义性带来的网络安全性和移动性问题。北京交通大学提出的标识网络体系中身份与位置分离的思想很好的解
随着移动无线设备的大规模普及,未来无线网络中设备间数据传输的需求呈指数级增长,其中频谱资源紧缺问题不可忽视。作为下一代移动通信网络的关键技术,设备到设备(Device-to-Device,D2D)通信能够提高频谱利用率,降低基站负荷,应用在众多领域。考虑到无线通信环境的开放性以及窃听、攻击等各类安全威胁,通过无线通信网络传输的数据的隐私性和保密性变得至关重要。提供高质量的安全服务是无线通信网络设计
无人机自组网(UAV Ad Hoc Network,UANET)是一种以多个无人机为网络节点而构建的自组织网络,属于移动自组织网络(Mobile Ad Hoc Network,MANET)的一种。无人机自组网相较于传统的自组织网络来说具有移动性更高、覆盖面积更大、组网方式更灵活等特点,被广泛应用在抢险救灾、应急通信、军事战场等环境当中。媒体接入控制(Medium Access Control,MA
随着高铁网络的快速发展,铁路通信需要从仅处理关键信号的应用发展到支持高数据速率传输的应用。目前的铁路通信系统性能难以满足高速率传输的需求。为了实现这一需求,必须获得足够的系统传输带宽,探索和研究当前尚未充分利用的毫米波频段,对于铁路无线通信至关重要。无线信道建模是设计与验证无线通信系统的基础,由于信号在毫米波频段传播表现出与sub-6GHz频段传播所不一样的特性,传统的信道模型不能很好的适应毫米波
去蜂窝(Cell-Free)网络、无人机(Unmanned Aerial Vehicle,UAV)通信、智能超表面(Reconfigurable Intelligent Surface,RIS)是满足未来移动通信需求的关键架构与技术。为在降低网络成本的同时,充分保障和提升移动通信系统的性能,研究RIS与系统各部分的结合应用,据此确定本论文的主要研究内容包括:首先,针对信号质量易受用户移动影响的挑战
随着信息物联网产业的迅速发展,学术界与工业界将大规模机器类通信列为第五代移动通信技术的三大核心场景之一。串联扩频多址技术作为一种新型非正交多址接入技术,由于兼顾了多用户接入下的高连接性和高可靠性,有望应用于大规模机器类通信场景。然而现有的串联扩频多址技术的抗多址干扰能力和抗异步时延能力均具有局限性,使得该技术难以投入实际应用。本论文以串联扩频多址技术为基础,针对其应用于当下物联网通信场景局限性,考
点云因其具有准确的位置信息,在三维物体检测与分割中被广泛应用。一些方法直接利用点云的空间结构信息可以实现点云的分割与检测,但由于点云本身的稀疏性等固有缺陷使得这些方法大都存在各种各样的问题。为获得更好的分割与检测结果,本文对视觉信息进行不同方式的融合,从而实现点云的分割与检测,工作概述如下:(1)为了有效解决点云数量庞大且结构稀疏等问题,根据激光雷达成像特点将点云投影到2D空间使其更稠密,通过在2