论文部分内容阅读
随着自媒体的兴起,用移动智能设备记录生活已经成为一种主流方式。虽然当前市场上出现的部分手机都具有防抖动功能,但在手持移动设备拍摄短视频的过程中,由于外界环境的干扰,拍摄的视频仍存在抖动的现象。由此,出现了视频稳像技术。视频稳像技术的目的主要是消除或减少视频的抖动,生成稳定的视频。难点在于生成的稳像视频帧存有黑边和原始抖动视频存在大型前景运动,针对黑边问题,目前采用裁剪的方法去除,但会导致视频信息的缺失,分辨率降低,针对大型前景运动的问题,通常基于背景识别的方法解决,但会使得稳像时间变长。本文主要围绕手持移动设备拍摄的不同类型的抖动视频进行稳像处理,特别是针对具有前景运动的原始抖动视频,主要工作如下:(1)提出了一种多网格路径运动的视频稳像算法。通过SIFT算法提取视频帧的特征点,采用KLT算法追踪特征点,利用RANSAC算法估计相邻帧间的仿射变换矩阵,将视频帧划分为均匀的网格,并将相邻视频帧的变换矩阵应用于均匀的网格中,计算相机的原始运动轨迹,再通过极小化能量函数优化平滑多条网格路径。最后由原相机路径与平滑相机路径的关系,计算相邻帧间的补偿矩阵,利用补偿矩阵对每一帧进行几何变换,从而得到稳定的视频。实验表明该方法具有良好的稳像效果。但通过裁剪率发现,原始抖动视频若存在前景运动会使得稳像难度变大,导致最终生成的稳像视频内容信息缺失。(2)针对手持移动设备拍摄的六大类不同种类且具有前景运动的原始抖动视频,提出了一种结合光流法和卡尔曼滤波的视频稳像算法。首先通过光流法预稳定抖动视频,减少视频抖动分量,使得后续计算量减少,然后在运动估计部分仍使用基于特征跟踪的思想,对其生成的预稳定视频帧进行Shi-Tomasi角点检测并跟踪角点,估计相邻帧间的仿射变换矩阵,由相邻帧间的仿射变换矩阵,求解预稳定后视频帧间的单应性变换矩阵,计算得出原始相机路径,再通过卡尔曼滤波器优化相机路径,得到平滑相机路径,最后求出视频每一帧的补偿量,对视频帧逐一进行几何变换,由此得到稳定的视频输出。实验表明该方法最终的稳像效果较好。