论文部分内容阅读
视频是最直观、生动的信息载体,越来越多的视频应用于各行各业中,为人们的工作和生活带来便利、增添趣味。视频质量可以表征为正确传递信息的能力和满足使用需求的程度,视频质量的好坏对信息接收的准确性以及视频使用的便捷程度至关重要。视频经过采集、压缩和传输等一系列的操作后产生失真,从而导致视频质量下降。因此为了保证人们在终端有良好的观看体验和获得高质量的视频服务,对视频质量进行评估是必不可少的。因此,视频质量评价在视觉体验中具有十分重要的意义,是现阶段的研究热点。本文基于视觉感知过程,对视频质量评价进行了系统的学习并展开了深入的研究。主要的研究内容和概括如下:(1)提出了一种基于空时掩蔽效应的视频质量评价算法。视频质量客观评价通过提取视频中出现的全部失真来预测视频质量,而视觉掩蔽效应使人无法感知到视频中的局部失真,造成客观评价与主观打分之间的一致性较差,该算法构建空时掩蔽模型使客观评价与人眼感知失真的方式一致。针对空域掩蔽效应,计算视频每帧的空域随机度来获取空域掩蔽系数;针对时域掩蔽效应,计算视频的离心率、运动量级和运动相关性来获取时域掩蔽系数,将获得的空域和时域掩蔽系数通过非线性组合来量化视觉掩蔽效应。视频序列中质量变化较大的帧对视频整体评估的影响较大,本算法提出了一种分数差融合策略代替均值池化,将与前一帧质量差异较大和失真严重的帧筛选出来进行时域融合。最后提取视频的结构特征,与空时掩蔽模型和分数差融合策略相结合预测视频质量。实验结果证明该算法有效地模拟了人眼对视频质量的感知过程,客观预测与主观感知具有较高的一致性。(2)提出了一种基于伪参考的盲视频质量评价算法。针对在缺失参考信息的情况下无参考方法提取能够有效反映视频质量变化的特征困难这一问题,该算法将视频前一帧的特征作为当前帧的伪参考信息来代替参考信息,利用全参考方法对伪参考信息和当前帧进行比较,从而提取视频的伪参考特征。由于视频场景中出现不同的场景变换和运动情况会造成人眼对相同失真的感知存在偏差,该算法利用Gram矩阵系数计算视频场景的动态变化范围来描述偏差程度,从而提取视频的动态特征。最后该算法利用支持向量回归对伪参考特征和动态特征进行质量预测。实验结果表明该算法性能优于其他算法。(3)提出了一种基于膨胀三维卷积神经网络的无参考视频质量评价算法。基于二维卷积神经网络的视频质量评价分别评估视频在空域和时域上的降质程度,但是视频的质量变化在空域和时域上具有相关性,基于三维卷积神经网络的视频质量评价能够评估视频整体的质量变化。该算法在第三维度上共享二维卷积核的权重参数得到膨胀三维卷积核,将膨胀三维卷积与Inception相结合构建的膨胀三维卷积神经网络在多个尺度下提取能够反映视频降质程度的时空特征,并添加非局部注意力机制使网络更专注于对视频质量影响较大区域的学习,从而使得评价模型符合视觉感知特性。针对现有的视频质量评价数据库大多规模较小这一问题,该算法通过沿时间轴复制失真图像生成“伪视频”将图像质量评价数据库迁移到训练集中,从而扩充数据集。实验结果表明该算法与主观感知具有较高的一致性。