论文部分内容阅读
随着多媒体技术和互联网技术的迅速发展,越来越多的信息通过图像/视频这类视觉载体来呈现,这样更能直观地展现真实世界里的事物.图像/视频信息在最后呈现给终端用户前,要经过采集、压缩、存储和传输等处理阶段,在这期间会因为各种因素引入失真,这会导致用户感知的图像/视频质量下降.因此,对图像/视频质量评价方法的研究越来越重要.随着深度学习的火热发展,卷积神经网络在计算机视觉的领域取得了突破性的进展.然而,目前已有的基于卷积神经网络的图像质量评价方法,大多都还停留在只使用一个卷积层的层面.深度卷积神经网络作为一种强大的特征学习器,可以直接从图像上学习出高层语义的卷积特征.并且多层的卷积神经网络,在图像分类、目标检测等计算机视觉任务中展现了强劲的性能.因此,本文根据现有方法的不足,提出了以下一系列无参考图像/视频质量评价的方法:(1)本文提出了一种基于多任务AlexNet的无参考图像质量评价方法.首先针对不同失真图片可能存在不同尺寸的问题,对失真图像进行局部对比标准化并无重叠地裁剪成32 × 32的图像块,以统一卷积神经网络输入的图像块尺寸.然后,采用多任务的策略,将图像的失真类型识别和图像质量评价的任务统一到卷积神经网络内部.使用并行的多任务策略,可以让网络学到更具鲁棒性的特征.在测试阶段,经由多任务AlexNet可得待评价图像的各图像块的失真类型和质量分数,然后采用选择权重法,以各图像块的加权质量分数作为待评价图像的质量分数.最后,在LIVE图像质量评价数据库上的实验,验证了本算法的有效性.(2)本文提出了一种基于多任务AlexNet的无参考视频质量评价方法.由于本文所提出的基于多任务AlexNet的无参考图像质量评价模型,在LIVE图像质量评价数据库中显示出了优越的性能.本文将基于多任务AlexNet的无参考图像质量评价方法,推广至无参考视频质量评价任务中.先将图像质量评价卷积神经网络在视频数据库上微调预训练好,然后用来预测每帧视频的质量分数.接着,使用时间滞后池化模型模拟人类视觉系统的滞留效应,来对各视频帧的质量分数进行修正.最后,将修正后的视频帧质量分数的平均值作为待评价视频的质量分数.在LIVE视频质量评价数据库上的实验,验证了本算法的有效性.(3)本文提出了一种基于深度特征融合的无参考视频质量评价方法.该方法的提出,源于进一步将多任务AlexNet这种卷积神经网络推广至视频质量评价任务中.首先,将预训练好的基于多任务AlexNet的卷积神经网络在LIVE视频数据库上进行微调,将进行图像质量评价的卷积神经网络迁移至视频质量评价中来.然后,将该网络作为特征提取器,提取各视频帧的特征,结合局部聚合算子,得到每个视频的特征,并用主成分分析法进行特征降维.最后,使用支持向量回归来得到各视频的质量分数.在LIVE视频质量评价数据库上的实验,验证了本算法的有效性.