论文部分内容阅读
在现今信息时代,数字图像作为信息交流的重要载体,在交流的过程中发挥着非常重要的作用。但是由于一些客观原因的存在,图像处理系统中的图像会损失部分信息导致图像的质量降低,影响到后续的图像处理工作以及人类对图像信息的接收。而图像质量评价研究如何评价图像的质量变化,是一个十分有意义的研究课题,也是图像处理系统重要的组成部分。图像质量评价算法可按照图像类别的不同分为2D图像质量评价算法(2DIQA)与立体图像质量评价算法(SIQA)。顾名思义,这两类图像评价算法分别作用于平面图像与立体图像。按照评价者不同,图像质量评价算法评价可以分为主观图像质量算法与客观图像质量评价算法两大类。主观图像质量评价算法是由人按照其主观感受对图像的质量进行评价,而客观图像质量评价算法则是由机器通过建立评价模型来获取图像的质量。本文首先对图像质量评价算法进行介绍,并分析了2DIQA与SIQA面临的挑战。在2DIQA领域中,近些年随着深度学习的发展,出现了很多基于深度学习的图像质量评价模型,但是现有模型在小数据量环境下很容易出现过拟合问题。而在SIQA领域中,视差以及其它的立体视觉特性将极大程度地影响着评价过程中的特征提取。针对以上两个领域中的问题,本文分别提出了改进的DIQa M＿NR图像质量评价模型和基于shift-convolution的立体图像质量评价模型。1)一种改进的DIQa M＿NR图像质量评价模型:本文采用迁移学习的方式对DIQa M＿NR模型进行改进。改进后的评价模型使用Res Net50网络结构替代原有的特征提取层,并迁移出Res Net50网络在Image Net数据集上的参数,最后本文使用全局平均池化层(GAP)取代原模型中全连接层(FC-512)。改进后的评价模型比原模型的参数量低同时比原模型的网络结构更深。实验表明,改进后的评价模型即使在小数据量环境下也能够较好地模拟人类视觉系统(HVS)并能准确地评价图像的质量。2)基于shift-convolution的立体图像质量评价模型:该模型首先采用几层卷积层提取出立体图像的低级特征,随后使用shift-convolution层构建匹配的候选集,并计算初步的立体图像的视差信息。之后,该模型采用多个卷积层作为优化函数来优化候选集并提取更准确的视差信息。另外,现有的研究表明,左右视图的特征也对立体图像质量评价工作有着重大的影响。因此,模型采用了两个子网络从左右图像中提取与立体图像的感知质量有关的特征。在特征映射阶段,本文引入了GAP层对特征进行降维。最后,该模型将降维后的特征进行线性拼接,并采用全连接层来学习这些特征与立体图像质量之间的映射关系,输出该图像的质量。实验表明,该模型的准确率比绝大部分评价模型的准确率都要高。