论文部分内容阅读
随着多媒体技术的蓬勃发展和社交网络工具的快速普及,图像作为视觉信息的来源和信息交流的载体被广泛使用。图像在获取和传输等过程中都可能造成不同程度的失真从而导致图像信息的损失,因此如何高效可靠地对图像质量进行定量地评价显得尤为重要。在大部分应用场景中,无论是参考图像信息还是待测图像的失真类型信息都难以获取,而盲图像质量评价旨在没有任何参考图像信息和待测试图像失真类型信息时预测图像质量,因此更具研究价值和实用意义。本课题来源于青年科学基金项目“基于深度卷积神经网络的盲图像质量评价”,围绕自然场景统计特征、卷积神经网络和特征聚合等方向对盲图像质量评价展开了深入研究,主要研究内容包括以下两个部分:第一部分为联合多带通和冗余域的盲图像质量评价(MBRD)。首先,分别从带通域和冗余域进行图像特征的提取来捕获更充足并且互补的图像信息,并基于多个不同颜色空间提取多层级特征以获得更丰富的图像表征。然后,将不同的特征堆叠在一起作为特征图组,采用高斯混合模型来拟合其分布获得其统计特征,并通过费舍尔向量得到最终的图像质量感知特征。最后,建立支持向量回归模型进行图像质量预测。实验结果表明,与基于自然场景统计特征的其他方法相比,MBRD模型实现了更好的主客观一致性,且具有很好的泛化能力。第二部分为基于分类引导和特征聚合的盲图像质量评价(CGFA-CNN)。针对MBRD人工设计特征表达力有限以及无法进行端到端训练的问题,本文提出基于卷积神经网络的模型CGFA-CNN。首先用合成失真的方法构建一个大规模数据集以改善有标签样本的不足,使用图像失真等级和类型信息对模型进行分类预训练作为引导。然后将预训练网络不同深度卷积层的响应联合成特征图组,采用可进行端到端训练的特征聚合层对其进行聚合得到编码向量,并通过预训练阶段的分类结果对编码向量进一步引导得到最终的质量感知特征。最后,用线性回归模型将高维特征映射为质量分数。相较MBRD,CGFA-CNN保留了其联合多种互补特征及适应任何尺寸输入的优势,另外利用卷积神经网络自动学习特征从而改善了MBRD手工设计特征表达力不足的问题,实现了端到端的训练,使得整个网络可通过有标签数据进行优化。实验结果表明CGFA-CNN相较MBRD而言在性能上有很大提升,和其他基于卷积神经网络的方法相比也有明显的优势。