论文部分内容阅读
图像美学质量评估是计算机视觉领域的一大热点课题。该项研究旨在使计算机能够从人的视觉感知角度出发,自动评估图像质量高低,将图片分为“美观”和“不美观”两类。图像美学质量评估技术可以嵌入到图像检索、图像管理、人机交互等系统当中,以提高用户体验,拥有很高应用价值。通过对图像美学质量评估技术的深入研究,本文做出了以下贡献:1).改进当前基于摄影规则构造的图像美学特征;2).将深度学习特征应用于图像美学质量评估;3).将上述从不同角度所获得的特征融合,以用于图像美学质量评估;4).改进美学质量评估框架,构造自适应的图像美学质量评估模型,使其能够根据测试图片的拍摄内容的不同做出适当调整。1).从摄影规则出发,重新设计了一组更加灵活有效,且计算复杂度低的特征描述图像美学属性:该部分通过深入分析与图像美学质量有关的图像属性,锁定现有美学特征的缺陷,打造了一组新特征,与现有美学特征相比,提取速度、有效性及鲁棒性均有大幅提升;2).将深度卷积神经网络用于图像美学质量评估:深度卷积神经网络最初由Krizhevsky及Hinton等人设计提出,结构与人脑视觉系统相仿,原本用于解决传统图像内容分类问题。该网络系统以原始图片作为输入,可自动对图片进行认知学习并提取特征。由于该深度神经网络对图片拥有高度的认知能力,该网络已被推广到诸多计算机视觉问题当中,并且都取得了突破性进展,这里我们将其应用到图像美学质量评估问题中,最终也得到了超出预期的表现;3).利用多核学习方法融合不同美学特征:深度学习特征压缩了图像内容信息,与图像美学质量构成间接关系,其和利用摄影规则人工构造的美学特征,从不同角度描述了图像美学质量,两者间存在一定的互补关系。这里我们利用多核学习技术(MKL)将两者融合,并应用到多层级图像美学质量评估中去,取得了很好的效果,这也是首次有人尝试将不同种类、多视角的图像美学特征加以融合使用:4).利用图像美学质量评估问题本身的特点,从深层次改进当前的美学质量评估框架:从摄影学知识中可以了解到,拍摄不同物体时,常使用不同的相机设定及摄影技巧,因此,对于不同种类的图片,其质量评估标准也应当有所差异。在此,我们构造了基于查询的图像质量评估模型,即每给定一张测试图片,利用检索方法,从训练集中查询得到若干与其内容相似的图片,并以此为该测试图片单独训练评估模型(即找到适合该图片的评估标准),该技术可使评估性能取得较大提升。本文以图像美学质量评估为研究方向,提出了多点创新,并通过大量实验验证其有效性,希望该文章能为以后的研究者带来帮助。