论文部分内容阅读
图像显著性检测是计算机视觉中一个重要研究领域,在智能化的时代背景下,提升多媒体大数据信息的处理精度和速率已成为一项严峻挑战。而显著性检测可以从图像中提取最简洁有用的视觉信息,有利于目标的准确定位与内容的快速检索。近年来,随着图像显著性检测技术的迅速发展,虽然有许多显著性检测算法被提出,但针对复杂条件场景下的图像显著性检测仍然还没有完全被解决。针对以上问题,本文分别提出了基于协同图模型和基于多尺度深度网络的多光谱显著性检测算法,以提高复杂场景下视觉显著性检测的精度与鲁棒性。本文的主要工作如下:(1)如何根据多模态图像的特征来建立表示模型去描述超像素的相似性关系,进而实现鲁棒的显著性检测?可见光图像易受光线变化和恶劣环境影响,从而为显著性检测任务带来很大的挑战。针对单光谱成像的局限性,本文融合多光谱图像信息,即可见光和热红外,对超像素进行协同表达,然后提出一种协同图模型优化超像素之间的关系,进而实现鲁棒的图像显著性检测。特别地,为了挖掘超像素之间的内在关系,本文利用低秩和稀疏表示模型来动态的学习超像素块之间的相似性关系。同时,为了利用更多的图像线索,结合超像素位置等特征定义最终的相似性矩阵。然后,使用流形排序算法中得到单个模态下的显著性图像。最后,为了自适应地融合不同的模态信息,为每一个模态引入一个质量权重,通过SVM学习得到,把单模态显著性结果结合各自的质量权重形成最终的图像显著性结果。本文在数据集上进行了实验,验证了提出方法的有效性。(2)如何充分地利用图像不同尺度的深度特征来描述图像局部和全局的对比关系?现有的显著性检测算法大多将显著性检测目标看成一个单独的实体,并仅用全局的信息来表示目标外观,并没有充分考虑到图像的全局到局部的这样一个内在结构关系。对此,本文提出了一种基于多尺度深度网络的多光谱显著性检测方法。首先,对图像划分为三个尺度并使用三个CNN网络对每个尺度下的图像区域进行深度特征提取,提取到的特征作为输入输送到由两个全连接层组成的分类网络中并得到显著性图像。为了融合不同模态下的显著性图,我们分别对每个模态下的图片训练出一个SVM分类器,每个模态下的显著性图片输入到SVM分类器里会产生一个权重用来表示当前模态下显著性图片的可靠性。最后通过对权重进行线性加权就能得出结果。