论文部分内容阅读
视频的前景和背景分离任务一直以来都是热点研究课题之一,该任务不仅在监控、跟踪、预警等一系列实际任务有着广泛应用,又是语意理解、无人驾驶等高层视频处理任务的基础。视频前景成分和背景成分具有各自不同的数据分布规律和数据结构特性,如何据此对二者进行有效区分是任务的核心。本文在分析了视频数据高阶高维结构特性的基础上,针对现有方法在进行视频前背景分离时对噪声及动态背景细节变化非常敏感的问题,首先,拓展了基于向量表示框架的量化聚类模型,从而更鲁棒地反应视频背景中的动态信息;以量化聚类模型为基础,分别结合了低秩表示、稀疏表示理论构建了不同的分层背景模型;进而,结合视频前景的特性相应提出联合优化模型,并通过一系列数值实验验证模型的有效性和对背景中动态信息及噪音信息的鲁棒性。主要创新点如下:
1)针对现有聚类算法难以有效利用高阶数据结构中元素关联信息的问题,提出了基于高阶表示和数据聚合度分析的高阶高维量化聚类模型,实现出表示力更强且对数据噪音更鲁棒的码本字典。
分别从高阶数据和高维数据的结构分布特性出发,相应提出了高阶乘积量化和分布感知的乘积量化,以更快速高效地实现张量空间中的距离逼近和聚类分析任务。针对高阶数据,利用区域化的元素关联性关系来指导量化任务中的空间分割问题,有效提升了码本字典的表达能力;针对高维数据,充分考虑了数据局部分布的不平衡性,提出了数据分布聚合度、匹配指数等一系列指标来衡量并定量反应不同局部数据的不平衡性,进而相应调整编码任务的侧重点,实现出更高效率的码本字典。
2)针对现有低秩表示模型对背景中细节变动的鲁棒性差且计算复杂度高等问题,基于量化聚类与多分辨率分析等方法,提出了鲁棒的低秩表示模型,在视频前背景分离任务中取得了明显的提升效果。
从数据特性出发,构建多层模型分别模拟视频数据中的各种不同成分:通过主值张量和变化趋势矩阵结合形成衍化的秩一模型来刻画视频背景中较为稳定的平均背景层;基于量化聚类所得码本字典对数据噪音的鲁棒性,提出对视频噪音干扰鲁棒性较强的细节背景层;基于不同分辨率视频下噪音的分布特性,提出多层融合的前景检测层。I2R和CDnet数据集上的数值实验,验证了所提的联合模型对其他算法的优势。
3)针对现有稀疏表示模型字典更新精度差且噪音鲁棒性差等问题,基于量化聚类、误差建模与图像梯度分析等方法,提出了鲁棒的稀疏表示模型,模型具有良好的前背景分离性能且对应求解算法效率更高。
由于稀疏表示相比于低秩表示具有更强的表示能力,通过稀疏表示和字典学习的方式对背景信息的主要成分进行建模;将背景元素的空间关联性引入基于量化聚类的细节背景层;通过混合高斯来拟合视频中的噪音分布,以减弱噪音对视频处理任务的影响;综合考虑视频前景区域边界的光滑性约束和前景区域内部的连续性约束而建立的综合前景模型。最后,数值实验验证了所提的联合模型有效性。
综上,本文结合了多种机器学习模型和算法,解决了视频前景和背景分离任务中不同问题。本文提出的细节背景层增强了前景和背景分离模型对视频背景中动态变化信息的鲁棒性。大量实验表明,相比于各种已有模型,本文提出的模型对处理高阶高维视频数据有显著的提升效果。
1)针对现有聚类算法难以有效利用高阶数据结构中元素关联信息的问题,提出了基于高阶表示和数据聚合度分析的高阶高维量化聚类模型,实现出表示力更强且对数据噪音更鲁棒的码本字典。
分别从高阶数据和高维数据的结构分布特性出发,相应提出了高阶乘积量化和分布感知的乘积量化,以更快速高效地实现张量空间中的距离逼近和聚类分析任务。针对高阶数据,利用区域化的元素关联性关系来指导量化任务中的空间分割问题,有效提升了码本字典的表达能力;针对高维数据,充分考虑了数据局部分布的不平衡性,提出了数据分布聚合度、匹配指数等一系列指标来衡量并定量反应不同局部数据的不平衡性,进而相应调整编码任务的侧重点,实现出更高效率的码本字典。
2)针对现有低秩表示模型对背景中细节变动的鲁棒性差且计算复杂度高等问题,基于量化聚类与多分辨率分析等方法,提出了鲁棒的低秩表示模型,在视频前背景分离任务中取得了明显的提升效果。
从数据特性出发,构建多层模型分别模拟视频数据中的各种不同成分:通过主值张量和变化趋势矩阵结合形成衍化的秩一模型来刻画视频背景中较为稳定的平均背景层;基于量化聚类所得码本字典对数据噪音的鲁棒性,提出对视频噪音干扰鲁棒性较强的细节背景层;基于不同分辨率视频下噪音的分布特性,提出多层融合的前景检测层。I2R和CDnet数据集上的数值实验,验证了所提的联合模型对其他算法的优势。
3)针对现有稀疏表示模型字典更新精度差且噪音鲁棒性差等问题,基于量化聚类、误差建模与图像梯度分析等方法,提出了鲁棒的稀疏表示模型,模型具有良好的前背景分离性能且对应求解算法效率更高。
由于稀疏表示相比于低秩表示具有更强的表示能力,通过稀疏表示和字典学习的方式对背景信息的主要成分进行建模;将背景元素的空间关联性引入基于量化聚类的细节背景层;通过混合高斯来拟合视频中的噪音分布,以减弱噪音对视频处理任务的影响;综合考虑视频前景区域边界的光滑性约束和前景区域内部的连续性约束而建立的综合前景模型。最后,数值实验验证了所提的联合模型有效性。
综上,本文结合了多种机器学习模型和算法,解决了视频前景和背景分离任务中不同问题。本文提出的细节背景层增强了前景和背景分离模型对视频背景中动态变化信息的鲁棒性。大量实验表明,相比于各种已有模型,本文提出的模型对处理高阶高维视频数据有显著的提升效果。