论文部分内容阅读
人体分割是计算机视觉中的常见任务,对于计算机理解人类活动有着重要的作用,广泛应用于视频处理、视频监控、人体姿势估计、3D建模和个人娱乐等领域。近年来随着计算机视觉和机器学习技术的快速发展,在给定的图像和视频上进行人体分割引起了越来越多的计算机视觉研究者的关注。基于深度学习模型的图像人体分割已经取得了很大的进步,然而,当现有的深度人体分割模型直接应用于视频人体分割任务时,模型的性能经常存在很大的局限性,例如视频帧的分割结果存在不连续的现象,分割过程的速度比较缓慢等问题。为了解决这些问题,本文提出一种基于视频的实时人体分割算法框架并将其应用于单人视频人体分割领域。本文主要工作如下:(1)构建单人视频人体分割数据集。由于缺乏公开的单人视频人体分割数据集,并且为了给视频人体分割研究提供一定的研究基础的目的,以及为了测试本文所提出的算法框架的准确率和速度等性能指标,本文构建了一个高分辨率的单人视频人体分割数据集。数据集中共有1 000个视频帧,每帧均由人工进行像素级标注。(2)提出基于深度人体分割模型和视觉追踪方法的视频人体分割算法框架。该算法框架包含有一个以全卷积网络(Fully Convolutional Network,FCN)为中心的深度人体分割模块以及一个基于水平集方法(Level Set Method)的视觉追踪模块。其中,深度学习模型用于对视频序列中的首帧进行人体分割,视觉追踪模块根据上一帧的分割结果来获取下一帧的分割结果。深度学习模型采用公开的人体图像数据集进行训练以保证人体分割的准确率。(3)设计开发实时视频人体分割算法系统。根据本文提出的基于视频的实时人体分割算法框架,在Linux操作系统下基于C++、MATLAB语言及Caffe、OpenCV、Dlib等开源算法库实现了利用GPU加速的实时的视频人体分割算法系统。本文提出的算法框架实现了视频人体分割的目标,在人体视频数据集上的实验表明本文提出的算法框架能够在视频上达到较高的分割准确率,以及高于使用深度学习模型进行逐帧人体分割的方法的分割速度,并且本文提出的深度人体分割模型在人体图像数据集上取得了显著优于论文中的其他算法的准确率。