视频中的人体动作识别是计算机视觉的重要研究内容,在视频监控、视频检索、人机交互等领域有着广泛应用。随着大数据时代的到来,视频数据规模越来越大,对于视频中人体动作识别的需求越来越迫切。与传统的人体单个动作识别相比,人体连续动作识别更加具有实际应用价值,也面临更大的挑战。它不仅需要应对动作的多样性和场景的复杂性,还要同时完成分割和识别两个任务。针对连续动作识别中的特征提取与描述、动作分类两大步骤,本文提出了结合深度网络与概率图模型的研究思路。相比与手工构造动作特征的传统方式,本文基于深度学习技术,研究利用深度网络自动学习动作时空特征的方法,以数据驱动的方式学习更适应特定应用的特征。在动作分类方面,本文研究基于概率图模型的连续动作时序建模方法,通过隐动态条件随机场、隐马尔科夫等概率图模型建立描述动作内动态过程以及动作之间相互转移关系的数学模型,同时进行动作的分割与识别。此外,建立深度网络与概率图相结合的集成模型,在学习时对集成模型进行整体优化,实现动作特征学习与连续动作识别的统一。具体地,本文的主要创新点及取得的研究成果包括:(1)提出了一种基于卷积受限玻尔兹曼机的目标跟踪方法,以数据驱动的方式自动学习目标特征,提高目标跟踪的准确性和鲁棒性。目标跟踪是诸多计算机视觉应用问题中的基础问题,本文提出了一套目标跟踪框架和流程,通过朴素贝叶斯分类器来进行跟踪。针对目标跟踪面临的视角变化、光照变化、遮挡、形变等复杂因素的挑战,本文从目标特征这一关键要素出发,提出采用卷积受限玻尔兹曼机自动学习出特征。卷积受限玻尔兹曼机具有针对图像的卷积结构,在一定采样策略下以无监督的方式学习出若干特征提取器。特征提取器提取特征后,经过最大值池化操作,得到具有判别性、鲁棒性的目标特征。实验结果表明,本文方法与传统跟踪方法相比,在复杂因素干扰下取得了更为准确、鲁棒的跟踪结果。(2)提出了一种基于CNN-LDCRF的连续动作识别方法,在强标记样本条件下实现了特征学习和动作建模。针对包含了动作的标签和位置信息的强标记样本,提出了监督学习的CNN-LDCRF模型。首先,本文设计和构造了一种提取视频中运动信息的三维CNN网络,该网络通过三维卷积核在空间域和时间域提取三维时空特征。将原始像素、梯度和光流等多个通道数据输入三维CNN网络,既区分对待了空间维和时间维的信息,又加入了关于特征的先验知识。然后,采用LDCRF对连续动作进行时序建模,LDCRF模型能够同时学习出动作内动作原子之间的动态转移关系和动作间的动态转移关系。最后,在统一框架下集成CNN和LDCRF,构成了无缝连接的深度网络。以“端到端”的方式训练CNN-LDCRF网络,使得特征学习与动作建模两个过程得到整体优化,最大程度发挥了CNN网络的特征学习能力和LDCRF模型的动态建模能力。实验结果表明CNN特征优于传统人工构造特征,并且CNN-LDCRF模型取得了更好的连续动作识别效果。(3)提出了一种基于混合CNN-HMM的连续动作识别方法,在弱标记样本条件下实现了特征学习和动作建模。针对强标记样本获取难度较大的问题,提出了对样本进行弱标记的方案,研究弱标记样本条件下的无监督学习问题。本文使用已经提出的三维CNN网络学习动作特征,采用具有无监督学习能力的生成式概率图模型HMM对连续动作建模。对单个动作建立相应的HMM模型,通过组合这些HMM模型对连续动作进行描述。为了实现弱样本条件下的学习,构建了混合CNN-HMM模型。CNN替代高斯混合模型对HMM的产生概率进行建模,HMM估计出弱标记样本对应的最佳动作标签序列,完成样本的自动标记,用来对CNN进行训练。CNN与HMM相互依赖,以交替的方式进行训练,实现整体的优化。实验结果表明混合CNN-HMM模型在弱标记样本下能够得到有效训练,并且取得了较好的连续动作识别效果。(4)提出了一种弱标记样本条件下CNN-LDCRF模型的端到端训练方法,以实现弱标记样本条件下CNN-LDCRF模型的学习问题。本文在CNN-LDCRF模型基础上引入ECTC算法,将CNN-LDCRF网络的顶层连接至ECTC层。对于弱标记样本,ECTC层通过动态规划方法有效评估输入视频和标签序列间所有的对应情况。在评估过程中,ECTC层考虑视频帧之间的视觉相似性,使得具有相似视觉特征的视频帧具有一致的类别标签。推导了模型的反向传播过程,目标函数的误差从ECTC层反向传播至CNN-LDCRF网络,对网络参数进行更新,从而对CNN-LDCRF网络进行“端到端”的训练。实验结果表明CNN-LDCRF模型在弱标记样本下能够以“端到端”的方式得到有效训练,并且也取得了较为满意的连续动作识别效果。