人体行为识别作为计算机视觉、模式识别等相关领域的研究热点之一,在视频监控、智能安防、运动员辅助训练等方向都有着广阔的应用前景。以往行为识别的方法严重依赖剪切过的视频来训练模型(强监督单一行为识别),然而,数据量每日剧增,获取大规模准确整齐剪切的视频片断需要耗费大量的人力,不能满足当前海量数据应用场景下的需求,如何在没有准确划分行为动作的训练数据的情况下,对视频直接进行连续的行为识别(基于弱监督学习的行为识别)成为了国内外学者相继研究的重要课题。在人工智能迅速发展的时代背景下,深度学习取得了巨大进步,不少算法模型被纷纷应用到人体行为识别中,并取得了不错的成果。然而连续行为具有一定的复杂性,往往由多个动作组成,每个动作持续时间不定,因此对于连续行为别的研究还是具有一定的挑战性。目前基于深度学习的连续行为识别方法需要使用含时序标注或者剪切过的视频来训练模型算法,这些使得连续行为识别研究过度依赖于人工标注。基于这些原因,本文对基于深度学习的连续行为识别算法展开研究,主要工作如下:(1)提出了一种基于Sequence to Sequence(Seq2Seq)模型的连续行为识别方法,该方法利用了Seq2Seq模型。Seq2Seq是一种端到端的神经网络模型,适用于解决序列到序列的映射任务,正好适用于解决我们视频动作序列到标签序列的映射问题。该方法采用一个多层的Long Short-Term Memory(LSTM)网络将输入的动作序列进行编码为一个向量表达,再用另一个多层的LSTM网络将向量解码为输出的标签序列。该模型能够学习动作序列以及标签序列之间的映射关系,在Charades数据集上的实验验证,Seq2Seq模型可有效提高连续行为动作识别的正确率。(2)提出了一种基于Graph Convolutional Neural Network(GCN)的连续行为识别方法,该方法将未修剪视频中采样出的视频段(clip)提取特征,将每个clip实例化为GCN中的节点,clip之间的关系实例化为边进行建模,这样的网络模型既学习了每个clip的上下文信息,又学习到了每个clip之间的相关性。在clip提取特征之后,使用一个分类器来对每个clip进行行为识别,以及一个选择器来检测或排序重要的clip。通过对分类器和选择器输出的融合,进而产生视频级别的预测结果。实验证明,该算法模型提高了连续行为识别的准确性和效率。(3)在对算法进行理论分析和实验验证并得到了更高的准确率后,本文搭建并实现了一个基于浏览器/服务器(B/S)架构的行为识别系统平台,平台以作者收集的一些动作行为视频作为系统的输入,使用上述算法对视频进行测试,为视频中的动作标上标签,完成了行为识别的任务。