行为识别是计算机视觉的重要研究领域之一,因其具有实际应用前景,吸引了许多国内外学者的广泛关注,并且涌现了许多有价值的研究成果。但是,行为识别研究依旧面临和其他计算机视觉领域相同的问题,例如:视角变化,表观变化,动作执行速率变化等问题。另外,随着不同类型的数据传感器的出现,针对不同的数据类型,如RGB视频,深度视频以及骨架数据,人体行为识别的研究也涌现了不同的方法。为了更好地适用于实际场景,本文从RGB视频和2D骨架数据入手,针对这类数据中行为识别存在的这些问题,进行了深入的研究,主要的研究内容具体包括:(1)首先,本文基于RGB和2D骨架序列设计了基于骨架关节点采样的局部轨迹时空体特征,从视频中提取更加简洁有效的局部时空特征。其次,在算法中提出了基于深度学习的视频局部特征表示和编码方法,并且将深度学习特征与手工特征融合,提高了基于骨架关节点采样特征的识别效果。此外,在文本的工作中,对比了分关节点编码和合并所有节点特征的编码方式,在分关节点编码的基础上,尝试了不同关节点组合的策略,进一步提高了识别准确率。(2)本文提出了端对端的视觉单词模型以及该模型的训练策略。端对端模型在许多计算机视觉任务中表示出了较好的性能,在前面工作的基础上,本文将深度学习方法和视觉编码模型进行融合,提出了端对端的视觉单词模型,进一步提升行为识别的准确率。该模型将特征提取,特征编码,行为分类三个不同的模块融入同一个网络模型,采用交叉训练的方式,交叉更新网络参数以及特征码本。总之,本文从RGB和2D骨架序列数据入手,针对行为识别方法中的局部特征采样,深度特征编码以及端对端视觉单词模型这三个方面进行研究,层层递进,提出了对应的解决方法,最后通过实验验证了本文所提出方法的有效性。