在计算机视觉领域中,行为识别方向是其中一个非常重要的研究分支,随着计算机软硬件性能的不断提升,使得现在卷积神经网络的深度和复杂度与之前的网络相比有了大幅度的提升。这就催生了行为识别技术的飞速发展,准确率也得到了显著的提高。在视频监控、智能家居以及城市安防等众多应用场景下,视频中行为识别方法都发挥着至关重要的作用。视频中行为识别的正确率依然受到许多因素的影响,例如:不同的光照条件、不同的视角、十分复杂的背景以及单一种类内变化较大等因素。一般认为,光流信息代表的是没有背景信息的运动信息。因此,它可以当作图像的补充信息,提高双流网络模型的实际表现。但是计算光流信息的成本很高。通常一帧前后的10帧用于提取光流信息,对于不同的动作来说,这样可能太长或太短,无法捕捉到有用的运动特征。此外,光流信息提取到的运动特征属于有噪声的低维数据,目前还不清楚光流信息真正能为动作识别提供哪些作用。为了解决这些问题,本文提出了一种新的基于高层次运动特征(人体姿态估计)的双流网络框架,用人体姿态估计来代替传统双流网络中的光流特征来实现识别动作。我们观察到许多动作都有特定的姿势特征。因此,我们的双流框架使用二维人体姿势估计作为运动特征,这样既可以去除多余的背景信息,又可以突出对人体运动姿态的描述。只用与图像帧相对应的人体姿态估计图,这样可以有效地减少了计算量。此外,为了有效融合双流框架中的特征,我们在融合层加入了注意机制,不仅突出了图片帧局部的特征,而且使得网络能够在原始图像帧和姿态估计图之间给予明显的注意力。我们在HMDB-51和UCF-101这两个具有挑战性的人体动作数据集上进行了广泛的研究实验。实验结果表明,该模型在准确率上有着良好的表现,特别是在视频中的运动场景中能够很好的实现人体的动作分类。文章在最后还介绍了基于本次实验方法的行为识别系统,为的是让研究理论能够更好的在的生活场景中有实际的应用。为了让系统能够在多个平台上使用,我们将训练好的模型保存下来部署在微信小程序平台上,并利用目前流行的前后端技术在该平台上整合此系统。