目前,随着视频数据量的急剧增加,视频流量逐渐占据互联网流量的90%以上,如何使计算机自动高效地利用视频中的有用信息,也随之成为了学术研究热点。在丰富众多的视频中,以人的行为动作为主体的视频又占据了绝大多数。因此,研究视频中人的行为识别方法具有重大意义。大多数视频行为识别方法可以分为以下四类:基于时域、空域特征的双流法、基于3D卷积的卷积法、基于多帧图像输入的LSTM方法和基于提取人体骨架信息的姿态估计算法。其中,双流法自被提出以来,一直备受关注,而这其中经典的TSN(时域分割网络)由于简洁清晰的网络结构和较高的分类精度,是很多新型网络的基本架构。但同时,双流网络所要求的手工设计光流特征,计算繁琐费时、存储要求高,于是有人提出基于压缩视频的视频行为识别方法,直接从码流中读取运动矢量作为时域特征,这种方法虽然速度大大提高,但是由于运动矢量中蕴含大量噪声,在精度上不及光流作为时域运动特征的方法。因此,本文提出基于运动矢量的行为识别方法,首先复现测试TSN网络的模型结构与实验结果,然后类比光流网络实现一个提取类运动矢量的子网络,之后,将子网络嵌入到TSN网络中,研究测试不同超参数下、不同尺度融合方法下、不同光流与运动矢量融合技术下,网络的行为识别精度。最终得到较好的实验结果,超过了仅光流和仅运动矢量的行为识别方法,证明运动矢量与光流的多尺度融合是更好的时域运动特征,有助于网络进行行为识别。