近十年来,得益于硬件设备的升级和计算机算力的指数式增长,深度学习在计算机视觉领域取得了巨大的成功,并且在诸多行业有了实际的应用。图像领域的研究趋近饱和,以及短视频数量的急剧增长,也让作为计算机视觉的一个重要组成部分的视频,越来越受到研究人员的关注。但是,由于视频本身具有的信息冗余性,时序性强,时间范围广等特点,基于视频的分析和识别仍然是一个较大的难点。本文通过不同架构的网络结构,在多个数据集上进行了视频行为识别任务的相关实验,并通过多模态融合的方式进一步提升了识别的精度。本文的主要研究内容可以分为以下两点:1)运动信息的显式编码。对于一些数据集来说,仅使用背景信息往往就能在视频理解和分类方向取得不错的效果,但是对于另一些时序性强,背景变化小的数据集,如何有效的对时序和运动信息进行编码显得十分重要。本文主要着眼于改进光流的估计方法,通过引入深度学习的方法来估计光流,并将其应用到视频行为识别中,在不损失过多精度的同时,实现了推理速度的成倍提升。此外,本文在FSD-10上进行了RGB和光流的融合,以及情感数据集Video-Emotion上RGB和深度模态的融合的相关实验。通过使用双流网络独立地训练每种模态,之后将两个网络提取的特征融合进行预测的方式,在两个数据集上实现了识别准确率的进一步提升。2)基于自注意力的模型。Transformer模型在许多大型视频数据集上取得了与基于卷积神经网络相当的性能,这得益于其自身强大的表示能力和巨大的数据量。然而,在很多领域中很难搜集到大量的有监督的数据,这限制了Transformer模型在这些小数据集上的应用。本文进行了将Transformer模型迁移到小数据集上的实践,通过引入自监督学习和新的损失函数,基于自注意力的模型在花样滑冰数据集FSD-10和情感数据集Video-Emotion上都能有一定的精度提升,验证了本文使用的辅助任务和损失函数的有效性。