现如今,在大数据驱动,建设“智慧城市”的时代背景下,对视频数据进行有效的分析理解对于国家创新型建设、社会综合治理、新形势下刑侦等方面均有着重要的意义。在众多视频理解任务中,人体行为识别任务作为最具代表性的以人为中心的视觉理解任务之一受到了来自学术界和工业界的持续关注。视频本质上是一种多模态信息的载体,蕴含着Red,Green,Blue（RGB）图像、光流图像、骨架序列等模态信息。解决多模态视频行为识别最核心的问题是从具有复杂、抽象语义信息且易受外界环境因素干扰的视频中提取出可以准确刻画人体行为特性的时空联合性特征。本文分别利用视频中不同模态的信息去挖掘出可以有效描述人体行为本质特性的高层次语义特征。主要的研究工作如下:1.研究了 RGB模态视频行为识别问题。针对RGB视频中表示静态信息的RGB图像和表示动态信息的光流图像在时空尺度上存在的差异性问题,分别提出了基于弱监督学习的隐式模态对齐网络和基于子空间学习的显式模态对齐网络对差异进行补偿。针对这两种模态之间的融合问题,提出了一种无监督学习模型,即稀疏收缩自动编码器,配合深度信念网络模型,实现了模态特征学习和特征融合两个过程同时进行。实验结果表明,提出的模态对齐网络有效地补偿了模态间存在的差异性,为模态融合奠定了良好的基础。同时,通过提出的融合网络挖掘到了具有高鲁棒性、强判别性的高层次特征表示。2.研究了骨架模态视频行为识别问题。针对骨架模态中不同关节内部、不同骨骼内部存在的复杂相互依赖性问题,提出了一种基于注意力机制的小波图卷积网络,分别从关节、骨骼两个不同的视角去挖掘其特征表示。针对骨架模态中不同关节与骨骼之间存在的相互依赖性问题,提出了一种统一化的图融合网络模型,将两种不同视角的高维信息视为同一类型的目标对象来进行卷积操作,实现了关节与骨骼两个不同视角间信息的相互流通。同时,结合迁移学习的方法更好的挖掘两种不同模态之间的互补性、相关性信息。实验结果表明,提出的基于注意力机制的小波图卷积网络有效的挖掘到了不同视角内部具有判别性的、全面的特征表示。提出的基于迁移学习的融合网络模型有效的挖掘到了不同视角之间相关性、一致性、互补性的特征表示。3.研究了多模态融合的视频行为识别问题。针对视频中蕴含了多种不同模态的信息,且其中同构模态与异构模态之间存在的差异性问题,提出了一种两阶段融合策略,分别对同构模态与异构模态进行融合。具体来说,针对应用于人体行为识别任务的同构模态与异构模态融合问题,分别提出了基于对抗学习和迁移学习的同构模态融合网络模型及基于自适应学习和迁移学习的异构模态融合网络模型。实验结果表明,提出的两阶段融合策略通过减小同构、异构模态间的差异,有效的改善了该识别任务的性能。此外,通过提出的同构、异构模态融合网络,更好的捕捉、挖掘到了不同模态类型之间的特异性、相关性、互补性特征表示。4.研究了低质量视频增强的行为识别问题。针对在精准识别的同时保护视频中人的隐私信息的诉求及视频本身质量（分辨率）较低的问题,提出了一种视频多尺度重构的方法,首先,对视频帧进行二维离散小波变换得到不同频带的子图像,然后,根据不同频带的特性,提出用频带适应的模型去复原丢失的细节,尤其对于高频细节的复原提出了一种基于小波变换的对抗生成网络模型。针对视频中不同模态对任务的重要性程度不同,将光流图像网络设为主分支,将RGB图像网络设为辅助分支,提出用基于双流Transformer的模型进行时空联合特征学习。针对时空特征的融合问题,提出在融合分支中用另一 Transformer模型中的交叉注意力机制对双流Transformer编码输出的特征进行融合。实验结果表明,提出的多尺度重构方法有效的复原了丢失的细节信息。提出的基于Transformer模型的行为识别网络有效的挖掘到了模态间的一致性、互补性特征表示。