随着移动互联技术的发展和便携数据采集设备的普及,视频数据非常容易获取并成为生活中传播信息的重要载体,同时它也促进了人们获取信息途径和分享生活的方式,基于这些视频数据的信息挖掘和内容理解是引领城数字经济发展的重要选择。视频行为识别任务作为视频分析和理解的重要研究内容之一,不仅有着重要学术意义,而且存在广泛的应用前景。面对快速增长的视频数据,利用深度学习技术进行行为识别已成为主流的方式,如果只是简单的应用深度网络,很难挖掘有复杂结构的视频中的本质特征,为了高效分析视频以识别视频中的行为,需要考虑以下三点:（1）合理分析视频时空结构;（2）减少对标注数据依赖;（3）进行模型安全分析。这三个方面的研究核心在于探索鲁棒的视频时空分析理解技术,本文基于这种考虑,开展一系列包括有监督视频行为识别方法、无监督视频表征方法、基于视频行为识别的对抗攻击方法的研究,并着重探讨其中的难点和后续的研究开展方向;主要的工作如下:（1）提出了基于时域推理图的视频行为识别模型。虽然现在的基于深度学习的视频行为识别方法相较于传统方法有很大进步,但它们大多只考虑短程时序建模,对细粒度的动作关联和长程的行为依赖结构关注较少,而对视频中时序依赖的探索是复杂行为识别中必不可少的部分。本文方法构建多头时序邻接矩阵来表征行为间的动作粗细粒度依赖关系,避免了无法进行时序建模和只能进行长程尺度的粗粒度动作关系建模问题;同时以该多头邻接矩阵为基础进行图卷积,对视频中的长短动作时序关系进行推理,并应用新创建的多头语意融合器对各种类型的动作关系进行特征语意融合,从而提高了视频行为的类别识别准确度。在主流的基础数据集上,本文方法取得了最优的结果,后续的消融实验也证明了时域推理图可以提取有判别性的特征。（2）提出基于图对比增强的视频自监督表征学习方法。将图像邻域的对比学习方案扩展到视频领域需要考虑序列型数据间的时序结构特性。基于这种考虑,本文方法提供了一个新的视角来研究视频中的时序结构,具体地,提出一种构建时域图方法和设计一种在该时域图基础上进行图数据增强方法,以高效的利用视频中帧相关性特性来进行视频帧序列对对比学习。首先,利用关联视频特征间局部相似性进行时域图构建,然后在时域图的基础上提出新颖的图增强方法进行视频表征学习,该增强方法主要是通过对时域图进行加噪扰动,扰动后的时域图增加了多样性但仍旧保留了完整的视频结构特性;最终,本文应用两种新颖的对比学习方案来训练所提出的框架,并以隐藏在视频背后的本质结构特性作为自监督信号。实验部分,本文方法在一系列下游任务如视频行为识别、视频检索上,验证本文方法的有效性。（3）提出基于视频自监督课程学习的视觉和语音关联性增强方法。合理的利用语音和视觉的并发特性特性,不仅可以减小人工标注的成本,而且可以更高效的提取视觉和语音特征。但现在的大多工作只是关注两个模态间共享关联信息,很少单独考虑每个模态中特有信息。为了解决这些问题,本文方法可以考虑语音和视频帧序列对不同模态间的关联性,同时关注单模态本身的结构特性。具体地,在教师-学生迁移框架下提出一种两阶段的学习方法来进行语音和视频帧序列对对比学习,以克服直接进行教师-学生移学习的困难性;其次,利用语音和视觉信息的关联性作为潜在自监督信号进行对比迁移训练;最终,利用教师-学生结构下学习的语音和视觉表征进行下游视频动作和语音识别测试。后续的实验也验证这种方式进行视频中视觉和语音表征学习有利于下游任务如动作识别和语音识别。（4）提出基于视频动作识别模型的采样不敏感对抗攻击方法。尽管基于深度学习的动作识别模型在公开数据集上获得取得长远的进步,但它们对实际输入数据的扰动噪声鲁棒性问题上研究较少。本文在图像对抗攻击的基础上研究视频动作识别模型的鲁棒性问题,考虑了视频的时序冗余特性,所提出的方法可以生成一种对采样方法不敏感的对抗扰动,保证对视频中任意的采样帧进行攻击处理后仍然可以让视频识别模型错误分类。首先,提出一种时序连贯性正则化算子,它以扰动后序列帧的信息增益来挖掘攻击后的视频帧的时序信息;其次,提出一种高效的近似梯度优化算子来迭代生成对抗扰动,以保证对抗方法对采样不敏感;最终,提出一个攻击校验约束来调整上述的对采样不敏感的扰动,达到最终的视频动作识别对抗攻击目的。实验部分结果表明本文方法有更好的攻击性能。