随着互联网和5G等技术对通信技术的发展,人们依赖以视频为载体进行信息传播方式的需求得到满足,视频多媒体越来越成为人们生产和生活中信息交流的主要方式。随着视频数据的快速增长,对视频信息的智能处理和智能感知成了迫切和重要的需求,基于视频的行为识别技术作为核心技术之一成为了研究的热点。深度学习作为一种人工智能方法,由于近年来展现了从数据中自动学习特征表示的能力,尤其在自然图像任务上精度的大幅提升,成为了计算机视觉研究的主流方法。本文主要基于深度学习算法,通过研究如何学习更好的视频表示,使得基于视频的行为识别任务能够有精度提升。主要工作包括:(1)视频场景能分为前景和背景,其中运动行为主体属于前景,主体的行为类别又和背景环境相关。视频包含的这两种信息有不同的统计特征,但共同决定行为类别。基于这种观察,本文提出了一种基于前背景分割与双通道网络融合的行为识别算法。算法首先按照时域分割的思想,将视频分解为多段,从每段中选择一帧。然后算法通过前景分割算法将视频中的信息分解为前景和背景两部分,分别输入空间流和时间流的残差网络,最终融合分类结果。证明了利用前景信息能有学习有效的视频表示,算法能获得较高的精度。(2)上述算法精度较高,但在推理时依赖计算前景信息,产生额外开销。三维卷积神经网络能够直接从视频流中获得视频表征,但是模型泛化能力差。本文具体分析了网络结构和参数初始化方法对三维卷积网络性能的影响,说明了参数初始化能提高模型的泛化能力。并提出了一种基于三维自编码器的无监督视频表示学习方法。首先使用三维卷积模型构造编码器,使用三维转置卷积和线性插值算法构造解码器,然后使用三维自编码器同时对视频帧的序列进行重构和预测。实验证明,算法能够帮助三维卷积网络获得更好的视频表示,提高后续基于视频的行为识别任务的精度,是一种有效的无监督视频表示学习方法。(3)深度学习领域对于视频表示的学习常使用端到端训练的方式,而缺乏具体的物理意义。在上述算法的基础上,本文提出了一种基于光流一致性假设的无监督视频表示学习算法,使网络学习有物理意义的假设来提升网络泛化性能。首先使用三维卷积模型构造自编码器;将光流看作相邻帧之间的图像变换,并使用自编码器学习这种变换。具体地,使用连续视频序列的奇数帧序列作为输入,使用三维自编码器预测偶数帧序列,使用对抗训练来衡量预测和真实光流变换的帧序列的差距。当模型收敛的时候,对抗训练达到均衡状态,从而隐式地学习光流一致性假设。实验证明,本章算法能够不依赖大规模数据集的预训练参数也能帮助三维卷积网络获得好的视频表示。算法相比已有的无监督和自监督算法有性能上的提高。