随着多媒体技术的发展,视频获取的途径越来越多,行为识别的应用也越来越广泛,例如:行为分析、危险预警、姿势识别、智能监控系统、人机交互、智能驾驶等,行为识别为这些应用提供了技术方案,具有很大的应用价值。但是视频不同于图片,图片仅包含空间信息,例如:颜色、纹理等信息,而视频不仅有空间信息,还有时序信息,时空特征的好坏直接影响最终的行为识别结果。深度学习发展至今,已在多个领域取得了卓越的成就,越来越多的人开始使用深度学习的方法解决行为识别的问题。目前大多数的基于深度学习的行为识别方法都按照单一固定的时间尺度处理所有行为,但是不同行为的发生时长是不一样的,行为在时间上具有多尺度特性,采用单一固定的时间尺度处理显然不是最优的。因此本文基于深度学习提出一种时间多尺度网络,该方法相比于没有时间多尺度的网络,识别准确率有较大的提升,且在运行效率上具有一定的竞争力。本文的主要工作包括以下两点:首先,为了解决背景对行为识别的影响,本文提出了具有局部特征的双流法行为识别网络。现有大多数的基于深度学习的行为识别方法都具有多个全连接层,当两个行为具有相似背景时,网络将很难区分这两个行为。本文以目前实时的行为识别方法中最好隐式双流(Hidden Two Stream)为例,利用反卷积可视化技术,先对双流法网络中的空间流子网络和时间流子网络进行分析。根据分析结果提出具有局部特征的双流网络,把识别网络更换为全卷积网络,提取出视频帧中的局部特征,去除背景对行为识别的影响。其次,在全卷积网络的基础上,为了使网络能够同时识别短时长、中时长、长时长的行为,本文基于3D卷积设计了时间多尺度模块,用多个具有不同时间卷积大小的3D卷积提取不同时间尺度的信息。3D卷积虽然具有是空间模能力,但是参数量相比于2D卷积多很多,为了充分利用2D卷积强大的的空间建模能力和3D卷积的时序建模能力,本文对3D卷积网络的结构进行分析,最终确定2D卷积和3D卷积融合的网络结构,结合时间多尺度模块提出时间多尺度网络。实验验证,本文提出的时间多尺度网络相比于没有时间多尺度的网络,不仅识别准确率有很大的提升,在计算效率上也有一定的竞争力。本文主要研究基于深度学习的行为识别方法,从经典的单一时间尺度的双流法出发,到时间多尺度模块的设计,最终提出时间多尺度网络,并通过在UCF-101上的实验验证了本文提出的时间多尺度网络的有效性。