随着监控摄像头的普及,基于视频数据的安防需求进步一步扩大。为了充分利用这些基础设施作为感知器官的能力,基于视频数据的行为识别成了学术上的研究热点话题。对于无人驾驶领域,针对道路上行人行为分析也是一个重要的难点,在该场景下的行为识别有助于提高汽车的防风险系数。行为识别不仅在安防,无人驾驶领域具有重要作用,在家庭服务机器人领域同样具有研究价值。随着世界范围的老龄化时代到来,家庭服务机器人市场也逐步开始扩大,为了更好的服务人类,机器人对人的行为分析就提出了更高的要求。由此可见,基于视频的行为识别在很多现实场景下有着大量的需求。通过对行为识别算法的研究,使得机器更加自动化,智能化,给安防,无人驾驶,服务机器人等行业带来实际价值。同时,随着深度学习在各个领域取得了巨大成就,并且得益于深度神经网络强大的特征学习和特征表达能力,深度学习在行为识别也取得了理想的成效。因此,本文提出使用基于深度神经网络的视频行为识别算法。本文的主要工作包括:（1）阐述了基于视频的行为识别的意义,充分调查研究了基于视频的行为识别算法的研究现状,对基于传统特征的行为识别算法和基于深度学习的行为识别算法进行了总结和分析。（2）针对局部空间特征缺乏判别性和时序特征低效单一的问题,本文提出了一种基于混合空间注意力和层次时序聚合的行为识别算法。具体表现为,针对局部空间特征缺乏判别性问题,提出了局部空间注意模块（Spatial Attention,SA）用于在2D-CNN提取的高层语义特征基础上增强其局部判别性。针对时序特征低效单一问题,提出了层次时序聚合模块（Hierarchical Temporal Aaggregation,HTA）在多个时序尺度上聚合时序信息并组合为富尺度时序特征,增强2D-CNN模型的时序建模能力。局部空间注意力模块和层次时序聚合模块共同组成了混合空间注意力和层次时序聚合模块（Mixed Spatia Attention and Hierarchical Temporal Aaggregation,MSAHTA）,该模块可灵活的嵌入存在的2D-CNN行为识别模型,增强其空间表达能力和时序关系建模能力。在UCF101,HMDB51等数据集上进行了大量的分析实验,验证了所提出方法的有效性。（3）针对直接帧间差分导致的背景噪声问题和网络浅层时序建模不充分问题,本文提出了一种基于时序显著性集成的行为识别算法。具体表现为,针对由于摄像机的运动带来的背景噪声问题,提出了显著运动激励模块（Salience Excited Motion,SME）。SME的目标是通过局部-全局运动建模突出运动敏感区域,在相邻帧之间依次进行背景抑制和金字塔特征差分,以较少的背景噪声捕获运动动态。针对网络浅层时序建模不充分问题,提出了跨尺度时序集成模块（Cross Temporal Intergation,CTI）。CTI通过一组独立的一维卷积分别进行多尺度时序建模。同时,不同尺度的时序交互作用与注意机制相结合。整合SME和CTI构成时序显著性集成网络（Temporal Salience Intergratio,TSI）,对长-短时序关系进行编码。在几种常用的基准数据集（即Something v1＆v2、Kinetics-400、UCF-101和HMDB-51）上进行了大量的实验,证明了本文方法的有效性和优越性。（4）针对本文提出的基于混合空间注意力和层次时序聚合的行为识别算法和基于时序显著性集成的行为识别算法,设计并实现了基于深度学习的行为识别算法框架,辅助研究人员快速完成算法实现,同时方便开发人员进行项目实现。