人体行为识别是指根据给定视频,利用机器学习和计算机视觉中各种方法自动分析视频中人的行为动作类别。行为识别容易受视频复杂背景、光照变化、行为人完成动作的速度、视角变化和部分遮挡等因素的影响,导致行为动作的类间与类内的模式变化大,使得人体行为识别成为目标识别中的难题,也是当前计算机视觉领域中的研究热点。人体行为识别的研究成果可以应用于智能视频监控、视频检索、人机交互等领域。因此,开展视频中人体行为识别的研究具有重大的理论意义和广泛的应用前景。本文在综述视频中人体行为识别技术的基础上,将当前人体行为识别方法分为基于人工设计特征的识别方法和基于深度学习的识别方法。针对深度卷积神经网络参数多、难以处理长时序运动特征等问题,开展了基于全卷积神经网络的行为识别、基于循环神经网络的行为识别和基于类残差循环神经网络的行为识别的研究。本文的主要研究工作和创新点如下:1、针对将图像领域中的卷积神经网络（ConvolutionalNeuralNetwork,CNN）扩展到视频中的行为识别存在网络参数多、训练样本不足的问题,提出了由卷积层和池化层组成的全卷积神经网络。网络最后的最大值池化层采用步长为7、尺度为7X7的池化核。大步长和大尺度池化核的池化操作能有效压缩网络输出特征向量的维度,同时也能有效保留视频的表观信息和位置信息。在双支流特征融合阶段,通过线性加权的方法融合两条支流中对应像素点的表观和位置特征,有利于算法识别准确率的提升。针对特征编码方法丢失视频时序特征的问题,提出了时序金字塔池化方法融合不同帧数的帧特征,得到统一维度的视频特征描述子。在UCF101和HMDB51数据集上实验对比了 FV（Fisher Vector,FV）编码,VLAD（Vector of Locally Aggregated Descriptors,VLAD）编码和时序金字塔池化方法的识别性能,验证了时序金字塔池化方法能够保留部分时序信息,提升了算法的识别准确率。2、在基于视频的人体行为识别中,视频的表观特征和长时序运动特征的获取是关键,同时也是难点。针对当前基于人工设计特征方法和卷积神经网络方法难以提取到长时序运动信息的不足,提出了一种循环混合网络的人体行为识别方法。循环混合网络融合了多源特征信息:双支流CNNs学习视频帧图像的高层语义特征、双支流单层LSTM（LongShort-Term Memory,LSTM）网络学习视频的长时序运行特征和iDT（improved Dense Trajectories,iDT）支流描述短时序运动特征。为了缓和在小规模数据集上训练深度神经网络的过拟合现象,设计了视频扩增方法增加训练集中的视频样本数目。同时在训练循环混合网络时,采用分步骤训练CNNs和LSTM,避免同时训练两个网络模型参数过多的问题。提出的pi-LSTMs（poolinginputLSTMs,pi-LSTMs）模型能够有效捕捉到长时序运动信息。通过池化相邻视频帧特征和特征归一化处理方法,有效提升了算法的鲁棒性。在HMDB51和UCF101两个常用行为识别数据集上的实验结果表明提出的行为识别方法达到了当前业界最佳水平。3、循环神经网络能有效处理长时序信息,特别是在文本、语音信息的处理方面取得了很好的效果。但在基于循环神经网络的行为识别方法中,深度循环神经网络在现有行为识别数据集中容易出现过拟合现象,识别准确率低于基于人工设计特征方法。而浅层循环神经网络又存在难以学习到具有丰富语义的行为识别特征等问题。为了提升循环神经网络学习语义特征的能力,将残差学习方法引入到循环神经网络中,提出了类残差循环神经网络,使网络的隐含层数目增加到中等规模（3～4层）。相比于浅层循环神经网络,类残差循环神经网络可以学习到更加丰富的语义特征。在残差循环神经网络的设计中,研究发现标准深度残差网络中信号的连接方法在循环神经网络中并不适用。提出把循环神经网络的输入特征分别加入到各个隐含层,这种类残差连接方式更适合于循环神经网络的行为识别特征学习。最后,输入类残差循环神经网络和人工设计特征iDT模型的融合,提升了模型的行为识别准确率。在UCF101和HMDB51两个数据集上的实验结果表明提出的神经网络特征与iDT特征对行为识别具有很强的互补性。综上所述,本文从深度学习模型中网络参数过多、训练数据集样本不足等问题出发,提出了基于全卷积神经网络的人体行为识别方法。然后,提出了循环混合网络用于长时序运动特征的学习。最后针对浅层循环神经网络学习的语义特征不丰富的问题,提出了基于类残差循环神经网络的人体行为识别方法。在UCF101和HMDB51两个行为识别数据集上的实验结果表明本文提出方法能有效学习到视频的具有丰富语义的长时序运动行为特征,提高了行为识别的性能,促进了人体行为识别技术不断向前发展。