近年来,视频中的人体行为识别成为了计算机视觉领域的一项重要研究课题,其在行为检测、智能视频监控、医疗等领域都有着广泛的应用价值。同时,视频中的动作受光照、视角的影响,且同类别之间还存在类内差异大等干扰因素,让视频中的人体行为识别的研究难度加大。因此需要不断地研究出新的方法,来找到具有代表性的特征,从而对视频中的行为进行识别,这也是这项任务的关键点之一。比图像分类更难的是,视频分类不仅要捕获空间的外观特征,还要捕获各个视频帧序列之间的时间信息。鉴于深度学习方法近几年在图像处理领域取得的巨大成功,许多的研究者在深度学习的基础之上进行了视频的时空特征研究。然而,单一的特征模式在视频行为识别中并未取得最佳效果。对此,本文提出了多模态的特征融合方法来处理这项任务。本文所做工作如下:(1)基于人体行为识别这项课题展开广泛调研,总结了这项课题的国内外研究现状,在研究前人的方法时发现单一特征存在的一些问题,针对特征表示提出了多模态特征融合的思路。(2)为解决单一特征的表示性不足等缺点,提出了基于深度网络和特征融合的人体行为识别方法。此方法利用卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long-short term memory network,LSTM)提取视频序列的时空特征;另外,增加了一个通道利用图像自适应阈值二值化方法和异或方法将视频序列做预处理,然后用CNN从中提取全局运动特征,最后再与时空特征融合。将此融合特征在公共数据集上做评估,结果表明,这两种特征具有互补性,它们的融合使得特征的表示性更强,在公共数据集UCF50上的识别结果比单一的时空特征提高了7.3%。(3)为了弥补全局运动信息在细节和背景信息上的表示性不足,进一步提出了基于多模态特征融合的人体行为识别方法。此方法在上述的融合结构中加入了视频两帧之间的上下文信息作为第三个通道,由此,构成了三通道的多模态特征融合结构。最后,融合特征在UCF50数据集上做了评估,结果显示比上一个方法的识别率提高了5.1%,表明了正确利用多模态特征之间的互补性,可以有效的增强融合特征的表示性,提高识别精度。