人体行为识别融合了图像处理、机器学习、模式识别等许多领域的研究内容,是计算机视觉领域的热点和难点。近年来,越来越多的学者和机构致力于这一领域的研究热潮。随着研究内容的不断深入,研究重点已从简单的动作识别逐渐发展为对复杂行为的分析,理解和识别。然而,复杂行为识别是一项具有挑战性的研究任务,影响因素包括不受约束的复杂环境,背景杂乱和视点变化等。因此,提取有效且具有鉴别性的特征表示对于改善识别性能是非常重要的。本文在对目前的行为识别方法分析总结的基础上,做出了以下贡献:首先,本文提出了一种自适应子行为视频分割方法,它通过计算视频帧的深度特征之间的相似程度,自适应地将一个行为视频分解成几个不同的原子行为段。与等分行为视频相比,该方法没有破坏每个行为特定意图的连贯行为模式,在时间上保护了运动的连续性;然后,本文引入了时间池化方法来聚合每个原子行为段的特征,从而获取原子行为的时间动态;接着,本文构建了多尺度时间演化描述子,通过设计多时间尺度融合目标函数,使得优化求解后得到的视频特征表示能够在不同的时间分辨率上对行为进行更全面和精细的描述。第二,本文构建了交错增强注意力网络。通过引入层次互补注意力子模块和局部增强注意力子模块,获取了更具鉴别性的深度静态描述子。其中,在层次互补注意力子模块中引入了层间正则化约束和层次互补约束,从而自动聚焦于视频帧中和目标相关联的显著性区域;然后,在局部增强注意力子模块中又构建了语义鉴别性约束,对不同通道间的语义依赖建模,以进一步强调出特征中最具代表性的局部位置细节信息,同时抑制无意义的噪声,改善了特征表达能力。第三,本文将多尺度时间演化描述子和鉴别性的深度静态描述子融合,进一步构建了本文的行为识别新框架,它将动态和静态信息整合到一个统一架构中,实现了对行为更加全面和准确的刻画,同时提升了行为识别性能。在UCF101和HMDB51数据库上充分而广泛的实验验证了本文所提出方法的有效性。最后,本文对研究内容进行了进一步地分析与总结,并对未来工作进行了相应的讨论。