人体动作识别是计算机视觉领域的一个重要的研究方向,旨在使计算机能够自动识别人体动作。人体动作识别技术在智能监控、无人驾驶、人机交互等方面都有广泛的应用。随着深度学习被应用于人体动作识别领域,人体动作识别准确率有了显著提升。这其中空域特征与时域特征最为常用,然而时空特征存在复杂多样性和时空对应关系利用不足的问题。针对人体动作时空特征复杂多样性以及时空特征之间对应关系利用不足问题,本文对基于多特征学习的人体动作识别技术进行研究,具体内容如下:（1）针对人体动作时空特征复杂多样性,本文提出了基于多特征学习卷积神经网络。该网络以传统双流网络为框架,在视频预处理时,采用时间关联性采样TRN（Temporal Relation Network）算法,该方法可以充分利用不同帧之间的关联性。在提取空域特征时,为了解决空域特征的复杂多样性,使用具有强大特征描述能力的残差网络来提取空域特征;在提取时域特征时,考虑到光流特征提取耗时的问题,采用结构简单的BNInception网络来加速光流特征的提取。为了提高光流特征的利用率,本文提出了跨模态预训练,在光流图像送入时域特征提取网络之前,首先通过线性变换将光流场离散到RGB图像像素值所在区间,然后修改RGB预训练模型卷积层的权重,使其更适合处理光流图像。时空特征进行融合后再进行分类,得到动作识别的结果。（2）针对时空特征之间的对应关系利用不足,本文提出了基于运动激励与时间聚合的多特征学习人体动作识别算法。该算法在多特征学习卷积神经网络的基础上,将本文提出的运动激励与时间聚合模块加入到空域特征提取网络,用来建立空域与时域特征之间的对应关系。该模块由多尺度动作激励模块和挤压激励时间聚合模块构成。多尺度动作激励模块使时间维度三个相邻时刻的特征依次作差,再将作差后的特征进行拼接,获得由特征级时间差表示的运动特征,以建立空域与短时时域特征之间的对应关系。挤压激励时间聚合模块将局部卷积变形为一组子卷积,多个子卷积组成层次结构共同提取特征,特征经过增强或抑制后与多个子卷积共享,使最终的时态感受野增大,以建立空域与长时时域特征之间的对应关系。上述两个模块同时分别建立空域与短时时域和长时时域特征之间的对应关系,在空域特征提取网络上解决时空特征之间对应关系利用不足的问题。空域特征与经过跨模态预训练网络提取出的时域特征进行融合,进过分类器得到最终的分类结果。本文在UCF101和HMDB51两个数据集上进行了验证,基于运动激励与时间聚合的多特征学习人体动作识别算法识别准确率分别为96.0%和71.2%,有效提高了识别准确率。