人体动作分析长期以来是计算机视觉领域一个重要的研究方向,随着人工智能技术的快速发展,人体动作分析已广泛应用于安防监控、医疗康复、体育竞技等领域。在基于视觉的人体动作分析中,主要输入的模态信息为图像信息和骨骼信息。每种模态信息可体现人体动作的某种特征。基于多模态信息的人体动作分析融合不同模态信息的优势,提升分析的准确性。如何利用多模态信息建模并分析人体动作是目前的研究热点。本文利用多模态信息分别从人体姿态估计、人体姿态识别、人体动作识别、人体动作评价四个方面展开研究。本文的主要工作及创新点如下:(1)针对基于传统Open Pose的人体姿态估计中,人体关键点检测不精确及关键点间的误连问题,提出一种基于姿态流优化的Open Pose方法。采用图像序列中的人体姿态流信息,对Open Pose的人体姿态估计结果进行优化,弥补了传统Open Pose忽略帧间图像信息的缺点。实验结果表明,基于姿态流优化的Open Pose方法有效解决了太极拳大幅度运动中人体姿态的关键点误连问题。(2)针对基于传统时空图卷积的人体姿态识别中,忽略人类视觉关注策略的问题,提出一种基于注意力机制的时空图卷积网络。基于融合注意力机制的骨骼点划分方法,改进图卷积操作中的权重函数。从而模拟人类视觉的注意力机制进行人体姿态分析与识别。实验结果表明,基于注意力机制的时空图卷积网络能够强调人类视觉关注的重点动作部位,相较于传统网络模型,识别率提升8.8%。(3)针对基于双流长短时记忆网络的人体动作识别中,上下文信息表达不充分的问题,提出一种双流双向时空长短时记忆网络。利用双向长短时记忆单元构建双流双向长短时记忆网络。网络的双通道分别分析人体动作的骨骼时间特征和骨骼空间特征,融合决策得出人体动作识别结果。实验结果表明,该模型充分考虑了人体动作序列的上下文信息的关联性,相较于传统网络,提升了网络模型性能及识别准确率,将人体动作识别准确率提升3%。(4)针对八式太极拳的动作评价问题,研发基于多模态信息的人体动作评价系统。首先基于Kinect2.0深度相机采集人体动作多模态信息即彩色图像信息和骨骼信息。其次基于多模态信息构建人体动作特征。再次提出基于双通道支持向量机的人体动作评价模型。最后基于软硬件平台研发太极拳动作评价系统。实验结果表明,该系统能够实时准确的评价太极拳动作,兼备智能性与交互性。