骨架数据已被广泛用于动作识别任务,因为它们可以稳定地适应动态环境和复杂的背景。在现有方法中,骨骼数据中的关节和骨骼信息都被证明对动作识别任务有很大帮助。但是,如何结合这两种类型的数据以最好地利用关节和骨骼之间的关系,仍然是一个有待解决的问题。行为识别（视频分类）是视频理解领域非常重要的一个方向。对获取的人体3D视觉数据进行深层分析处理,是机器学习和模式识别领域的前沿研究课题。但由于人体行为是非刚性运动,其相关3D数据的优化分析问题是强非线性的,我们很难直接使用传统的基于欧式空间的方法来处理。由于黎曼流形在描述3D运动方面更具优势,我们在研究其理论的基础上,提出了一种能够充分利用3D骨架数据的黎曼流形运动轨迹图卷积网络模型。其中,基于黎曼流形的骨架行为识别技术关键在于两点:一是如何根据运动过程骨架空间结构变化设计强有力的骨架特征,二是在运动过程中描述骨架变化的时域关系。由于骨架运动的特性,如何提取具有区分性的空时特征,有效地对不同行为的空时演化进行建模,为此我们提出了一个空时注意力机制模型,将其对骨架空时注意子模块整合到端到端的深度学习架构中。本论文的主要工作如下:（1）我们设计了一个基于黎曼流形的空时轨迹图卷积模型,为了学习骨架运动过程中部位对变化的空时特征,将原始三维骨架坐标预处理成动作序列曲线。将每一个动作曲线视作为图卷积中图节点,利用黎曼流形上的黎曼度量,我们将动作轨迹曲线建图。利用轨迹图卷积对建立的邻域子图进行连接预测,根据预测结果对建成的子图中的节点贴上伪标签,为这些图中节点分别贴上不同类别的标签对节点进行分类。我们的模型在目前三个公开的行为识别数据集上进行了实验,结果显示我们的算法能够取得最好的结果。（2）我们设计了一个基于端到端空时注意力机制的模型,提出一个空域注意力子模块,来进行区分关节的自动挖掘。特定类型的动作通常只与运动关节的子集相关联并以其为特征。首先利用李群结构表达双人交互过程。此外,对于运动过程每一帧骨架部位交互过程,我们提出了一个空时域注意力子模块,该模块显式地学习和分配与内容相关的注意到每个帧的输出,对于交互过程骨架部位对给与不同的关注度,以提高识别性能。然后,将经过筛选处理的骨架序列进行黎曼相似性度量构建邻域图,最后,根据相似性学习的图卷积子网络学习并更新所有节点之间的边,然后根据相似拉相异推,同一类动作节点类内间距缩小,不同动作类间动作间距拉大,形成不同动作的簇,得到具有了全局相似性的图,在多种公开交互行为数据集上证明了我们模型能取得不错的进展。