随着社会的不断发展与进步,视频数据的急剧增长,视频中的行为识别与分析逐渐成为我们研究的热点。基于RGB视频或光流的行为识别方法易受背景、光照和外观变化的影响,越来越多的研究者将视频序列转换为骨架序列进行研究。现有的基于骨架的研究大多是对单人骨架进行分析,而对于理解具有多人之间关系的复杂人类活动的问题还没有得到充分的解决。同时,在对行为进行分类后,理解视频中动作的本质也是我们需要思考的问题。为了进一步探索和解决这些问题,本文通过对视频中多人行为进行分析、研究。首先对视频的类别进行确认,然后剖析分类后动作的实质,最后设计并实现了交互行为识别系统。本文主要研究工作包括以下内容:（1）提出了基于骨骼图卷积的多人交互行为识别算法,以提升交互类行为识别的精度。针对多人交互动作中两人肢体行为的特点,本文提出基于骨架的时空建模方法,将时空建模特征输入到广义图卷积中进行特征学习,通过谱图卷积的高阶快速切比雪夫多项式进行逼近。我们对骨骼点之间的交互信息进行设计,使得网络能够捕获额外的交互信息,以此增加动作识别的准确性。同时为增强时域信息的提取,创新性的将切片RNN应用于视频行为识别,以捕获整个动作序列依赖性信息。实验结果表明,此方法对于交互类行为的识别有一定的作用。（2）提出了一种融合时空注意力和位移变化的主动性行为检测算法,以判断交互动作中的主动方。针对主动行为识别数据集的缺失,结合多目标跟踪技术Sort算法和人工标注的方法构建了主动行为数据集,为主动性行为的分析提供数据支持。通过时间空间注意力模型有选择性地关注输入帧内的骨骼点,并对不同帧的输出给予不同程度的注意力权重。针对主动行为识别的特点,设定一个衰减系数,增大帧间的区分度。对于注意力权重相近的动作,我们通过结合动作类别和位移轨迹变化来判断,最终来确定交互动作之间的主被动行为。实验结果表明,该方法能够有效的检测出交互动作中的主动方。（3）基于本文所研究的内容,设计并实现了一个交互行为识别系统。该系统主要包括行为识别和主动行为检测两个模块,同时添加了一个存储模块用于保存输入或输出的数据。经研究表明,设计的原型系统具有一定的社会性和价值性。