基于深度学习的双人交互行为识别是行为识别领域的重点研究课题。由于RGB视频获取简单且包含丰富的外观信息,但缺少深度维度信息,对于复杂行为的识别准确性不高。Kinect设备获取的人体三维关节点数据简单清晰且不受外观等因素的影响,与RGB视频呈互补特性。在双人交互行为识别领域,基于深度学习的RGB视频和关节点数据的研究均取得了一定的进展,但二者融合的识别框架还不成熟、不完善。因此本文针对基于深度学习的RGB视频和关节点数据融合的双人交互行为识别展开深入的研究。首先,针对RGB视频和关节点数据两种异构数据源难以有效融合的问题,提出了一种通过关节点数据关注RGB视频的双人交互行为识别方法。该方法通过帧差法获得RGB视频的运动特征图,再通过计算关节点运动速度方差获得主要运动关节并生成关节点关注热图,然后将RGB运动特征图和关节点关注热图叠加并拼接,得到具有时空关系的融合特征图,最后结合VGG19网络实现双人交互行为识别。在NTU RGB+D数据库下识别准确率达到90%,验证了RGB视频和关节点数据融合特征的合理性。其次,针对上述框架没有充分建模行为的时序信息问题,提出了关节点数据关注RGB视频时序建模的双人交互行为识别方法。首先,提出改进的融合特征,将关注形式从热图形式改为颜色矩形框形式,更完整的保留RGB视频提供的运动信息。然后建立Bi-LSTM时序模型学习行为的时间特征,在同样的数据库下进行对比测试,识别准确率得到提高,分别验证了改进融合特征和建立时序模型的有效性。最后,针对关节点数据关注人体运动部位的准确性难以保证问题,提出了GCN矫正关节点数据关注RGB视频的双人交互行为识别方法,该方法利用图卷积网络学习关节点数据的连接关系,并与关节点的运动速度方差结合,重新更新主要运动关节所在位置,纠正关注不准确的运动部位。在相同网络框架下进行测试,最终识别准确率达到了95%,识别效果得到进一步提升。本文所提方法为复杂背景下的双人交互行为识别研究提供了可行的解决方案,该方法的有效使用将有效提升智能监控系统的智能化水平,具有广阔的应用前景。