人体行为预测作为计算机视觉中的一个重要研究领域,在智能安防、人机交互、增强现实等场景下有着广泛的应用。目前双人交互行为预测的研究已经取得了一定的成就,而大部分方法使用的是通过提取RGB数据特征的方法进行预测。相对于使用RGB数据的预测的方法,利用人体骨架信息预测行为的方法具有更高的准确度。因此本文研究如何利用人体骨架提取来获取双人骨架数据,并预测双人交互行为视频数据中的行为。本文的主要创新点包括以下三个方面:（1）设计了一种基于关节点距离之和优化的双人骨架连接算法。在双人交互行为预测中,处理关节点的归属是影响双人交互行为预测的因素之一,将双人骨架关节点连接的问题转化为有约束条件下的关节点距离之和求解的最优问题。首先设置单人关节点的连接距离之和作为目标函数,使用k-means算法获得两个单人的关节点聚类中心后,并将这两个聚类中心之间的距离作为关节点之间连接距离的最大阈值,最后使用遗传算法寻找最优连接。（2）提出了一种改进遗传算法。针对目前遗传算法是基于染色体整体信息来判断其优劣,导致在进化过程中一些优秀基因被丢失,以及遗传算法在其搜索后期容易陷入局部最优值的情况,提出一种改进策略。即当遗传算法已陷入局部最优时,随机选取部分基因保持不变而剩余的基因发生进化;在下一次迭代中从上一步发生进化的基因中随机选取部分基因保持不变,而染色体中其他基因发生进化;依次迭代直至满足停止搜索条件的策略。（3）提出了一种基于投票机制的双人交互行为预测模型。首先,针对双人骨架关节点的坐标数据维度较高导致其出现过拟合的问题,设计了一种人体运动关节夹角的计算方法。即将有效关节点之间的坐标值转化为关节点所在肢体之间的夹角值,从而降低数据维度,提高双人交互行为的预测准确度。其次,针对BP神经网络在训练阶段容易陷入局部极值的问题,使用改进遗传算法来优化其权值和阈值的设置,来提高BP神经网络的预测能力。最后,本文使用投票机制对改进BP神经网络、支持向量机、长短记忆网络三种预测模型的预测结果进行票数统计,根据“少数服从多数”的原则得出最终的预测结果。通过实验表明,基于投票机制的预测模型在不同条件下的预测双人交互行为数据均有较好的效果,同时在一定程度上解决了预测模型受时间长短行为因素的影响情况。