随着社会老龄化程度的不断加快,慢性病群体规模也愈加庞大,而脑卒中作为我国致死因素第一的典型慢性病,具有极高的发病率与致残率。康复锻炼可以恢复卒中患者大部分的运动能力,也是患者康复期的主要治疗手段。我国有限的医疗资源难以满足现阶段卒中患者的康复需求,长期住院治疗也会给家庭带来昂贵的医疗费用,因此多数患者在医院接受早期治疗后就转移至家庭中进行后续的康复训练。而家属由于外出工作等原因难以做到实时监督,患者存在康复依从性较差的问题。通过智能监控技术可以从视频中实时识别患者的康复动作,替代家属甚至医师来监测并督促患者的康复过程,从而提高中长期的康复水平。针对以上需求,本文主要研究康复训练场景下的动作与行为识别问题,特别是脑卒中康复动作,主要工作如下:(1)提出了一种基于姿态双流网络的康复动作识别方法。首先从RGB视频段中等间隔采样视频帧并通过姿态估计方法Open Pose提取人体骨架关节点。由于复杂场景下的姿态估计存在缺失的关节点,从相邻帧的骨架数据中通过高斯加权均值来计算缺失点,然后在姿态序列中采用霍尔特指数平滑法减小关节坐标的抖动,并基于视频的分辨率对关节点进行归一化处理。之后从姿态序列中分别提取初步的空间特征与运动特征。基于多层特征融合的GRU与注意力机制设计空间流网络,从空间特征序列中提取时空信息;基于多层1D CNN并结合因果与空洞卷积设计运动流网络,从运动特征序列中提取时空信息。在softmax层采用自适应权重的方法融合两个网络的分类结果。实验结果表明两个分支的网络都取得了优异的识别效果,并且融合后的网络进一步提高了识别性能,在公开数据集KTH中的识别率达98.61%,在康复动作数据集中对623例测试视频的识别率达100%。(2)数据集样本是经过裁剪的离线视频段,为了实现对监控摄像头实时获取的未分割视频流进行同步分析,在姿态双流网络的基础上提出了一种基于监控视频流的在线康复动作识别方法。家庭中存在其它无关人员的干扰,同一个人的姿态序列在多人场景下会失去时序关联,首先结合姿态估计与卡尔曼滤波设计了一个高效的单目标跟踪方法,通过预测目标在下一帧的位置实现对目标人体的轨迹跟踪,同时生成对应的在线姿态流。设计滑动窗口从姿态流中截取分段骨架特征,经过预处理以及特征提取后采用空间流网络对分段特征进行动作分类,然后在时域上引入非极大值抑制算法选择邻域中的最优窗口,并通过多尺度子窗口进行尺寸修正。实验结果显示该模型对在线康复动作的识别率达91.8%,在GTX 1060上的运行速度达18.30 FPS,在实时性与识别率方面都有较强的优势。