人体姿态估计是一种像素级别的计算机视觉任务,其提取的人体骨架是一种低维的可解释的表示形式,这种特性有利于对人行为的理解和预测,因此,人体姿态估计被广泛应用于自动驾驶、人机交互、动作捕捉和动作识别等领域。动作识别是一种认知视觉任务,一些感知视觉任务的好坏对动作识别产生直接影响,如目标检测、人体姿态估计等。得益于人体姿态估计算法的进步,目前基于人体骨架的动作识别算法成为动作识别领域的主流算法。随着深度学习进入动作识别领域,动作识别算法已经取得了巨大的进步。但是,在复杂场景下的动作识别仍然是一个亟待解决的问题。复杂场景下一般会具有多变的尺度、多变的角度和遮挡严重等问题。这些问题是限制很多感知视觉算法（目标检测、姿态估计、目标跟踪）的关键因素,因此会影响动作识别算法的准确性。基于此,本文主要针对动作识别中的角度和遮挡问题进行研究。通过人体正面姿态估计解决角度的影响问题,通过多目标跟踪算法和人体姿态分类解决遮挡的影响问题。主要研究内容如下:（1）基于多角度人体图像的正面姿态估计。基于不同视角下人体图像的姿态估计结果存在巨大差异而正面视角下人体图像提取的姿态一般更有利于进行动作识别,提出了一种基于FP-Net（Frontal Pose Network）的人体正面姿态估计算法,实现了任意角度人体图像的正面姿态提取。对于FP-Net的设计,本文采用在骨架模型Resnet的基础上引入三维姿态的特征融合模块和基于anchor pose回归的模块。另一方面,由于没有面向人体正面姿态估计开发的数据集,本文采用光场采集设备收集并标注了一个多角度人体图像数据集。（2）基于MOT（Multiple Object Tracking）和姿态分类的教室场景下学生行为分析。针对真实拍摄的学生上课视频数据一般具有严重遮挡的问题,提出了一种基于MOT和姿态分类的学生行为自动检测方法。对于MOT的设计,本文采用Tracking by detection的模式进行学生的多目标跟踪;对于姿态分类的设计,本文采用高斯核SVM算法得到学生行为类别。（3）教室场景下的学生行为分析系统设计与实现。基于教室场景下的学生行为分析研究,结合现有的人脸检测和人脸识别模型,设计并实现了一套教室场景下的学生行为分析系统。该系统面向辅助教学的需求进行设计,主要实现了学生行为自动检测及自动签到功能,利用Python GUI工具包将学生行为分析结果以图表的方式进行展示,方便教师的查看。