基于RGB通道的单视角动作识别容易受到诸多因素的干扰。例如:光照变化、视角变化和个体动作差异等因素。这些因素限制了其进一步的发展和应用。为了减少这些干扰因素的影响,多视角多模态以及动作间的潜在关联信息研究开始成为动作识别领域的新热点。基于这些发展趋势,本文的研究工作包括以下三个部分:1)在单视角条件下,提出了基于深度运动轨迹信息的人体动作描述算法;2)在不同视角条件下,评价与分析不同正则化多任务学习算法对动作识别的性能影响;3)在多视角条件下,提出了基于正则化多任务学习和图集的多视角人体动作识别算法。具体工作为:1)提出基于深度运动轨迹信息的人体动作描述算法。在深度视频图像上,该算法首先利用光流信息的变化去提取稠密轨迹特征,加入该特征的深度变化信息并将稠密轨迹的立方体分割成若干个子立方体;然后,计算相应的描述算子-HOG(Histograms of Oriented Gradients)和HOF(Histograms of Optical Flow),为了消除相机移动所带来的干扰,计算MBH(Motion Boundary Histogram)描述算子,将轨迹特征、HOG、HOF和MBH进行串联,利用K-means和BoW(Bag-of-Word)模型进行投影;最后,利用不同的支持向量机SVM(Support Vector Machine)进行分类。通过在两个公开深度动作数据集DHA-17和UTkinect的实验结果可知:该描述算法在深度数据上具有较好的实验性能。2)评价与分析正则化多任务学习算法对人体动作识别的性能影响。由于正则化多任务学习算法能够很好地挖掘不同任务之间的关联信息,所以本章将同一视角的不同动作视为不同的任务,利用多种正则化多任务学习函数来挖掘不同动作之间的关联信息并将它们的实验结果与单任务学习算法SVM的实验结果进行比较;此外,在跨视角识别上对该算法实施进一步的评估。通过在三个公共多视角数据集CVS-MV-RGBD-SINGLE、IXMAX、UCLA数据集上的实验结果可知:正则化多任务学习算法在单视角识别上具有一定的优越性和鲁棒性,能够在一定程度上挖掘不同动作之间的关联;此外,由于视角的差异较大,正则化多任务学习算法的性能受到制约,在跨视角识别上优势不明显。3)提出基于图集和正则化多任务学习的多视角人体动作识别算法。首先,为了验证多视角样本对多任务学习的影响,算法将不同视角下的训练样本进行叠加,挖掘不同视角下样本的关联信息;随后考虑到不同视角样本的相关性,将图集算法引入到多任务学习模型Least_RMTL中,进一步挖掘不同视角不同动作的关联信息,从而达到提高动作识别率的目的。通过在三个公共多视角数据集IXMAX、UCLA、CVS-MV-RGBD-SINGLE实验表明:多视角样本数量的增加对多任务学习算法性能具有一定的促进作用;同时,图集算法的引入使多视角样本之间的潜在关联特性得到了充分地挖掘,进一步的提高了多视角动作识别的性能。