人体动作识别是多媒体分析领域的一个重要课题,近年来被广泛应用于人机交互、智能视频监控和虚拟现实等方面。本文结合西工大研究生创业种子基金“基于Kinect的手势识别系统”,针对人体动作识别中的手指以及四肢识别跟踪问题,基于RGB-D摄像机数据流,研究了指尖和四肢的检测、标注以及深度跟踪等技术问题,解决了人体动作识别中手指运动跟踪问题、人体四肢运动跟踪问题,实现了桌面上的虚拟钢琴弹奏的手势识别以及仰卧位人体姿态识别两种典型算法。论文的主要研究内容以及成果如下:1、分析了手指识别的现有方法以及应用范围,并以此为基础研究了白色桌面上手指的指尖检测与标注。主要包括利用皮肤椭圆模型检测手部区域,使用基于手轮廓的凸缺陷检测指尖位置,利用手部的生理构造以及几何模型进行双手指尖标注。完成了基于C++的指尖标注跟踪软件,实现了桌面上手指的运动跟踪。2、为了减小由于外界环境干扰而造成的指尖深度值的波动噪声,在手指运动跟踪过程中,采用滑动窗口策略获得稳定的指尖深度信息。实验表明,增加滑动窗能有效减小深度值的不稳定性,使本文的指尖跟踪系统具有较强的鲁棒性和抗干扰能力。3、在RGB-D摄像机人体骨骼信息追踪的基础上,根据深度信息进行人体区域的检测,解决了仰卧位人体识别中背景信息被误识别为人体的一部分而造成的人体位置信息不准确的问题,实现了人体的准确定位,为人体四肢跟踪提供了可靠的数据。4、研究了人体四肢检测的算法,包括人体骨架构造、人体腿部检测以及人体上肢的检测。首先细化人体轮廓得到人体骨架,然后根据人体骨架构造得到人体腿部。实验表明,该算法可以给出仰卧位状态下人体四肢的准确位置。5、设计了融合四肢深度信息、提高四肢标注准确性的方案。使用深度信息有效地解决了当两脚与摄像机位于一条直线上时由于遮挡而出现腿部标注误交换的问题,使四肢标注跟踪的准确度得到很好的提高。本文基于RGB-D摄像机数据流,通过四肢以及手指的检测、深度跟踪等关键技术,开发了人体动作识别中手势识别以及仰卧位人体姿态识别系统,在虚拟现实技术、医疗康复等领域具有很大的应用前景以及商业价值。