在虚拟现实技术日新月异的今天,人们对人机交互的要求也越来越高,总是希望以更直接、更自然、更逼真的方式来实现,特别是在通过手势进行人机交互的场景下。因此,对于人机交互中的手势识别的探索和完善具有相当重要的意义。当代,由于脑卒中引发的手功能障碍患者日渐增多,基于现有的手功能康复设备以机械设备为主,机械设备不仅会加重患者手的负担,而且缺少必要的沉浸式体验,不能对康复过程进行跟踪评估等问题。因此,本文提出了一种患者可以自主进行康复训练的沉浸式康复训练系统,患者无需佩戴任何负重设备,只需执行相应的手势即可进行康复训练。研究内容详情如下:（1）该系统主要采用Leap Motion双目视觉传感器来采集人的手部信息,通过改进的主成分分析法（PCA）的数据融合技术对该传感器采集到的实时数据进行数据融合,以更少的主成分获得更多人手部姿态完整的信息,在提高了姿态数据的稳定性和准确性的同时,也提高了系统的整体运行效率。（2）紧接着提出了利用改进的支持向量机（SVM）和K近邻算法（KNN）进行手势数据的识别和分类,使Leap Motion能够更加精确和迅速的获取人手部的特征信息,减少了极大工作量,优化后的SVK提高了手势识别的准确性和有效性,从而让患者可以更有效地进行自主手功能康复训练。（3）最后在Unity 3D平台上构建了基于Leap Motion的手功能康复训练评估系统。通过层次分析法（AHP）的思想对患者康复进行康复训练的手势数据进行有效评估,然后把康复训练结果实时地记录到本地数据库,并可以将其作为主治医师的必要参考因素,方便对患者进行跟踪治疗。实验结果表明此手功能康复系统能准确地检测人手完整信息并且触发PC端里面相应的康复动作和动作的效果,有效地实现了此手功能康复训练系统的执行,具有很好的应用前景。