自然人机交互是指用户以自然的方式与机器进行交流如行为动作、语音等。其中行为动作是自然而直观的人际交流方式。基于视觉的行为动作识别是完成新一代人机交互的关键技术。Kinect作为微软发布的一款革命性产品,能够捕获、跟踪人体的行为动作,其旨在为用户提供一种全新的人机交互体验。本文借助于Kinect传感器,通过对获取到数据流的处理,识别用户的握拳姿势作为模拟鼠标模式的开启的事件,识别用户手部的运动轨迹作为相应的应用命令。在此基础上,将其应用到教学中,提供无接触式的互动交互。本文主要工作如下:(1)定义了一套的人机交互规范,以便于在教学中获得更好的体感交互。针对教学环境,定义了空气鼠标和相应的手势操作。空气鼠标是指通过用户手部动作模拟真实鼠标事件,如前推操作表示鼠标左键点击,手部移动表示鼠标的移动。(2)提出基于模拟字符串匹配的手势识别算法。该算法将连续的运动轨迹编码成有限字符序列并使用加权的Levenshtein距离来计算字符序列间的相似度。模拟字符串匹配的手势识别算法的编码方式缩短了匹配序列的长度,所以这种算法相比于动态时间规整算法(Dynamic Time Warping,DTW)来说降低了行为识别过程中的计算量。实验结果表明,所提出的方法手势平均识别率在90%以上且时间消耗更少并能够保持良好的实时性。(3)提出基于深度数据的握拳姿势检测算法。握拳姿势用于判断当前行为动作类型的标识,通过指尖的个数判断反推当前是否处于握拳姿势。针对目前握拳识别所使用的肤色模型易受光照影响以及多半径同心圆的手指探测方法检测效率不高等问题,本文提出了基于深度数据的握拳姿势检测算法。该算法使用三维骨骼点信息以及深度图像信息分析出手部图像,同时使用边界探测方法来识别指尖。实验结果表明,本文提出的握拳姿势检测方法可以有效的检测和区分出握拳和非握拳姿势。(4)设计了教学环境下的原型系统。该系统通过自主设计的贴片式应用和开发应用适配器两种方式为用户提供行为交互体验。该系统同时为第三方设备提供行为数据接口以便于第三方扩展。