近年来人机交互技术成为计算机研究领域的一个新热点。人机交互技术是指通过计算机系统的输入和输出设备,以某种有效方式实现人与系统对话互动的一种技术。传统的人机交互方式已经无法满足人们对自然性和多样性的需求。随着计算机技术的不断更新,人机交互将逐渐实现无缝连接,朝着人性化和智能化的方向发展。由于手势在交流中的敏捷性和广泛性,本文选取手势的研究作为人机交互的接口。本文采用立体摄像头Bumblebee2,可以采集目标的RGB图像和深度信息,根据这些信息,本文提出一种新的简易的手势三维跟踪和识别方案,并给出了其在人机交互中的一个应用案例。在复杂背景和光照影响的环境下,将RGB图像转换到YCbCr空间,通过OSTU自适应阈值分割算法和最大连通域选择的方法获取感兴趣的手势区域；进而运用距离变换提取掌心位置,并且通过立体匹配获取深度信息,掌心的三维坐标信息用于手势的三维跟踪；同时在获取轮廓的基础上计算曲率,拟合椭圆来识别指尖,作为简易的手势识别。和传统的手势跟踪识别方案相比,本文提出的方法在环境比较复杂的情况下,手势跟踪和识别的效果比较理想稳定,对用户的限制比较小,最重要的是可以做三维空间的手势跟踪和识别。并且这些信息可以运用到很多人机交互的场合中。