和传统的鼠标、键盘等人机交互设备相比,手势是更自然、更便利的交互方式。基于手势的实时人机交互在虚拟现实领域有着重要的理论和应用价值,它可以用来实现三维鼠标以及用于人机交互的三维游戏中。本文描述了通过计算机双目视觉技术,实现一个三维指尖检测系统的算法基础、框架实现以及其他关键技术,最后利用该系统实现了三维鼠标以及若干基于指尖点击、指尖移动以及手掌翻转等多种手势的三维手势交互游戏。三维指尖检测系统由五个部分组成:第一部分是前景分割,实现了在线的肤色检测算法以及阈值结合混合多高斯背景减法算法,这两种前景分割算法可以根据系统使用的环境进行切换;第二部分是指尖检测,该部分包括单指尖检测和多指尖检测,单指尖检测算法包括基于骨架的端点搜索、基于轮廓K向量极值两种方式,多指尖检测算法通过手掌轮廓凸包以及缺陷属性来实现;第三部分是摄像机标定以及3D重建,摄像机标定通过一个自己设计的标记,利用OpenCV的标定函数获得世界坐标系的原点以及方位。3D重建部分利用在两个摄像机中得到的二维指尖位置,重建指尖在三维空间的位置;第四部分是Kalman滤波,Kalman滤波主要用来平滑指尖轨迹以及预测指尖3D位置,预测的3D位置会被投影到两个摄像机成像平面,然后用来设置前景分割的ROI区域;第五部分是获得指尖位置后的应用,用获得的指尖位置实现了点、线、面的交互,设计了三维鼠标交互系统,实现了指尖运动速度的参数化,并在这些交互方式的基础上实现了一些基于指尖手势的三维游戏。试验结果表明我们的算法是有效的。