人机交互从以文本为基础的交互界面发展到2-D图像为基础，支持多媒体的人机交互界面，一直发展到现在支持虚拟现实的系统。虚拟现实系统对新的人机交互方式提出了新的要求。传统的人机交互设备，如键盘、鼠标等已不能满足最新虚拟现实的应用。新型的可以感知人体运动、手势识别、语音识别、表情识别的新的人机交互方式将更好的满足虚拟现实系统的发展需求。手势、语音、表情等是更加自然、更符合人类交流习惯的交互方式不断被应用到虚拟现实系统中。手势作为一种自然的人机交互方式现状被广泛应用到虚拟现实系统中。考虑到人手的各个关节，以及人手的运动，手势具有27个自由度。这给手势识别带来了巨大的困难。另外光照等条件的变化也给手势识别带来了一定的困难。现阶段有多种手势检测和识别系统被提出。早期的手势识别系统要求使用者在手上做标记或佩戴数据手套。第二种常用的手势检测和识别方式是使用底层图像特征，如肤色，形状特征或深度信息检测手。但是这些系统对光线背景等有特殊要求，在光线和背景不满足条件时检测效果很差。第三类手势检测方法是使用级联的分类器，这种方法具有鲁棒性高，检测速度快的优点。运用级联分类器的方法首次由Viola和Jones提出，用于人脸检测和跟踪，并取得了较好的效果。本论文主要工作是在手势检测和跟踪算法的研究上。首先，论文的第一部分介绍了级联的物体检测框架。然后，本论文提出了两种新的特征用于手势检测。论文的最后，介绍了一种将CONDENSATION算法和手势检测算法结合起来的手势跟踪算法。实验表明，本论文提出的方法可以实现实时的、鲁棒性强的手势跟踪。