基于视觉的手势识别技术是自然人机交互方式中一个非常重要的研究方向，在虚拟（增强）现实、机器人控制、智能家电、游戏控制以及人机手语翻译等领域有着广阔的应用前景。但是由于环境的复杂性和手势的多样性、随机性，使得基于视觉的手势识别仍然十分困难，所以本文着重研究了复杂背景下的手势检测和识别方法。在手势检测方面，针对实际应用背景的复杂多变性特点，选用人脸排除、肤色分割和手形比较的方法。由于人脸的存在会影响手势分割的效果，所以首先采用Viola&Jones方法和Camshift算法检测和追踪人脸，然后用大于面部区域的黑色圆圈或者矩形替代排除人脸。在进行皮肤分割时，提出了改进的自适应肤色模型，该模型融合了YCrCb空间下的阈值法和HSI空间下的直方图法，以适应不同光照变化、不同肤色用户以及噪声干扰的影响。最后，采用基于Hu矩的手形比较算法，从分割的皮肤区域中进一步定位手部区域。在手势识别方面，提出了融合Hu矩和快速鲁棒特征包（BoF-SURF）的手势特征描述方法，并将融合特征与多分类支持向量机（SVM）相结合进行手势识别。融合特征可以从手形和内部关键点两个方面表示手势，对手势在尺度、光照、旋转等方面的变化以及部分遮挡均具有良好的适应性。考虑到这两种特征对手势识别率的影响程度不同，分别对其设定不同的融合权值，并通过实验确定最佳的权值选择。实验结果表明，将两种特征融合的识别正确率要高于两者单独使用，通过合适的权值选择可以达到96.33%的识别正确率，且实时性更好。