如今，计算机技术已经得到非常普遍的应用，它不仅帮助人们减少了沉重的体力劳动，也因其极高的计算处理速率节约了大量的劳动时间，促使更多新技术迅速发展。在日常生活被逐渐改善的同时，人们对生活舒适度的追求也愈加强烈，人机交互技术正适应了这一需求，成为人们生活中的重要组成部分。基于视觉的手势识别就是众多人机交互中的关键技术之一，成为该领域研究的热点。然而，由于不同人在不同的时间和地点所做出的手势都会有很大的差异，在不同的文化背景下又具有不同的意义，使得基于视觉的手势识别成为了一个多学科交叉的课题，让机器代替人脑对手势作出正确响应也极富挑战性。本文主要从肤色分割方法和手势识别方法两个方面进行了探讨研究。由于实际应用中图像背景复杂多变，本文提出了一种新的肤色分割算法。在肤色分割模块中，实现了将YCbCr与Lab两个颜色空间混合建模，从而增大了肤色与非肤色区域的差别并克服了YCbCr空间对红、黄两个颜色的过度敏感。手势识别方面，本文提出一种新的手势识别算法。将检测到的指尖与手掌的中心连接，形成简化的手势模型，以指尖的数量和手指之间的相对角度为手势分类的依据，进行手势分析与识别。实验结果表明：该算法正确率高，实时性好，且不受手势的方向和尺度的影响。