随着计算机技术的发展，人机交互的研究正逐渐从单一化方式跨入多模态用户界面方式。而基于视觉的手势分析与识别作为自然人机交互技术之一，已经成为倍受关注的研究热点。研究者都特别关心如何实现非接触式的基于计算机视觉的手势识别，摆脱鼠标键盘的束缚，实现更加自然直观的人机交互。本文对整个视觉手势交互系统进行了综合分析与描述。完整的视觉手势识别过程包括手势数据的采集、手势区域分割、特征参数提取以及手势分类识别四个方面。本文的研究工作及创新点主要表现在以下几个方面：(1)针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题，通过分析手势的表观特征，提出并实现了一种可用于自然人机交互的基于深度图像的手势识别算法框架。(2)在手势分割方面，该算法基于深度图像实现手势区域的分割，相较于传统的肤色分割和运动分割，其鲁棒性更好，分割更完整，且几乎不受环境和光照的影响。(3)在手势特征提取方面，提取手势手指弧度、指间弧度、手指弧度数目等具有旋转缩放不变性的表观特征，能够有效的提高识别率，确保了实时手势交互的可靠性和实用性。(4)在手势分类方面，本系统采用最小距离的模版匹配进行手势分类。模版匹配法具有实现简单，计算量小的特点，最终实现的手势识别系统具有实时性好，鲁棒性好的特点。(5)将本文的基于深度图像的手势识别算法框架应用于实验室三指灵巧手平台。设计了灵巧手人机交互系统，该交互系统按交互流程分为两个步骤：手势信号的获取与识别、手势指令到控制指令的转变。整个过程是：将深度图像手势分类的结果转变为控制指令控制三指灵巧手运动。实时手势交互实验证明该灵巧手交互系统可以很好的与交互对象进行交互，达到了满意的交互效果。