人机交互(Human-Computer Interaction, HCI)技术,在如今已成为世界重大科学技术之一。其最主要的核心课题是基于视觉信息的接口(Vision-Based Interface, VBI)问题,而手势,作为人类日常生活当中一种直观而自然的信息表达和人际交流方式,包含有大量的、符合人类认知习惯的交互信息,因此跟踪识别自然手势是VBI和HCI研究的一项重要内容。将人手直接作为处理器的信息输入设备,通过变换手势直接控制其他设备的技术,由于其非接触、信息传输量大、安装方便、价格低廉等优势,越来越受到人们的关注。现有的大部分的手势识别算法在实际应用场景中大都存在：1.静态背景需求、2.肤色提取中包含非肤色部分、3.手腕位置界定模糊或需要先验知识辅助定位、4.识别过程非智能化能局限性。针对以上问题,本文研究了引入人体结构参数的手势识别技术,并实现了基于简单的自然手势姿态识别,为后续的进一步研究工作奠定了平台基础。本文的具体研究工作主要包括以下几个部分：(1)手语结构成分分析：当今手语主要分为两类不同手语：手势语与手指语。手指语指的是用手指的指式轨迹变化描述字母,并按照一定语法规则频出词语的一种手语语言表达方式。手势语指的是用手势模拟事物的形状、动作,辅以一定的姿态和表情的手语表达方式。目前在我国,聋哑人交往主要使用手势语,并适当的配合手指语。(2)手势分割：本文提出一种基于结构特征提取的手势分割方法。该方法首先通过肤色分布和Harr特征检索出图像中的人脸区域和肤色区域,然后结合人体结构比例,以及手掌纹理特征等多重信息进行手势分割。最终实验结果显示,该方法提高了复杂动态背景下的手势分割的准确度。(3)动态手势跟踪：在手语交流的过程中,手,作为一非刚性体在手语实现过程中会发生许多无规律的变形。所以在常规的跟踪算法记录其运动轨迹的过程中极易发生目标丢失的现象。本文通过匹配人体骨架结构,将复杂的手势变换简化为简单的线棍模型,并保证对于形变、偏转的手的实时稳定跟踪。(4)手势特征识别：本文主要面对静态手势和全身姿态进行特征提取和识别。对于图像中出现的手势通过改进KNN的分组近邻搜索进行手势和姿态定义、训练和识别,该方法能够对未知样本进行快速分类和自学习。