为满足更加自然和人性化的人机交互需求，本文对自然场景下、固定摄像头的的手势识别问题进行了研究，在对国内外手势识别的研究现状和手势识别常用技术进行研究和分析后，对以下几个方面做具体分析与验证：手势分割、特征提取、手势识别和手势跟踪。手势分割部分对手势图像的预处理、阈值分割、形态学处理和分割算法进行了探讨。对采集装置、环境影响等因素产生的噪声，采用中值滤波法进行滤除。滤除噪声后，将摄像头采集到的RGB空间图像转化到YCbCr空间，采用基于肤色的自适应阈值分割法与背景差分法结合的方法进行分割。特征提取部分对分割得到的图像进行了边缘检测和手势形状特征的提取。经过分析发现，基于图像轮廓的静态手势特征提取法，计算量小，对环境中存在的干扰鲁棒性好，因此，采用Canny边缘检测算法对分割后的手势图像提取边缘。鉴于Hu不变矩的旋转、平移和缩放的不变性，使用Hu矩对手势轮廓进行特征提取。模板库是在背景单一、光照稳定的条件下建立的，将在理想条件下采集到的手势图片进行分割和去噪，使用Canny边缘检测算法提取其边缘特征，用Hu不变矩进行存储，作为匹配模板。将自然环境中提取的手势，采用上述方法进行特征提取后，计算其与模板特征之间的欧式距离，采用近邻原则作为识别准则。为了更好的实现人机交互，本文还对手势跟踪进行了研究，实现了基于重心的手势跟踪法和基于CamShift算法的手势跟踪法。最后，对中值滤波、空间转换、Canny边缘检测、基于Hu矩的特征提取、形状匹配、重心跟踪法和CamShift跟踪法进行了验证，对手势识别和跟踪的结果进行了分析。得出以下结论：对自然场景中采集到的手势可以完整分割，并去除图像中大部分噪声；对1到10的十个手势识别率不同，对手势1、手势7和手势10的识别率较低，其余手势的识别率均为80%左右；手势的跟踪效果稳定，可以实现丢失找回的跟踪。但仍存在一些问题，标准手势库不太完善，没有对大量手势样本进行训练，手势样本的代表性不够强；对更加复杂场景下的手势识别还有待改进。