随着计算机技术的发展,人与机器交互的重要性逐渐凸显。最初的人机交互通过键盘输入命令行进行,之后出现鼠标、触摸屏等方式。而以手势作为人机交互的输入,显得更加自然与便捷,更能体现出以人为中心的思想。基于视觉的手势识别有广泛的应用前景,可以用于安全驾驶、商务办公、手语识别、娱乐设施等,为人们的日常生活带来诸多方便,这些应用前景也使得许多国内外学者致力于这个领域的研究。本文针对基于视觉的手势识别,做了以下工作:首先,在手势分割方面,对摄像头采集的视频帧,采用混合滤波和直方图均衡化,提高了图像的对比度;采用基于肤色方法,使用YCrCb色彩空间对静态手势进行了分割;针对露出胳膊的情况,使用几何方法,去除了将手臂部分,最后得到仅包含手掌部分图像。其次,在静态手势识别方面,本文采用了手势图像的Hu矩特征作为手势特征,使用BP神经网络对其训练,得到静态手势分类器。对自定义的9种手势,得到95%以上的识别率,在行业内处于较高水平。然后,在动态手势识别方面,本文结合前文静态手势识别结果,对现有的TLD跟踪算法进行了改进,实现了对手势有效、实时的跟踪;采用隐马尔科夫模型,对6种常见的手势轨迹进行识别并取得较好的效果。最后,在上文手势识别研究的基础上,本文结合两个具体应用背景,开发了两个应用程序,对手势识别的应用进行了研究。第一个应用为"猜拳游戏",通过双摄像头分别识别两用户的静态手势,将其进行对比并输出对比结果;第二个应用为手势控制的音乐播放器,通过手势控制播放器的开启、音乐的音量和音乐切换等功能。