随着人机交互技术与计算机视觉技术的不断发展，基于视觉的人机交互已经成为现在人机交互领域的一个重要发展方向。其中，手势交互作为一种直观的人机交互模式，具有符合人的生活习惯、满足用户对于人机交互自然的需求、灵活的表达方式等优点，广泛的应用于计算机系统、虚拟现实以及机器人等相关领域，成为国内外研究的热点。但是，由于手势本身具有的多样性、多义性、以及时间和空间上的差异性等特点，加之人手的运动总是伴随着关节的非刚体运动，因此基于视觉的手势交互是意义与挑战并存的研究课题。　　 基于此背景，通过对国内外关于基于视觉的手部跟踪与手势识别的相关算法的总结，概括分析已发表的文献和已有的研究成果，针对基于视觉的手势交互存在的问题，本文对自适应肤色模型、手势的分割方法、复杂背景下的手部跟踪与手势识别算法等方面进行了研究与改进，并且在此基础上提出了复杂背景下相互修正的手部跟踪与手势识别算法。同时，基于相互修正的算法设计开发了手势绘图系统，使得用户可以不再依赖键盘鼠标进行绘图操作，对本文算法进行了实际验证。　　 本文的主要工作如下:　　 1.相互修正的手部跟踪与手势识别框架研究　　 提出了一种相互修正的手部跟踪与手势识别算法框架。针对单一跟踪方法的局限性以及由于帧间跟踪而产生误差累计的问题，同时为了提高识别准确率，增强算法在复杂背景下的鲁棒性，本文提出了一种相互修正的手部跟踪与手势识别框架。跟踪过程中使用两种跟踪算法，Lucas-Kanade算法和CAM-Shift算法，对手部进行跟踪。使用Lucas-Kanade算法对CAM-Shift算法进行修正，在得到LK跟踪结果的同时也得到一个修正的CAM-Shift跟踪结果，完成跟踪模块的内部修正。识别模块结合跟踪结果，同时对两种跟踪结果进行识别，不仅降低复杂背景对于识别的干扰，提高识别效率，而且增强了识别的稳定性，有效的避免了由于单一跟踪错误而带来的识别错误，对识别进行了修正。识别的结果不再仅仅是一个输出，同时作为下一帧两种跟踪算法的初始跟踪位置，防止帧间跟踪的误差累积，对跟踪模块进行了修正。此时跟踪模块与识别模块不再是“从跟踪到识别”的一个顺序的过程，而是“从跟踪到识别，再修正跟踪”的一个环形的过程，完成了跟踪与识别的相互修正。　　 2.复杂背景下肤色特征研究　　 肤色特征是手部跟踪与手势识别过程中常用的一个非几何特征，具有处理简单，运算速度快，不受运动与视角改变而改变等优点。但由于复杂背景，特别是光照与类肤色物体的影响，肤色特征的使用具有相当的局限性。本文通过静态肤色模型与LK跟踪算法相结合，提出了一种光照自适应肤色模型，该模型可以有效的解决由于光照原因而导致的类肤色点误检测或者肤色点检测失败的问题;同时，使用一种肤色-运动图像作为CAM-Shift跟踪的反向投影图，可以明显的提高在背景中存在大量类肤色物体情况下的跟踪鲁棒性。　　 3.手势交互技术验证　　 在分析了多种手势交互系统的基础上，结合复杂背景下相互修正的手部跟踪与手势识别算法的适用场景，设计实现了基于相互修正算法的手势绘图系统。该系统将手部跟踪与手势识别算法与实际应用相结合，用户可以在特定的场合下不使用额外设备进行简单的绘图操作。同时，针对手势交互系统的特点，系统将操作控件与视频界面相结合，用户在交互过程中不需要通过额外的移动对系统进行控制，同时在使用控件时也不需要将注意力在多个模块间来回转移，有效的改善了基于手势交互系统的用户体验。