人机交互(Human-Computer Interaction, HCI)是研究人、计算机以及它们间相互作用的一门技术。人机交互的功能主要依靠可输入输出的外部设备和相应的软件来完成。该领域的发展使得人机交互愈加趋于方便和自然化,并且随之产生了多种类型的人机交互模式,例如基于数据、图像、语音和人体动作的交互模式。本文所涉及的基于手势动作的摄像投影交互系统属基于人体动作的人机交互模式。与其它交互系统相比,基于手势动作的摄像投影交互系统由投影仪、摄像头和计算机组成,结构比较简单、容易实现、成本较低,且投影图像可供多人观察,因而有广阔的应用前景;然而,仍然存在着一些关键的技术问题尚未得到很好的解决,制约着该系统的发展和应用,比如:摄像投影系统可移动性的实现、投影仪的自动对焦、手部运动时的自动跟踪等。本文主要针对上述的三个关键问题展开研究。首先,为解决摄像投影系统的移动性问题,本文提出一种新颖的算法,以实现摄像头与投影仪之间的准确配准,并输出稳定的投影图像。在该配准方法中,用以求得摄像-投影系统三维几何关系的基点数量较少,因此比现有的方法速度更快、效果更好。实验结果表明,在摄像头、投影仪和屏幕的相对位置发生变化时,该方法能保持稳定的影像,进而保证人机的有效交互。然后,本文提出一种投影仪的自动对焦方法,以解决传统投影系统中对于屏幕要求苛刻的问题。在一般的投影系统中,要求屏幕为平坦的平面且垂直于投影方向;而在实际运用中,屏幕可能是任意方向的桌面、墙面、甚至地面。因此,需要消除屏幕方向和表面形貌对投影质量的影响。本文所用方法有三方面的优势:第一,对于屏幕模糊图像的获取运用一个简单的焦点模糊的计算方法,减小了处理的数据量;第二,对于模糊图像中感兴趣区域的获取引入了通用的阈值运算,降低了算法的复杂度;第三,对于感兴趣区域的逐个自动对焦,设计了合理的投影仪镜头控制流程,保证对焦的有序进行。最后,本文提出一种更适合于摄像投影系统的手部运动跟踪算法。通常,系统的背景是快速变化的投影图像,并且可能会出现类似于肤色的图像区域。因此,传统的仅仅基于运动或肤色的跟踪方法难以适用于该系统。而在本文算法中,对于单帧图像中待定人手区域的确定,引入了手部运动区别于其它物体运动的另一重要特征:由于手势属于非刚性运动,其区域内的匹配块具有更大的残差值;再则,鉴于手部运动具有连续性,算法运用时间滤波来进一步确定正确的手部运动轨迹,并最终实现手部运动的自动跟踪。本文所提出的基于摄像投影的人机交互系统具有如下优势:在应用环境改变的情况下可实现系统自动配准,无需再另行设置系统参数;并且在复杂屏幕条件下可实现投影仪对感兴趣区域的自动对焦;用运动残差与肤色相结合的方法实现手部运动的快速精确跟踪。因而该系统具有广阔的应用前景。综合应用运动残差与肤色的手势定位方法在国内未见报道。