基于单目摄像机的三维头部跟踪技术在人机交互及虚拟现实中有着重要的应用前景。但在复杂的场景中,实时、连续的三维头部跟踪问题仍是一个难点,在本文中,我们围绕着如何解决这一问题展开了深入的研究。其中,我们的创新性工作主要体现在如下四个方面。　　 首先,提出了一种改进的基于模型梯度差分的三维跟踪方法。该方法利用三维椭球人脸模型,以时间先验做参数预测,通过动态模板匹配完成姿态估计。匹配中的雅可比矩阵通过多尺度差分计算,提高了算法的鲁棒性。通过实验验证,该方法对噪声变化鲁棒且估计的结果平滑真实。　　 其次,提出了一种基于简单人机交互的三维头部真实感建模方法。在该方法中,为了快速地建立真实三维模型,我们采用了一种无网格化的移动最小二乘的实时形变方法,并进一步融入了三维刚性运动与邻近顶点平滑的约束,保证了形变结果的局部性质保持和平滑性。在线的试验结果验证了我们方法的有效性、可靠性和稳定性。　　 再次,提出了一种新的基于局部特征检测和匹配的三维跟踪框架,并针对跟踪过程中存在的问题(如:颤抖、较多的错误匹配等)提出了创新性的解决方法。与已有的基于检测的跟踪框架不同,我们的方法通过结合不变性分析和变换合成的方法,能够自动学习具有透视、局部表情和光照等变化噪声不变性的特征点,并且通过一种新的多视图学习方法,可以自动选择出具有高判别能力的局部特征描述子。大量实验表明,该框架克服了传统的差分框架中存在的两个关键缺陷:低准确度和模型漂移。　　 最后,构建了一个实用的三维头部跟踪系统平台,并给出了在人机交互中的两种应用:第一个是眼神估计,我们把眼神估计和三维头部跟踪有机地结合在一起,提出了一种新的头部转动情况下眼神注视方向的估计方法。第二个是远程在线虚拟现实平台中的表情移植,我们的方法可以将真人的正面表情移植到虚拟的在线角色上,从而大大增加了远程交互的真实感和互动性。