本系统包含三个主要部分，一个人脸检测器和两个人脸跟踪器。人脸检测器的核心算法是Viola-Jones算法。它对正面正直的人脸姿态具有十分鲁棒和快速的检测性能。基于对四种不同跟踪算法的研究和测试，我们最终选择利用三维递归搜索(3DRS)和光流算法(OpticalFlow)来分别构建两个人脸跟踪器。由于这两个跟踪器的性能具有高度互补性，最终的系统跟踪输出是这两个跟踪结果基于一个可靠性评估过程之后的整合。检测器和跟踪器以交互协作的方式共同工作。跟踪器使用检测器的结果来更新自身状态，修复偏差；检测器利用跟踪器的结果来进行输出校验，以避免错误拒绝现象。本研究的主要贡献在于通过这三个部件之间协同工作策略的制定，来提高系统整体性能，实现实时鲁棒的多线索人脸跟踪。 为了评估系统性能，我们在办公室环境中进行了大量的实验。使用的数据库不仅包括为不同检测单元而特别设计和录制的视频，还包括第三方公开测试人脸视频资源。实验分为三个单元，分别测试对多样化用户行为，背景及光照变化，和多人脸情况下的性能。测量参数有可靠性，精确性和时域连贯性三类。结果显示，在用户头部运动多样化的情况下，本系统输出人脸结果与真值之间没有明显的恒定偏差，偏移量的标准方差小于2％，平均系统总跟踪率达到95％，没有错误接受现象发生。其他测试单元结果进一步证明，本系统性能对于复杂背景，不均匀光照，时变光照都较鲁棒。当背景中存在多人脸时，本系统(按照应用背景的要求)能够始终辨别前景人脸和跟踪前景人脸的运动。 虽然本系统是在生物工程学显示器的背景中设计的。性能证明，它在很多其他计算机视觉相关邻域都有潜在应用价值，例如智能游戏控制，视频会议，驾驶员疲劳检测和注意力评估等等。另外，本系统的测试框架，数据库采集，以及系统性能评估参数设计等等都可以被类似研究重新使用。