图像中的人脸信息分析对于生物特征识别、人机交互，视频监控、基于内容的图像检索、图像编码、视频会议等方面具有着广泛的应用前景，然而要想对人脸信息进行分析，一个首要的问题就是要先在图像或视频序列中检测或跟踪到人脸，否则人脸信息分析也就无从谈起。本文的研究主题正是视频序列中的人脸检测与跟踪技术，其主要包括两部分内容： 1、视频序列初始帧中的人脸检测在该部分内容中，主要围绕肤色检测算法进行了研究，提出了两种新的肤色检测算法： (1)基于KL变换的椭圆模型肤色检测算法：算法首先对训练肤色样本进行了分布均匀化处理，然后以KL变化为基本工具最终得到了肤色分布区域的椭圆边界方程。 (2)基于直接最小二乘椭圆拟合的肤色检测算法：其基本思想是根据肤色样本分布区域的边界数据点采用曲线拟合的方法得到肤色分布区域的边界方程。实践表明，所提出的两种肤色检测算法简单直观，能完成对各种不同环境条件下所拍摄图像的肤色分割，效果理想，其性能明显优于常用的域值界定法和单高斯模型法。在肤色检测给出人脸候选目标区域的基础上，文中同时给出了用支持向量机(SVM)对人脸目标进行精确定位的实现方法。 2、视频序列中的人脸跟踪该部分主要围绕两种跟踪算法进行了深入研究：一种是均值移动人脸跟踪，另一种是粒子滤波人脸跟踪。针对这两种算法存在的问题以及人脸跟踪的具体特点，提出了如下几种改进算法： (1)基于均值移动和椭圆拟合的人脸跟踪算法：算法首先利用一个较大核函数带宽的均值移动跟踪器对人脸目标进行粗略定位，在此基础上再用高效鲁棒的直接最小二乘椭圆拟合方法来自动调整人脸尺度的大小，实验表明该改进算法能有效地解决均值移动人脸跟踪中的目标尺度自适应调整问题，其跟踪效果明显优于一般的均值移动目标跟踪算法。 (2)以颜色和形状直方图为线索的粒子滤波人脸跟踪算法：算法在粒子滤波基本框架之下，引入了一种新的用直方图来描述人脸形状的方法。同时，为了减轻背景干扰，提出了一种经验有效边缘的检测方法。实验表明，该跟踪方法不仅能有效地处理人脸旋转、背景中的肤色干扰和部分遮掩问题，并且能够在由于大面积遮掩等原因丢失目标的情况下，及时有效地重新捕获已丢失的目标。 (3)基于均值移动确定性漂移的改进CONDENSATION人脸跟踪算法：算法首先利用高效的均值移动跟踪器来初略定位人脸目标，并以此结果来确定CONDENSATION中粒子动态传播模型的确定性漂移部分，然后只需加入一个较小的随机扩散噪声来完成粒子的传播，由于这样所得的粒子点能较为集中地分布在状态的真实区域附近，因而大大提高了粒子的利用效率，人脸跟踪实验表明该改进算法的性能明显优于标准CONDENSATION方法。 (4)基于均值移动重要性采样的粒子滤波人脸跟踪算法：算法的根本出发点在于让重要性采样函数充分考虑最近的观测信息而使其对粒子的传播更为准确，该算法和基于均值移动确定性漂移的改进CONDENSATION人脸跟踪算法的实现框架基本一致，但其实现的机理却是基于重要性采样的，人脸跟踪实验表明了该算法的有效性。 (5)基于观测似然重要性采样的粒子滤波算法：算法直接根据观测似然函数进行采样，然后再用先验转移概率进行粒子权重更新。由于通常情况下，观测似然对后验概率的贡献往往起主要作用，这样就保证大多数粒子点都分布在高观测似然区域，因而大大提高了粒子的利用效率，实验证明该基于观测似然重要性采样粒子滤波的性能优于当今流行的标准粒子滤波，扩展卡尔曼粒子滤波以及无迹粒子滤波。