人脸表情识别是指利用计算机分析特定人的脸部表情及变化,进而确定其内心情绪或思想活动,实现人机之间更自然更智能化的交互。基于视频的人脸表情识别的研究对于增强计算机的智能化和人性化,开发新型人机环境,以及推动心理学等学科的发展,有着重要的现实意义,并最终产生很大经济效益和社会效益。本文在人脸表情识别的二个主要环节上均进行了研究工作,主要工作体现在以下几个方面: (1)结合心理学研究成果,本文首先建立了一个含120段视频序列的基本人脸表情数据库。然后,提出了一种基于KL变换的光流特征提取方法。基于梯度的光流计算方法,比较适合于皮肤的变形问题计算,且计算比较简单,只是逐点地估计位置得速度场,且方法产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动群的参数化表征。但提取的特征维数往往很高,为了提高算法效率和减少分类时间,在用光流提取的特征基础上采用了基于贡献率的KL变换进行特征压缩,并将压缩后的特征作为表情识别的特征。 (2)在序列表情图像识别方面,提出了一种基于隐马尔可夫模型的人脸表情识别方法。把人脸的表情序列分为3个状态,采用压缩后的光流向量作为观察向量,分别对应着HMM模型状态和观测值。将高斯模型引入到表情的动态分析中,作为观测值得概率密度,给出了表情图像序列所对应的状态及初值选取方法、每一表情类别的基于HMM的高斯模型的训练方法,并相应地给出了识别算法。