表情是人们非语言交流的一种重要表达方式，是理解人类情感的重要途径。本文主要研究了基于计算机视觉的脸部表情分析技术，主要工作包括： 1．提出了结合特征模板和肤色信息的人脸检测和跟踪算法。特征模板方法利用简单的矩形特征和级联式的分类器检测人脸，具有较好的鲁棒性，但是计算时间较长；基于肤色信息的人脸跟踪算法利用肤色概率分布图和视频序列中前后帧中人脸运动的连续性跟踪人脸，具有较好的实时性，但是它需要用户手动标定人脸以实现初始化。本文结合上述两种算法提出了一种新的人脸跟踪算法，实现了人脸的自动初始定位，跟踪结果具有前者的鲁棒性和后者的实时性，实验表明该方法能实现快速准确的人脸跟踪。 2．在表情识别方面，提出了基于EHMM的表情识别算法。本文利用DCT提取脸部特征数据，为每种表情类别构造相应的EHMM来对静态人脸图像进行表情识别。由于6种表情中除去高兴和惊奇外的其它表情较易混淆，因而本文在单层EHMM的基础上提出了双层EHMM结构，用于加强对易混淆表情的识别能力。实验表明本文提出的基于EHMM的表情识别方法能有效地识别6种基本表情，而双层EHMM结构能从一定程度上提高了系统对易混淆表情的识别能力。本文将此方法应用于动态表情序列的识别，实现了一个动态视频表情识别系统。 3．设计并实现了一个简单有效的表情动画产生机制。该方法不同于以往的表情动画生成方法，具有接口简单、控制方便、速度快、生成的表情动画形象逼真的特点。利用该方法可以生成复杂生动的复合表情，能实现实时动画显示效果，可以很好地应用于人机交互中作为虚拟人的表情输出。