人脸表情识别(Face Expression Recognition,FER)是指利用计算机技术对人脸表情信息进行特征提取,按照人的思维方式加以归类和理解,进而从人脸信息中去分析理解人的情绪,是涉及生物特征识别、模式识别、图像处理、机器视觉、运动跟踪、生理学、心理学等研究领域的一个极富挑战性的交叉课题,是情感计算、智能人机交互的重要组成部分,有着广泛的应用前景和潜在的市场价值。本文首先综述课题的研究背景,并分析目前国内外已提出的表情特征提取方法以及表情识别方法。在此基础上,提出基于粗糙集与混合特征的人脸表情识别方法,主要内容如下:(1)把粗糙集引入到人脸表情识别中,提出改进的粗糙集属性约简算法,弥补了原有的启发式属性约简算法仅从核属性出发的缺点,既考虑了属性的重要度,又考虑了各属性对信息系统贡献的重复度,可以有效的选择表情特征。(2)针对已有的WPCA只是强调人脸图像中某一个或两个位置的信息,加权特征区域形状不够灵活的缺点,提出改进的加权主成分分析算法(UWPCA),分散强调对表情变化有重要贡献的人脸中眼睛、眉毛、嘴巴区域,使面部表情特征更加突出;加入水平、垂直两方向的渐变比例系数,实现加权区域的双向可调。(3)为提取更有效的特征,提出基于局部几何特征和整体特征相融合的混合特征提取方法。采用AAM定位图像序列中人脸图像的特征点,选取其中眉毛、眼睛、鼻子、嘴巴、脸颊区域的32个关键点,然后计算每幅图像的不同点的不同距离,再采用粗糙集进行特征选择,得到局部几何特征;采用UWPCA与粗糙集相结合的方法提取表情图像的整体特征。两种特征的优缺点相互补充,采用核典型相关分析对这两种特征进行融合,将融合后的特征作为离散HMM的观察值向量,取得较好的识别率。(4)采用面向对象的设计方法,设计实现基于图像序列的人脸表情识别原型系统,该原型系统主要包括:图像预处理、表情特征提取(AAM和UWPCA相关操作)、特征选择、情感特征融合和典型表情识别等功能模块。