面部表情识别和情感建模在和谐人机交互及情感机器人方面有着广泛应用,情感信息处理是人工智能和认知科学一直关注的难题。要实现和谐人机交互关键在于如何使机器具有人类的情感信息获取、情感响应和情感表达功能。本文以人工心理和情感计算理论为导向,进一步探讨它们的相关技术如表情识别和情感建模问题,为和谐人机交互提供相关技术支持。具体研究内容如下:(1)提出了基于图像代数特征的面部表情识别方法。先对面部表情图像进行了分割,得到眼睛和嘴巴区域,然后分别对眼睛和嘴巴区域提取不变矩和奇异值特征向量,并进行Fisher线性判别分析,最后训练了支持向量机分类器。实验结果表明该方法取得了比较好的识别效果。(2)提出了一种基于Gabor变换和ADABOOST算法的面部表情识别方法。探讨了面部表情图像的Gabor表示方法,对Gabor小波系数进行了下采样处理和并采用PCA二次降维。最后利用Adaboost方法对面部表情进行识别,通过实验表明该方法对已知人脸的表情识别率达到95%以上,对未知人脸的表情识别率达72%左右。(3)针对传统光流法的缺点,分别提出了两种不同的改进方法:其一为引入前向-后向光流方程,计算其Hessian矩阵,把Hessian矩阵条件数的倒数作为Lucas-Kanade光流法的加权阵,可有效消除局部邻域中不可靠约束点,同时提高基本约束方程解的稳定性;其二为针对传统光流法只适用于刚体运动的特点,在扩展约束光流方程的基础上引入了div-curl样条函数作为扩展光流约束方程的附加约束条件,给出了一阶和二阶div-curl样条约束下光流的数值解。把这两种改进方法计算面部表情图像序列光流场,得到表征面部表情运动信息的特征流。(4)提出了一种改进的最大互信息准则函数并把它应用于隐马尔可夫模型的训练,重新推导了HMM的迭代公式。该准则函数相对于原来准则函数定义更为合理,能有效利用训练样本集中的鉴别信息,提高了HMM的性能。把这种改进的HMM算法应用于面部表情识别,利用改进的光流算法提取面部表情特征向量序列,并利用改进HMM算法和BP神经网络构建了面部表情混合分类器,实验结果表明了该方法的有效性。(5)讨论了最大模型距离准则,对原有最大模型距离准则函数做了合理的修正,并把它应用于隐马尔可夫模型的训练,重新推导了HMM的迭代公式,使得训练后的HMM具有更好的鉴别能力。把这种改进的HMM训练算法应用于面部表情识别,利用本文给出的改进光流算法提取面部表情特征向量序列,构建了基于改进HMM算法和BP神经网络的面部表情混合分类器,通过实验表明识别率得到有效提高。(6)在情绪心理学基本理论基础上,定义了个性空间、情感空间和心情空间,建立了个性与心情、心情与情感的映射关系,给出了心情、情感状态更新方程,提出了一种能够合理反映人类情感变化规律的情感计算模型,该模型能反映不同个性人类在外界刺激作用下,心情状态和情感状态的波动过程。实验表明,本文提出的情感计算模型所模拟人类情感变化过程符合人类情感变化规律,为人机情感交互系统的情感决策提供了一种新的机制。