近些年来,人工智能产业进入了高速发展的阶段,各国对相关领域的投入日渐增多,世界各所知名大学对这些领域也尤为重视。情感计算是这些领域中十分重要的一个课题。人脸识别等课题经过了长期的研究和发展,其常规条件下的识别精度已经达到了较高的水平并大量应用于日常生活中。人们不再仅仅满足于单方面使用机器来使自身的生活更加便利与舒适,更多的人希望能够实现科幻电影中那样与机器人无障碍地交流,当前技术还不能满足这样的要求,为了达到这样的效果,需要情感识别模型能够提取更有效率的特征,同时从不同来源收集更丰富的信息进行情感计算。本文基于Multimodal数据库和RAMAS数据库进行表情、语音、姿态多模态情感识别研究。针对表情模态数据,提出基于空时特征点的增强CNN-空时LSTM深度网络提取特征。该网络结合传统空时特征算法和卷积神经网络结构,强化对输入的表情图像序列中高注意力区域的特征提取,并使用多个LSTM网络分别计算特征在空间上和时间上的相关性,最终获得表情模态的特征。本文分别研究了不同空时立方体参数情况下表情单模态的情感识别效果,以及使用该网络提取的表情模态特征时,表情语言姿态多模态融合情感识别的效果。针对语音模态数据,使用open SMILE软件提取其中emobase2010语音特征。针对姿态模态数据,我们使用Kinectv2设备采集的人体骨架数据构成姿态特征。其次,本文提出监督最小二乘多类核典型相关分析（Supervised Least Squares Multiset Kernel Canonical Correlation Analysis,SLSMKCCA）方法和稀疏监督最小二乘多类核典型相关分析（Sparse Supervised Least Squares Multiset Kernel Canonical Correlation Analysis,SSLSMKCCA）方法,用于表情语言姿态多模态融合情感识别。SLSMKCCA方法将情感标签信息以标签矩阵的形式用于训练,起监督作用,并以最小二乘的形式优化,计算表情、语音和姿态特征之间相关性。SSLSMKCCA在SLSMKCCA基础上,结合稀疏方法进行特征筛选,通过L1范数形式衡量稀疏程度,对三个模态特征之间的相关性进行更好的计算。最后,实验表明,使用基于空时特征点的增强CNN-空时LSTM深度网络提取得到的表情模态特征能够很好的识别情感,使用SLSMKCCA和SSLSMKCCA进行表情、语音和姿态三模态特征融合情感识别能够取得较为理想的效果,在两个数据库上相较单模态中最高正确率能够提升20%和5.19%,同时相比过去多种双模态融合方法和三模态融合方法,最高能够分别提升1.99%和0.11%。但相较过去的融合方法,以上两种方法参数量和计算量较大。