随着人工智能不断发展,人机交互在现实生活中也越来越重要,实现良好人机交互离不开对情感的识别。除此之外,情感识别在医疗卫生,国防安保,商业金融等领域也有着十分广泛的应用。如今情感识别可以分为基于生理信号的情感识别和基于非生理信号的情感识别,其中基于人脸的情感识别是基于非生理信号情感识别的重要部分。基于人脸的情感识别有着方便快捷的优点,但是在人为主观的刻意隐藏情况下,会造成识别不准确的问题;使用生理信号识别可以有效防止上述问题的发生,从而对人类的真实情感进行识别。针对上述问题,本文首先采用时空神经网络对脑电进行情感识别,接着利用深度可分离残差卷积网路对人脸图像数据进行情感识别,最后将二者的识别结果在决策层进行融合。本文的具体研究内容如下:（1）基于时空神经网络的脑电情感识别研究。介绍了常见脑电情感数据集,介绍了常见脑电信号情感参数特征的分类和计算方法,对循环神经网络的功能和原理进行了介绍。针对脑电一维时间序列信号,就卷积神经网络和循环神经网络只能分别提取空间或者时间的特征从而造成的识别率不高的问题,将一维卷积代替传统二维卷积,对本地通路的多层卷积进行改进,在通过多层一维卷积网络后连接两层长短时记忆网络然后连接至全连接层,通过结合Conv1D和LSTM设计了时空神经网络结构,可以同时提取时间维度和空间维度特征,并且优化了脑电数据源,在脑电识别前根据人脑情感区域划分和脑电信号与情感的关系首先对脑电级进行了选择,减少了无关信息和计算量,最后通过对DEAP脑电数据集,kaggle脑电情感数据集进行分类实验,识别率分别可达78.14%和99.08%,证明改进的模型可以使分类准确率明显提高,更好地提取脑电信号中的特征,较准确地实现情感分类。（2）基于深度可分离残差卷积网络的人脸情感研究。首先对于基本残差网络和深度可分离卷积神经网络的基本结构和原理进行了阐述,然后针对普通卷积神经网络随着网络变复杂和参数量增多而导致的梯度消失,梯度爆炸,网络退化以及因参数量过大而导致的训练困难的问题,提出深度可分离残差卷积网络,该框架将残差块加入到了可分离卷积层与二维卷积层之间,深度可分离卷积网络大大减少了网络的参数量,提高了训练效率,在此基础上引入的残差网络,保证了在加深网络的同时不会出现网络退化等问题,在FER2013数据集上准确率达到70.89%。通过实验证明了构建的深度可分离残差卷积神经网络的有效性,其能够提高情感识别率,达到更好的效果。（3）融合时空神经网络和深度可分离残差卷积网络的情感识别,提出一种双模态决策融合情感识别模型架构。由于单模态情感识别容易受到模态自身特性的影响,所以通过D-S决策融合用一定的合成规则和决策方法将第三第四章的成果结合到一起,将两个分类器联合在一起,构建融合脑电信息和人脸视觉信息的情感识别框架,实验在DEAP情感数据库上进行,实验表明相较单一模态,提出的双模态情感识别架构具有更好的表现,可以很好地融合人脸视觉信号和脑电信号中所包含的情情感信息,在实际生活中有一定的应用价值。