情感作为一种常见的心理现象,与人类的认知和行为密切相关。如何对情感进行计算,进而使机器能够理解人类的情感,是目前人工智能领域研究的一个热点。作为情感计算最活跃的研究课题之一,情感识别受到了计算机视觉和模式识别研究领域的极大关注。基本上,情感的载体大致可以分为外部和内部两种。典型的外部反应包括人的面部表情、手势或言语,而典型的内部反应包括皮肤电导反应、心率、血压、呼吸率、脑电（Electroencephalogram,EEG）和脑磁图。从神经科学的观点来看,有一些主要的大脑皮层区域,例如眼眶额叶皮层、腹侧内侧前额叶皮层和杏仁核,与情感密切相关。因此,通过在这些区域记录人类的大脑信号能够提供一种潜在的手段来解码情感。例如,通过将电极放在头皮上记录大脑的神经元活动得到的脑电信号,就可以用来识别人类的情感。本文围绕脑电情感识别中的两个具有挑战性的问题:（1）提取更具有情感判别性的脑电特征,以及（2）脑电情感识别中训练和测试样本存在较大数据分布差异,展开深入的研究,提出了一些有效的深度神经网络建模方法。具体而言,本文主要包括以下几个方面:1.提出了一种新的神经网络模型,称为双半球域对抗神经网络（BiDANN）模型,用于脑电情感识别。BiDANN模型的灵感来自神经科学的发现,即人类大脑的左右半球对于情感的反应是不对称的。它包含一个全局和两个局部域判别器,它们与特征提取过程互相对抗,以学习每个半球具有判别性的情感特征。同时,它试图减少源域和目标域数据在每个半球可能存在的域差异,以便提高识别模型的通用性。2.提出了BiDANN的改进版本,简记为BiDANN-S。相比BiDANN方法,BiDANN-S包含一个额外的身份判别器,通过降低被试的个人身份信息对脑电情感识别的干扰,更有利于解决与人无关的脑电情感识别问题。3.提出了一种新的双半球差异模型（BiHDM）来明确地学习两个半球之间的差异信息。该模型进一步利用人脑左右半球的差异特性,以提升脑电情感识别的性能。具体地说,首先采用带有空间方向的四个定向递归神经网络（RNN）来遍历两个半球区域上的电极信号。这使得所提出的模型能够获得所有脑电电极信号的深度特征表示,这些特征仍然能够保持数据内部固有的空间依赖关系。之后,设计一种成对操作的子网络来明确地获取两个大脑半球脑电数据之间的差异关系信息。最后,提取更高阶的特征以进行最终分类任务。此外,考虑到训练和测试数据之间存在的数据分布偏移,本工作引入了一个域判别器,该域识别器可以对抗地引导整个特征学习模块,以生成与情感相关但与域无关的特征表示,从而进一步提升脑电情感识别。4.提出了一种局部到全局地层次化空时脑电情感识别方法。该方法受到神经科学研究中大脑不同区域对情感的反应不同这一研究的启发。所提出的方法,记为R2G-STNN,由空间和时间两个神经网络模块组成,能够从局部到全局进行层次化地特征学习,以学习具有情感判别性的时空脑电特征。具体来说,为了学习空间特征,采用双向长短时记忆（BiLSTM）网络分别捕获脑区内和脑区之间的脑电电极的固有空间关系。考虑到不同的脑区在脑电情感识别中扮演的角色不同,还引入了局部注意力层到R2G-STNN模型中,以学习一组权重来加强或削弱不同脑区的贡献。另外,基于上述获取到的空间特征序列,采用另外的BiLSTM网络来学习局部和全局时空特征,并将最终得到的特征输入到用于指导情感判别信息学习的分类器中。此外,本工作还使用与分类器共同工作的域判别器来减少训练和测试数据之间的领域偏移。5.提出一种用于脑电情感识别的可迁移注意力神经网络（TANN）模型。该模型对不同脑区的可迁移性进行量化,从而强化那些具有高可迁移性的脑区。不同于之前的工作总是无差别地利用所有的脑电数据对模型进行训练,TANN考虑到某些训练数据与测试数据相比在数据分布上存在巨大不同的情况。如果不经选择地利用所有数据训练网络,可能会对整个训练过程产生负面影响。因此,对于那些具有更高可迁移性的脑电数据,有必要赋予其更大的权重,而不是强制利用所有数据训练分类模型。此外,受工作4中关于脑电样本中并非所有脑区对情感的表达具有相同的贡献的启发,本工作在考虑样本的可迁移性的同时,进一步考虑组成样本的脑区数据的局部可迁移性问题。具体来说,通过计算多个脑区域判别器和单个脑电样本域判别器的输出,这两种可迁移性可以通过采用局部和全局的注意力来实现。