情绪在人们日常生活中发挥着重要的作用,是一种复杂的心理状态或过程。研究表明,将不同模态融合用于情绪识别,有助于发挥模态间情绪表征的互补性,进而提升情绪识别性能。基于脑电信号的情绪识别,可有效反映人真实的内心状态,已成为研究情绪识别的一种常用方法。然而,现有的多模态融合方法往往忽略不同模态间的相互映射关系。因此,本文提出了一种基于脑电与眼动数据深层融合网络对情绪进行识别。本文的主要研究内容如下:（1）提出了一种基于前馈编码器的脑电特征提取方法,用于脑电情绪识别。首先提取了3种不同的脑电特征（微分熵、功率谱密度、小波熵）,并通过对比分析发现微分熵特征具有最强的情绪表征能力。然后对微分熵特征进行特征平滑,去除冗余信息,利用前馈编码器提取深层的微分熵特征,并对微分熵特征的时、频、空间域信息进行整合。后续在SEED-IV数据集上进行方法验证,四分类情绪平均识别准确率达到75.37%,实验结果表明本文所提方法可以提升情绪识别性能。（2）提出了一种基于前馈编码器的眼动特征提取方法,解决眼动特征情绪表征能力不强的问题。首先提取到包含眼动信息的33种眼动特征,然后设计了基于眼动数据的特征F检验方法,用于验证不同眼动特征对不同情绪的区分能力,通过筛选,选出最优表征情绪的25种眼动特征。最后,利用前馈编码器提取眼动的深层特征,通过对眼动特征的相互依赖关系及特征相应强度进行重构,得到更具情绪表征能力的眼动特征。并在SEED-IV数据集上进行方法验证,四分类情绪识别准确率达到65.87%,验证了本文所提方法的有效性。（3）设计了一种基于脑电与眼动数据的多模态注意力网络模型,用于多模态情绪识别。其中交互注意力模型用于学习多模态互补信息和语义层上下文信息,获取多模态情绪表征性,多头自注意力使模型集中于情绪分类的判别性特征以及情绪分类。实验结果表明本文所提出的多模态融合方法在SEED-IV四分类情绪数据集上的识别准确率为92.26%,其性能优于单一模态情绪识别。