情绪是人类生活的关键组成部分之一,伴随着脑机交互学科的发展,目前有很多不同领域的研究者都在利用脑电信号进行情绪识别的研究。然而这些研究中的被试都是来自单一文化背景,如果能在多个文化下的实验中得出同样的结论,那么这些研究结果会更加完善;如果有跨文化的区别,也能对情感认知有更好的理解,而且医学、神经科学等领域在对别的文化下的研究进行参考和借鉴时就能有理论依据。本课题的研究对象是在校中国学生和德国留学生,找寻中德两种文化下基于脑电和眼动数据三类情绪识别(正面,中性,负面)的异同。视频情绪刺激素材,脑电帽和眼动仪眼镜被用来对被试进行情绪实验。本文利用多个机器学习方法和长短时记忆网络训练模型进行分类,用双模态深度自编码器和深度典型相关性分析的方法融合脑电和眼动特征。实验结果表明,(1)Gamma频段在中德的基于脑电的情绪识别中均作为关键频段,德国被试的情绪分类精度低于中国被试;(2)中德被试的大脑神经模式在关键的高频段上保持一致;(3)两种文化下眼动特征都更擅长分类负面情绪且分类精度接近,眼动特征中瞳孔直径最为关键,但是瞳孔直径,散度和注视时间特征有跨文化的差异;(4)通过使用两种多模态的方法,中国被试和德国被试的分类精度相比基线均提高了11个百分点以上,比脑电和眼动的单模态分别提升了15和12个百分点。深度典型相关性分析达到了目前眼动脑电情绪特征融合的最好效果。另一方面,中德多模态情绪识别的结果体现出脑电眼动有着粗、细粒度情绪表征能力的互补。