情绪压力会给人们带来一系列的负面影响,在心理学和医学上主要表现为紧张、不适、焦虑和抑郁等。随着生活节奏的加快,压力给人带来的生理和心理问题日益显著,已经严重威胁人们的健康。因此进行情绪压力识别研究具有重要意义。近年来,多模态情绪压力识别研究取得了一定进展,但仍然存在着以下的问题:（1）多模态情绪压力识别研究数据集不够丰富;（2）多模态特征表示较为简单;（3）多模态信息融合不充分;（4）模态数据可能会缺失进而影响模型性能。本文针对上述问题,选取面部表情和脉搏信号两种模态进行情绪压力识别研究,主要工作如下:（1）本文建立了一个多模态情绪压力数据集,利用心理学实验范式设计情绪压力诱发实验,采集了60名大学生的面部表情和脉搏信号数据。（2）本文提出了一种基于多尺度注意力和张量融合的多模态情绪压力识别方法。现有的压力识别算法的特征多为手工提取,且特征融合不充分。本文利用卷积神经网络提取多模态数据的特征,结合多尺度注意力机制丰富特征表达,并突显与压力相关的信息。引入基于低秩分解的张量融合技术,对不同模态的向量特征进行表示并融合,形成高阶张量特征,学习模态内和模态间的信息,并利用低秩分解加速融合过程。实验结果表明,本文所提出的情绪压力识别方法表现出了良好的性能,识别准确率达到87.68%。（3）本文提出了一种基于时间注意力的多模态情绪压力识别方法。情绪压力在时间上是一个动态变化的过程,本文提出了基于Bi-GRU的时间注意力机制用于提取数据的时序特征,并实时计算各模态信息在各时刻的注意力分布,捕捉压力在时间上的变化。实验结果表明,加入时间注意力机制后,模型的情绪压力识别准确率达到88.83%。（4）本文提出了一种基于特权学习的多模态情绪压力识别方法。为解决因脉搏数据在实际情况中较难获取而导致的模态缺失的问题,本文出了一种多模态特权学习算法,利用多模态（面部表情+脉搏信号）模型协助单模态（面部表情）模型训练。使多模态模型因缺失脉搏信号数据而退化至单模态模型时还能正常工作。实验结果表明,使用多模态特权学习算法后,模型识别准确率相比于只使用面部表情数据训练的模型提高了1.5%。本文建立了多模态情绪压力数据集,在多模态表示、融合、协同学习问题方面进行了一定的探索,有利于情绪压力识别技术应用到实际生活中。