人脸表情作为人类最重要的生物信号和情感信号,在人机交互、医疗诊断、机器人制造、侦查审讯等领域有重要的应用价值。近年来,由于深度学习技术的快速发展和视频数据海量增长,基于深度学习的视频表情识别算法成为表情识别任务的主流。现有的视频表情识别算法大都直接提取视频表情的时空特征,而没有考虑视频数据本身存在冗余的无表情和表情微弱的帧。这一问题严重影响了视频表情识别的性能和效率。因此,如何消除视频数据中的冗余信息并提取丰富的情感表达,是一个极具挑战的任务。除此之外,人脸表情本身是一个复杂的过程,仅关注视频的视觉表征难以提取全面的情感特征,而融合音频等多模态信息有助于情感信息的相互补充。因此,如何有效的提取多模态特征并有效融合是视频表情识别领域的另一个重要问题。针对上述两个问题,本文首先提出了片段感知情感特征学习网络CEFLNet用以视频表情识别,然后在此基础上融合音频信息,构建增强的多标签多模态情感识别方法MEFLNet。本文的研究工作主要包括以下两个方面:（1）提出一种基于片段感知情感特征学习网络CEFLNet,用于视频表情识别。该网络可以有效地识别视频中每个短片段的表情强度,并获得片段感知的丰富情感特征信息。该网络首先构造了一个基于片段的特征编码器,其包含两个级联的自注意力和局部-全局关系学习,目标是对基于片段的时空特征进行编码。然后,以弱监督的方式构建情感强度激活网络,用于定位情感丰富片段并获取情感强度激活图,并提取丰富的情感特征表达。该方法在BU-3DFE、MMI、AFEW和DFEW这四个常用的表情数据集上分别取得了85.33%,91.0%,53.98%和65.35%的精度,均超过了目前最好的方法。（2）提出了增强的MEFLNet,用于多标签多模态情感识别。在CEFLNet的基础上,增加音频特征提取网络,并将音频特征与视觉特征进行多模态特征融合。首先,将音频进行分段,然后将音频数据特征转化为图像序列,并输入深度时空网络提取基于音频的情感时空特征。最后,将基于音频的情感特征与上述基于视觉的情感特征进行融合并分类。该方法在我们构建的多标签多模态情感数据上取得了比其他方法更好的结果,充分展示了提出的MEFLNet的有效性和融合多模态特征对表情识别精度的增益。