随着计算机科学的不断发展,以及对个性化人机交互需求的不断增强,情感计算在人机交互中的重要性日益显著。传统的人机交互,主要通过键盘、鼠标、屏幕等方式进行,只追求便利和准确,无法理解和适应人的情感或心境。而人们的感受对决策有直接影响,情感能力对于计算机与人的自然交往至关重要,所以情感计算具有重要意义。视频数据的骤增为情感计算带来了新的机遇和挑战,数据驱动的视频情感计算,主要是通过移动互联网采集海量的数据,在采集数据的基础上经过训练和拟合形成自动化的决策模型,相关研究方法颇丰,但数据驱动的方法过度依赖训练样本,在实际应用中很难推广,性能也差强人意。知识引导的视频情感计算可以作为数据驱动的视觉识别方法的有效补充,为解决无监督视频情感计算和情感鸿沟等问题提供新的思路。因此,本文不仅研究了视频数据驱动的情感计算方法,还将外部知识引入到了视频情感计算方法中。近年来,随着机器学习等技术的飞速发展,涌现出多种有效的视频情感计算模型,这些模型的核心问题之一,是如何学习出能够代表视频主观情感的表示向量。然而,视频数据具有多模态、域差异的特性,视频底层视觉内容和观者情感之间存在情感鸿沟,情感理论动态发展导致细粒度的情感标签不断增加,这些都为视频情感计算带来了挑战,为了解决这些挑战,本文研究了视频情感表示学习及其应用。本文主要工作如下:（1）针对视频数据的多模态特性和域差异特性,研究了一种情感表示学习的多模态域适应框架:首次提出解决多模态和域适应特点的统一框架,不仅可以应用在视频情感表示学习,也适用于其他多模态域适应的任务,比如跨域跨模态检索;为了挖掘不同模态的互补性,提出了一种协变多模态注意力模块,不仅学到各个模态特征中最有助于模态融合的显著部分,而且还包含结构敏感组合机制,能够捕捉各模态的全局结构信息;提出了混合域联合约束,将对抗损失函数分别约束在源域和目标域的原始模态特征,注意力加权后的特征以及融合后的特征,以此来学习判别性和域自适应的多模态视频情感表示。最后在视频人物情感识别的任务中,验证了多模态域适应框架的有效性。（2）由于视频样本标注耗时耗力,缺少大规模训练数据集,在缺乏观者生理信号的情况下,为了弥合情感鸿沟,提出了一种新型的知识引导的情感表示学习:首次将外部情感知识图谱引入到视频任务上,以视频中的视觉目标和情感概念为节点,用大型外部知识图谱Concept Net和Sentic Net抽取对应关系,建立了视觉情感知识图谱;采用双胞胎图卷积神经网络学习到了知识引导的视频情感表示。最后将知识引导的视频情感表示应用到视频精彩片段检测任务上,在两个标准视频精彩片段数据集上评估了学习到的视频情感表示。广泛的实验结果证明了知识引导的情感表征学习的鲁棒性。（3）为了适应情感理论动态发展所带来的细粒度情感类别不断增加的问题,研究了零样本视频情感表示学习:首次定义和研究了视频情感零样本学习任务,能够识别出没有训练样本的罕见情感类别。首先通过外部知识辅助的动态上下文情感,为了建模主角的时序信息和上下文信息,采用视频transformer来建模视频情感表示;为了更好地使视频表示与未知情感标签保持一致,通过噪声对比估计目标函数学习得到多模态的情感嵌入空间。通过在三个数据集上的观者情感零样本识别实验,验证了我们提出的上下文可知的视频情感表示的鲁棒性。