随着社交平台的发展,人们越来越愿意在网络上针对一些事物发表自己的观点、想法和情感。分析这些数据中的情感倾向,对政府和商业组织等具有重要意义。同时网络速度的发展,人们越来越愿意发布除文本外的其他信息,例如图像,视频,音频等,多模态数据已经构成了社交平台中内容的主要部分。本文针对多模态数据中的文本和图片模态的情感信息进行了分析和研究,主要包括了针对句子级的图文多模态情感分析任务、属性级的图文多模态情感分析任务以及基于prompt的图文多模态情感分析。本文提出了一种基于对比学习和多层融合机制的模型来解决句子级和属性级的情感分析任务;同时提出基于prompt的低资源句子级多模态情感分析框架。这些方法有效的提升了系统的识别准确率,具有重要的学术和应用价值。本文的主要贡献如下:1.对于句子级的多模态情感分析任务,本文提出了基于对比学习和多层融合机制的模型（A Contrastive Learning and Multi-Layer Fusion Model,CLMLF）。模型主要分为两个模块,多层融合模块和多任务模块。多层融合模块,采用基于多头自注意力机制的Transformer-Encoder,可以很好的捕获数据之间的深层次的关系,建模文本和图片之间的显式和隐式的关系,对文本和图像特征进行对齐和融合,并提升模型的抽象能力,进而获取多模态数据中的深层特征。多任务学习模块分为三个任务:情感分析任务、基于标签的对比学习任务和基于数据的对比学习任务。通过增加两个对比学习任务,帮助模型学习相同情感的多模态数据之间的共同特征,增加模型对数据中有效特征的敏感性,降低噪音数据对模型的影响。通过在三个公开句子级的多模态情感分析数据集上的实验,证明了CLMLF模型相对目前的SOTA模型具有很强的竞争力,同时一系列的消融实验证明了模型中各个模块的有效性。2.对于低资源句子级的多模态情感分析任务,本文提出了基于prompt的多模态情感分析框架。通过冻结语言模型的参数,将图像序列特征作为prompt的一部分,将连续的调优参数和图像序列特征以及文本特征拼接在一起输入到语言模型中,对连续的前缀调优参数和图像序列特征进行训练,不仅大大降低了训练过程中的计算成本和资源使用,而且在仅使用了1%的参数的情况,就获得了可以匹配甚至超过微调框架的性能。在两个公开的数据集上,本文进了大量的实验证明了prompt-tuning方法在多模态情感分析任务中的有效性。3.对于属性级的多模态情感分析任务,本文在CLMLF模型的基础上,通过修改多层融合机制,提出了四种结构:Text-Aspect结构、Text-Aspect-Query结构、Aspect-Query结构和Text-Aspect-Image结构,帮助模型将属性特征融入到文本-图像特征中,进而针对文本中的一些属性进行精确的情感分析。经过实验,证明了Text-Aspect结构是最有效且最简单的融合结构,并将CLMLF模型改进为CLMLF-Aspect模型,在三个公开的属性级的多模态情感数据集上,证明了CLMLF-Aspect模型的有效性,相比目前的基线模型具有很大的提升,特别是在Multi-ZOL数据集上,提升了10%左右的性能。