隐喻普遍存在于人类的日常表达中,据统计,平均每三句话就包含一句隐喻。隐喻是一种常见的语言表达方式,也是一种重要的认知手段。人类习惯于借助已知的具体概念来描绘未知的抽象概念。准确地识别出隐喻现象能够帮助人们更好地理解复杂的抽象概念,深入地挖掘语言中的深层含义。目前,隐喻识别已经成为自然语言处理领域中的一个重要问题,被广泛应用于信息抽取、观点挖掘、机器翻译、情感分析等任务中。随着社交媒体的蓬勃发展,语言的表达方式也呈现模态多样化的趋势。隐喻的认知结构决定了其具有多模态的特点。目前,多模态隐喻的相关研究尚处于起步阶段,可利用的大规模、高质量的语义资源十分匮乏,因而阻碍了研究的进一步发展。为了解决上述问题,本文开展了如下工作:（1）本文构建了一个大规模、高质量的多模态隐喻数据集。本文基于概念隐喻理论、广义多模态隐喻定义和多模态语篇特点,提出了三个类别的多模态隐喻概念界定方式。遵循数据集构建的原则,利用远程监督的方式,通过构建检索关键词集来锁定数据检索的范围。运用爬虫技术获取数据,并针对数据的特点进行相应的处理。制定规范化的标注方案,以众包的形式进行标注。设立质量监控机制选拔可靠的标注者,采用两种标注一致性度量指标进行标注评估。利用主流特征提取技术进行基线实验,验证数据集的可靠性。（2）本文提出了基于多任务学习的多模态隐喻识别和多模态情感分析研究框架。为了深入探索数据集在应用方面的多样性,本文对多模态隐喻相关的识别任务进行了标注,从统计分析的角度展示了多模态隐喻及其关联语言现象的关系。利用跨模态注意力机制捕获模态间的动态交互关系,根据各个模态的贡献程度来合理地分配权重,同时更新各个模态的信息。进一步引入多任务学习的思想,利用任务间的关联关系提高模型的识别性能。