通常,大多数现有的自动摘要方法研究都单独关注文本领域或图像领域。随着互联网上多媒体数据的快速增长,多模态摘要逐渐引起了广泛的关注。现有实验已证明,与仅含文本的摘要相比,多模态摘要可以通过在视觉模态中使用图像特征信息来提高所生成摘要的质量。不仅如此,多模态输出还可以显著提高用户对摘要信息的满意度。近年来,研究人员开始研究多模态新闻摘要产生多模态输出的任务,这可以称为多模态摘要多模态输出（Multimodal Summarization with Multimodal Output,MSMO）,中科院研究者们针对这一任务整理和开放了 MSMO数据集。目前最新的研究成果是基于指针生成器网络,通过引入图像注意力以及多模态注意力机制,利用数据增强和引入图像损失的方法,在MSMO数据集上达到了当前的最好效果。不同于之前使用的单一规则进行数据增强的方法,本文提出了一种基于统计模型的数据增强方法,综合考量文本与图像的语义相关性以及图像重要性等多个特征,对多模态摘要多模态输出数据集的训练数据中的图像数据进行自动标注。本文在实验中发现图像位置信息在图像摘要任务中是重要特征,并证明了该数据增强方法的有效性。本文提出了一种新的多模态摘要多模态输出模型框架,该模型基于文本的序列到序列（Sequence to Sequence,下文称之为Seq2Seq）框架,对其进行了解耦,设计出一种基于双流注意力机制的网络架构,在编码器和解码器之间加入了多模态交互神经网络层,实现了图像-文本领域信息的融合;同时该模型架构具有很高的灵活性,可以继承使用其他文本Seq2Seq模型的结构和参数,例如预训练语言模型,并支持不同的图像编码器以及解码方法。本文在Seq2Seq框架的基础上融合了当前最新的生成式预训练语言模型和图像预训练模型进行实验,在文本摘要评测指标ROUGE以及图像精度指标上达到了领先的效果。