文献中包含的数据大多以非结构化的形式存在,多用于展示文献的核心实验条件、过程及结果,拥有非常重要的意义。而如何快速理解非结构化数据的内容在今天仍然是一个巨大的挑战。尽管有一些优秀的学术搜索引擎可以检索图片信息,但它们反馈的结果只有图片或是图片标题,没有侧重于图片具体内容描述,研究者无法通过简单的搜索理解详细内容,若引入自动生成图片摘要功能可以帮助研究者更好地理解复杂多样的图片内容。非结构化元素的形式多种多样,如文本、图片、表格等,需要不同的方法进行解析与解读。因此,如何从生物文献图片中自动解析关键词数据并生成高标准的文本描述是研究的重难点。图文本生成主要分为图片解析和文本生成两个方面,在图片解析步骤中要注意图片的多变性和冗乱变形,然而,以往的图片解析方法大多忽视了这些问题或是直接人工排除干扰数据,导致这些方法的应用效果不佳。在文本生成过程中需重视文本的准确性、逻辑性与丰富性,现有的文本生成方法在生成长文本和凝练重要信息方面还有很大的改进空间。针对上述问题,本文构建了一套从生物文献图片的视觉特征映射到高层次的文本语义生成模型的流程。主要研究内容如下:（1）为了解决图片的不规则性和减少实体干扰项的影响,本文提出了基于全局上下文的科学图片解析优化模型（Multi-Fig PRO）。在端到端的生物文献图片到数据的提取流程中,需要进行图片定位、子图切割、图片分类和图片解析步骤。本文采用PDF格式的生物文献作为原始数据,利用连通像素定位轴、图例进行分析,然后锁定绘图区域,使用回归路径模拟图例对应的曲线。通过引入全局上下文特征对图片进行标准化输出,相比于其他的基线模型如Figure Seer和Parsing Pro,可以获得更好的解析效果。（2）提出并实现了基于句子掩码机制的联合式文本生成模型（Uni GM）,对图片进行语义理解。利用全文知识库对本文在图片解析部分获取的关键词数据进行语义标注,然后基于内容规划、句子规划和句子实现三个步骤进行数据到文本的生成。随后从全文提取与图片相关性高的候选语句,将上述文本融合并导入联合式生成模型中。模型中抽取器部分是基于缺失句子生成（Gap Sentences Generation,GSG）和掩码语言模块（Masked Language Model,MLM）的分层Transformer模型,用于得到重要语义文本内容,生成器部分是基于复制机制的Transformer模型,用于重要内容改写。与基线模型相比,Uni GM模型优化了文本的生动性、丰富性及流畅性,生成的最终文本可以获得更高的ROUGE值。（3）实现了生物文献图搜索引擎。本文共获取约20万篇生物文献,基于图片解析流程从文献中获取约42.6万张图片,其中包含7万多张折线图,然后应用图文本生成流程得到关于图片的详细内容描述,最后基于图片中的关键词,将相似度高的图片进行多文本生成。因此,当研究者使用搜索引擎查询图片时,反馈的不仅仅局限于该张图片的内容,而是更为全面的描述。本文在图搜索引擎中的应用让图文本生成的信息有了实际应用价值,更为后续研究者的入门、学习及研究提供便利。