随着互联网技术的飞速发展,互联网上的内容形式从传统的纯文本向图文、视频形式转变。各种图像文本形式的内容琳琅满目,极大地丰富了人们的阅读生活,给人们带来了诸多便利。图文内容形式已成为互联网上信息的主要呈现形式之一,同时,互联网信息服务商也越来越重视图文内容的生产效率以及发布速度。为了满足这样的需求,图像描述生成技术作为一项结合计算机视觉和自然语言处理两个领域的任务,将图像视觉和自然语言的研究联系了起来。其目的是给定一幅图像,然后为这副图像生成一句描述该图像的自然语言句子。该技术可以加快图文内容的生产和发布,具有重要的研究和应用价值。随着深度学习的发展,以编码-解码(Encoder-Decoder)框架为基础的图像描述生成方法得到了越来越多研究人员的青睐,其在连接图像视觉特征和文本特征方面表现出了显著的效果。本文以汽车评测文章中的图像中文描述生成为研究对象,针对实际应用中数据的特点以及在图像描述生成的过程中对描述的侧重点进行控制从而实现描述的多样性的需求,在以下几个方面做出了相关的研究工作。(1)针对实际应用中图像描述数据映射关系弱的特点,具体表现为相似的图像具有针对不同的侧重点的描述,本文通过图文数据的采集和处理,构建了一个“汽车图像-关键词信息-中文描述”三元组映射关系的数据集。利用关键词文本信息作为图像信息的补充从而加强图像到图像描述的映射关系。(2)针对实际应用中对生成的图像描述的多样性的需求,本文在基础的编码-解码结构中融合了描述关键词预测模型以引入关键词信息,将图像和关键词文本特征进行融合作为模型的输入。该方法可以加强图像到图像描述的映射关系,此外可以根据不同的关键词信息对生成描述的描述侧重点进行控制,使描述往不同的侧重点进行描述以增加描述的多样性。(3)针对多模态数据特征的提取和融合,本文通过使用迁移学习(Transfer Learning)的方式将在Image Net图像数据集上预训练的VGG-16网络模型作为图像特征的提取器;然后,训练了一个词向量模型作为关键词文本特征的提取器;最后,研究图像特征和文本特征融合方法。最后,为验证本文所提方法的有效性与实用性,本文利用构建的“汽车图像-关键词信息-图像描述”映射关系的数据集进行实验分析。实验结果表明,利用本文的方法可以为汽车图像生成流畅的中文描述句子,其在BLEU、Rouge-L和CIDEr评价指标上的评价得分优于没有引入关键词信息的模型。针对不同的关键词信息,模型能够在一定程度上控制图像描述的描述侧重点,生成更加多样的图像描述句子。