随着数据规模和计算能力的飞速增长,基于数据和硬件的深度学习开始显示出独特的优势。作为一个有挑战性的人工智能领域,自动生成图像描述正受到越来越多的关注。作为计算机视觉与自然语言处理领域的综合性任务,自动生成图像描述可以完成从图像到文本的转换,即算法可以根据输入图像自动生成相应的描述性语句。使计算机可以描述视觉世界带来了广泛的应用,如信息检索、人机交互、儿童教育、为视障人士提供帮助等。传统的自动生成图像描述方法包括基于模板的方法和基于检索的方法,但这些方法有一定的局限性,无法适用于新的场景,与人类描述的相关性较差。本文使用深度学习的方法,设计了基于编码器-解码器结构的自动生成图像描述模型。用扩展的深度卷积神经网络作为编码器提取图像特征,用长短期记忆网络生成描述性句子。本文对于端到端的自动生成图像描述模型展开研究,主要工作如下:1.对深度卷积神经网络进行改进,保持超参数数量不变的情况下提高其准确性。传统的提高卷积神经网络精度的方法是增加其深度,但是,随着超参数数量的增加,网络设计的难度和计算开销也会增大。受到Inception模块的多支路机制的启发,本文设计了基于Resnet的高度模块化的卷积神经网络,保留具有残差学习功能的恒等映射连接,同时,采用堆叠相同拓扑结构模块的方式来简化网络的复杂度,不额外增加超参数的数量,使多支路的卷积神经网络更易于优化和泛化使用。2.提出了用扩展支路的卷积神经网络提取图像特征的方法,进一步优化基于编码器-解码器架构的自动生成图像描述模型。对多支路卷积神经网络进行预训练,作为处理图像特征的编码器,采用具有记忆单元的特殊循环神经网络LSTM作为解码器,训练端到端的自动生成图像描述模型。计算本文提出的模型在自动评价指标BLEU、METEOR和CIDEr上的分数,并与其他图像描述生成算法比较。在大规模数据集Flickr8k,Flickr30k和MSCOCO数据集上的实验结果表明,本文提出的方法可以有效提高自动生成图像描述算法的性能。