随着互联网带宽的大幅增加和各种移动设备的激增,Web2.0技术下图像数据已经出现爆炸性的生成,发布和传播,成为当今大数据不可或缺的一部分。然而互联网上的部分图像是无标记的,为了更有效地存储、管理、检索和利用这些数据,近年来,研究人员致力于用完整的自然语句自动描述图像的内容,即为图像字幕生成。然而,图像字幕生成是一个非常具有挑战性的任务,它不仅需要利用模型去捕获图像中呈现的对象或者场景,表达图像中对象和场景的相关性,而且还要用恰当的自然语言来描述它们。针对上述问题,本文利用深度学习方法对图像字幕生成进行了较为系统深入的研究,主要的研究成果如下:(1)提出了一种基于长短时记忆网络(Long Short Term Memory,LSTM)的从多特征序列到语句序列的图像字幕生成框架。为了更全面的描述图像特征,此方法提出分别使用基于ImageNet ILSVRC图像分类数据集训练的ResNet152提取图像中目标特征,使用基于Places365场景数据库训练的ResNet152提取图像中的场景上下文特征,利用二者的互补性全面描述目标和场景上下文特征。为了充分利用图像字幕描述时的常规语义信息,本文使用基于MSCOCO数据库训练的多实例属性分类器提取图像的视觉语义特征,作为图像视觉特征在语义先验上的补充。本文将图像的目标特征、场景上下文特征和图像的视觉语义特征序列输入到LSTM编码器,完成图像的特征表达。最后,通过LSTM解码器将该特征翻译成语言描述,基于交叉熵损失函数实现从多特征序列到自然语言序列的图像字幕生成框架的训练。本文在MSCOCO数据库上对模型进行了实验评估,对比实验结果证明相比经典方法在多个指标上均有优势。(2)提出了一种协同常规-特定语义的多特征图像字幕生成方法。为更好的表示图像的语义特征,本文提出在MSCOCO数据库上训练多实例属性分类器提取图像的常规语义属性,同时对测试图像在视觉语义嵌入空间检索其相近语义作为图像的特定语义属性,协同图像的常规和特定语义属性,作为图像的语义先验,并将其与图像的目标特征、场景上下文特征序列一起输入到LSTM编码器中作为图像的特征表示。除此之外,本文还提出在图像解码中,将特定语义作为“特定语义监督器”用于LSTM解码中候选短句之间的BLEU 4相似性监督约束,实现特定语义协同监督下的图像字幕生成。本文在MSCOCO数据库上的实验证明了协同常规和特定语义的语义属性和“特定语义监督器”的优势,同时较其它经典方法取得了更好的实验效果。