随着计算机视觉的发展,不仅局限于让机器能完成检测、识别、分割等任务,也要求计算机能对图像的客观内容进行自动描述。和图像分类或者目标检测任务不同,图像自动描述要对图片中重要的场景、物体和它们之间的关系用自然语言进行整体的描述。这是计算机视觉内容理解的重要组成部分。图像自动描述方法采用编码器-解码器结构,使用卷积神经网络对图像进行编码,接着用循环神经网络进行句子的解码。然而由于图像特征的提取与嵌入,无法显式地表示出图像的多层级的语义,一些方法提出了基于视觉概念的图像自动描述方法。然而,基于视觉概念的图像自动描述方法不能很好的表示出视觉语义的不同层次,并且只停留在物体为主的语义层面,没有涉及场景语义部分。场景语义的上下文捕捉了编码在图片中更高层的语义,例如图片被拍摄的地点和图中人物可能进行的活动,并用于影响注意力模块和文本生成。对于特定的场景类型,生成的描述的词语会有所不同。针对当前图像自动描述方法存在的上述问题,本文提出了基于多层级视觉语义嵌入的图像自动描述研究,以弥补这些缺陷。本文的主要创新点包括:1)首次考虑了多层次的视觉语义,建模了场景语义、物体语义和文本生成的关系。场景语义信息为模型提供了关于场景的上下文,引导图片描述的生成,有效地表示出视觉语义的不同层次;2)提出了一种因式分解的注意力机制模块,用于显式地嵌入场景语义信息并引导不同层级的视觉信息嵌入和文本的生成。通过使用基于场景语义信息的因式分解的注意力机制模块将图像局部抽象特征、物体语义概念和场景语义信息三种不同层级的视觉信息在不同方面进行嵌入,模型的性能得到了提升。本文在通用的图像自动描述数据集上进行了实验,通过与当前其他主流方法的比较,本文证明了:在相同条件下,本文提出的方法在各项指标上超过了当前其他图像自动描述方法。