图像描述涉及了计算机视觉和自然语言处理两大领域,是一项极具挑战性的研究任务。该任务的目标是让计算机能够自动地为图像生成一段描述性文字。与传统的图像描述方法相比较,基于神经网络的图像描述方法更加高效,并且能够为图像产生更加自然的描述语句。本文结合深度神经网络与注意力机制,研究高效的图像描述算法,主要研究工作和创新点如下:(1)提出了一种基于长短期自适应注意力的图像描述模型。传统的基于注意力机制的图像描述模型通常将注意力机制与长短期记忆网络相结合,并根据长短期记忆网络的隐藏层状态来调整模型的注意力。但由于隐藏层状态存储的信息有限,在没有足够的信息作为参考的情况下,模型很难定位到与当前时刻相关性较高的图像区域。针对这个问题,本文提出了基于长短期自适应注意力的图像描述模型,该模型分别使用长短期记忆网络的隐藏层状态和记忆单元状态来引导两个注意力模块,并通过调节因子将它们联系起来,使模型可以同时参考两方面的信息来推断出当前时刻应该关注图像的哪些区域。通过相应的实验并与主流的图像描述模型对比,验证了所提出模型的有效性。(2)在本文已有工作的基础上,考虑到注意力模块产生的加权图像特征在产生单词的每个时刻都会发生改变,若把它和词向量一起输入到长短期记忆网络,不利于长短期记忆网络学习文本序列,因而进一步提出使用全局图像特征代替加权图像特征输入到长短期记忆网络的方法。相关的实验结果表明所做的改进能更进一步地提高模型的性能。