图像描述生成是计算机视觉、自然语言处理和人工智能领域中的一项重要研究课题,在人机交互、医疗视障辅助、智能安防预警、社交影像娱乐等新兴应用中受到了广泛关注。图像描述生成旨在理解并提取自然图像中的语义信息,并用如同人类描述一般准确流畅、生动形象的语言刻画出来。然而,由于图像场景丰富、内容对象多样、目标关系复杂,因此,如何对场景进行有效感知、对内容精准识别、对目标关系精确描述,以及生成准确、流畅且优美的文本描述,都是图像描述生成任务所面临的巨大挑战。本文分别针对图像描述中注意力机制缺乏联合上下文信息、网络框架正向而单一,以及学习策略缺少多指标引导的问题,分析图像描述机理,利用神经网络提取的深度信息,分别构建联合注意力网络模型、特征重建网络和多指标强化学习方法,有效提高图像描述生成的准确性和自然性。主要研究内容和成果如下:(1)提出了一种基于联合注意力机制的图像描述生成方法。首先,在编码器部分,分别利用Res Net-101网络和Faster R-CNN网络提取图像的特征。其次,将图像的特征与训练数据库中标签文本的单词嵌入向量相结合,共同作为由注意力长短期记忆网络和相邻时间节点联合注意力模型所组成的两级注意力网络的输入。最后,将注意力网络模型的输出结果依次通过语言长短期记忆网络以及Softmax层,进而生成最终的描述语句。实验结果证明,该方法提高了图像中目标识别的准确度,对目标之间关系的描述也有较大改善。(2)提出了一种基于特征重建的图像描述生成方法。首先,分别从全局角度和局部视角,设计了基于全局选择机制和局部选择机制的特征重建网络。其次,在此基础上,构建一个结构为编码器-注意力网络-解码器-特征重建器的网络模型框架,既考虑由图像到描述文本的正向生成过程,又实现由描述语句到图像特征的反向重建过程。最后,利用能够衡量图像和描述文本之间双向匹配性的重构特征差异度计算公式,进一步丰富损失函数。该方法经实验表明,能够更好地指导网络进行学习和训练,且取得了一致性较好的描述结果。(3)提出了一种基于多指标强化学习的图像描述生成方法。首先,联合图像-描述层面和描述-描述层面,设计两阶段式的多指标强化学习网络训练法。在第一阶段中,使用由交叉熵函数以及重构特征差异度组成的损失函数,预训练端到端网络。其次,在第二阶段,将交叉熵公式用多重度量指标奖励函数替代,从而构成新的损失函数,对网络参数进行微调。最终,通过度量指标的敏感性分析以及较充足的实验,验证了该方法在客观和主观评价方面的优越性。本文从图像描述的注意力机制、重建特征和学习策略三个方面,提出了改进的模型与方法。这三种方法着眼于图像描述任务中的不同部分,也可进行叠加使用。实验中,分别从定量和定性两个方面进行离线或在线评估。实验结果表明,本文方法不仅在客观评价指标上得到了较大提升,描述语句的主观感知结果也更为准确。