近年来,随着深度学习的发展,以及硬件设备技术的不断突破,基于人工智能的应用遍地开花,大量研究人员对这项技术都产生了浓厚兴趣。例如人脸识别、人脸生成、换脸技术、目标检测与跟踪、场景分割、自动驾驶、行人重识别、语音识别等等。而图像理解Image Caption是一个综合类问题。它不仅需要自然语言处理技术,还需要计算机视觉方向的图像处理技术。具体来说这项技术需要同时处理图像数据和文本数据。图像理解算法既要用计算机视觉方法来提取图像特征及其相关关系,而且还需要生成文本描述出来。更关键的是,模型还要能够抓住图像中的语义内容,生成真实的、自然的文本描述。图像理解方法普遍是基于编码器-解码器结构,其中编码器大多由提取图像特征的卷积神经网络构成。解码器则通过循环神经网络构成,它的作用是生成描述性的文本。本文针对当前基于图像理解研究存在的主要问题进行了下列主要工作:(1)由于RNN存在梯度消失的问题,而通过对RNN进行改进得到一种特殊结构的长短时记忆网络LSTM,这种网络通过其自身的门控结构,能有效解决RNN引起的梯度消失问题,所以本文在解码端使用LSTM长短时期记忆网络的方法生成文本描述。但是基于该方法产生句子,往往显得过于僵硬,缺乏可变性。这是因为现有的image caption技术主要是通过最大似然估计的方法来训练模型,即最大化样本出现的可能性。(2)为了提高文本描述的多样性和自然性,本文在编码解码架构上增加了一个生成式对抗网络的框架,它联合一个生成器来生成基于图像的描述,并使用一个评估器来评估文本描述与图像内容的匹配程度。通过策略梯度policy gradient方法来克服生成式对抗网络不能对离散样本进行反向传播的特点,使用梯度策略使得生成器能够接受早期的反馈进行训练。通过蒙特卡洛算法,生成完整的句子,使用这种方法能够明显增加描述图像的多样性和自然性。(3)为了减少对数据集的依赖,本文把生成式对抗网络与无监督学习方法结合起来,这种方法能够在没有成对的图像-文本的时候利用生成式对抗网络生成逼真的句子,并利用视觉检测器引导句子生成与图片相关的句子。