随着深度学习的不断发展,研究人员越来越多地关注到图像和文字的交叉领域,而图像描述和基于文本的图像生成正是图文交叉领域的两大研究方向。图像描述任务是根据一幅图片自动生成描述语句,基于文本的图像生成则是给定一段文字描述,生成与文本内容相符的图片。二者是两种模态之间的互生成,因为两种模态的不对称性,两个任务又各自面临着不同的挑战。对于图像描述任务,如何更准确的编码图像信息并让解码器产生更加自然流畅的句子是该领域研究的难点。而对于图像生成任务,研究重点则是如何提升生成器的性能以及增加模型训练的稳定性。为此,本文探索了以下几点内容:(1)由于图像的语义属性在一定程度上反映了图像的视觉信息,并且信息冗余较低,所以本文采用属性特征作为图像描述的编码信息。但是通用的属性特征含有噪声,因此我们借助跨模态检索找到图像的显著性词,然后构建显著词向量对属性特征进行线性加权从而降低噪声词的影响。另一方面在解码器生成句子时,我们发现常用的对数似然下的集束搜索并不能完全找到最佳的描述语句,于是本文根据跨模态相关语义提出了两种句子重排序的方法:基于视觉特征和文本特征的句子重排序和基于伪参考句子的重排序,根据候选句子在重排序下选出更符合图像描述的句子。(2)目前图像生成的工作大多关注于文本和图像的联合注意力机制,即如何让文本和图像在语义空间中进行更好地对齐,但是它们忽略了图像特征内部的注意力机制。因此本文提出将混合注意力模型引入到生成器中,对特征图和通道同时进行注意力关注,使得生成器能够产生结构更加合理的图像。在模型训练方面,由于传统损失函数容易出现模型训练不稳定的现象,为此本文提出在传统生成对抗损失中额外加入平方损失,使生成器得到更多的判别信息,进一步提升了生成性能。此外,本文在判别器中加入谱归一化,通过参数梯度的限制,增加了训练的稳定性。最后,在CUB和Oxford数据集上的定性和定量实验以及各个模块的消融实验,证明了所提方法的有效性。