图像语义理解是融合计算机视觉和自然语言处理的一项技术,它可以将图像转化为描述图像内容的语义文字语句,在图像检索、视觉辅助、人机交互等领域有着广泛的应用。不同于图像分类任务,图像语义理解任务不仅需要识别出图像中的物体,还需要识别出物体的动作、属性,理解物体间的相互关系,然后生成合理的图像语义描述。传统的图像语义理解技术基于模板或检索生成描述语句,灵活性差,且需要大量的人力物力,生成的文本质量也不高。近年来,随着深度学习的发展,基于编码器-解码器结构的图像语义理解算法层出不穷,取得了不错的效果,但现有研究方法仍存在描述语句对图像的表述不全面,句子前后单词关联性不强,逻辑性差等问题。据此,论文提出了引入词向量和注意力增强机制的图像语义理解算法,主要研究内容和创新工作如下:（1）针对现有图像语义理解算法存在的对图像局部信息和语义信息利用不充分的问题,提出引入词向量和双注意力机制的图像语义理解算法。算法采用编码器-解码器结构,编码部分利用Res Net-50网络提取图像空间特征,解码部分在长短期记忆网络的输入端和输出端分别引入注意力机制,在解码阶段引入表征语义信息的词向量,实现图像特征到图像语义的变换。（2）针对引入词向量和双注意力机制的图像语义理解算法存在的语义描述不够丰富,对长短期记忆网络携带的记忆信息利用不充分的问题,在引入词向量和双注意力机制的图像语义理解算法的基础上提出基于特征融合和注意力增强机制的图像语义理解算法。在编码部分,将Res Net-50网络提取的图像特征进行融合,选取融合后的特征代替单一特征输入至解码网络,融合后的特征可以更全面的表征图像所包含的信息;在解码部分,将长短期记忆网络在前一时刻的隐藏状态ht-1和当前时刻的隐藏状态th融合后代替当前时刻的隐藏状态th输入到输出阶段的注意力机制中,充分利用了t-1时刻的隐藏状态所携带的记忆信息;另外,对于输入阶段和输出阶段的注意力机制,选取不同的图像融合特征作为它们的输入特征向量,使图像的特征信息得到了充分的利用。综上所述,论文对基于编码器-解码器的图像语义理解算法进行研究和改进,针对传统图像语义理解算法中存在的问题,提出了一些改进方法。实验结果表明,论文提出的算法可以更加全面的识别出图像中的物体以及场景信息,生成的语义描述更加准确、流畅,充分证明了算法的有效性。