图像描述是图像识别和自然语言处理相结合的方向之一，图像描述的研究非常具有现实意义，它是机器人进一步拟人化的关键，为机器人记忆与感情方面提供了研究基础。另一方面图像描述可以帮助有视觉障碍的人士理解报纸、说明书、地图软件等有关图像的内容，也可以利用在早教育儿和医疗保健中，代替人工看护和繁琐的重复任务。但是目前大多数图像描述的研究从整体结构出发，导致丢失图像部分对象，并且现有的图像描述中仅注重对象描述，忽视了很多场景和对象的重要方面有关的细节，缺少画面感。针对上述问题，本文提出了一种新的基于深度学习的图像描述系统体系结构，分为多标签提取网络和图像描述生成网络二级联模型，其中多标签提取网络(称为SOMNet)由三个子网络组成：(1)场景分类网络(SNet), (2)对象类标签学习网络(ONet), (3)多属性标签学习网络(MNet)，而图像描述生成网络由两个循环神经网络组成的编码器-解码器构成。
　　本文提出系统的特点有以下几个方面：
　　(1)相对于整体结构，本文提出更精细的结构化图像描述系统，将场景标签、对象类标签和对象属性标签分别单独构建分类系统，然后将众多标签送入基于循环神经网络(Recurrent Neural Network, RNN)的图像描述生成网络中生成图像描述，该系统能更多的抓捕图像细节，保证准确度的同时，生成更长、更有描述性的句子；
　　(2)相对于单标签学习，即对每个属性分别训练神经网络，本文提出的多属性标签网络，考虑到人属性和物体属性的特性，设计了人属性标签预测和物体属性标签预测分别共享卷积神经网络层，仅在最后全连接层中分别训练适应于人和物体的不同属性的支持向量机，提高了预测精度的同时，极大减少了属性单独训练的成本；
　　(3)相对于常用初始化损失权重的方法，带来的梯度消失或弥散导致不收敛的问题，本文提出了一种有效的损失权重方案，该方案充分利用数据集中属性标签之间的相关性，显着提高所提出方法的泛化性能。
　　最终实证结果表明，所提出的系统有着优秀的性能，并且在几乎所有评估指标上都优于最先进的相关研究。特别是，所提出的系统在处理跨域室内场景图像时比现有方法显示更好的优越性。