医学图像报告生成旨在为一张医学图像自动生成一段描述其内容的自然语言,这种技术在医学图像理解和计算机辅助诊断等方面有着巨大的应用价值。不同于医学图像分类和标注等粗粒度的医学图像理解任务,为医学图像生成报告需要将图像转化为连续的文本,这首先就涉及到图像特征的提取,提取到高质量的图像特征是该任务成功的前提,其次涉及到文本生成,得到图像特征后,要将图像特征转化为通顺连贯并且满足语法约束的医学报告。因此,该任务涉及到了计算机视觉、自然语言处理以及医学三个领域,所以,对医学图像报告生成技术的研究不仅有利于推动图像和文本处理技术的发展,而且还有利于推动智能医疗领域的发展。本文对近几年来国内外医学图像报告生成技术的发展进行了调研。研究发现,当前大多数方法采用卷积神经网络(Convolutional Neural Network,CNN)作为编码器提取医学图像特征,循环神经网络(Recurrent Neural Network,RNN)及其变种长短时记忆网络(Long Short Term Memory,LSTM)和门控递归单元(Gated Recurrent Unit,GRU)作为解码器生成医学报告。虽然这种端到端的编码解码结构已经取得了一定的成果,但是仍然存在着一些问题。包括:1)文本对图像特征提取过程的约束还不够深入;2)对图像特征的利用还不够充分;3)对注意力机制和图文融合的建模还不够完善。本文主要针对这三个问题展开研究,具体内容如下:1)提出了一个多通道图文互相约束的喉镜报告生成模型。该模型通过在基础CNN-GRU编码解码结构中加入两个额外的通道来增强文本对图像特征提取过程的约束。该模型一共包含三个通道,第一个通道为基础的图像到文本的编码解码结构;第二个通道为正向文本到正向文本的编码解码结构;第三个通道为反向文本到正向文本的编码解码结构。通过后两个通道对文本到文本进行建模,将更多的文本信息引入模型,从而加强文本对图像特征提取过程的约束。在喉镜图像数据集上的结果表明,所提模型的性能优于其他对比模型,可视化结果也表明,相对于对比模型提取到的图像特征,本模型提取到的图像特征与文本更接近。2)提出了一个多特征融合指导解码的喉镜报告生成模型。该模型采用基础CNN-GRU编码解码结构,首先利用CNN提取图像的卷积特征和全连接特征,然后使用GRU学习图像和文本两个模态间的联系,在最后的文本生成阶段,除了使用GRU输出的信息以外,我们还将图像的全连接特征和卷积特征进行融合作为额外的补充信息输入文本生成模块对文本生成进行指导。在喉镜图像数据集上的结果表明,所提模型的性能优于其他对比模型,可视化结果也表明本模型中的融合特征在文本的生成阶段有明显的特征补充作用。3)提出了一个双GRU解码的喉镜报告生成模型。该模型采用基础的CNN-GRU编码解码结构,但在解码过程中,使用Attention GRU和Language GRU分别对注意力机制和图文融合进行建模,两个GRU同时接收图像特征和文本信息,各自记忆自己需要的信息,从而避免了单个GRU同时对注意力机制和图文融合这两个任务建模存在冲突的问题。在喉镜图像数据集上的结果表明,所提模型的性能优于其他对比模型,可视化结果也表明本模型中的注意力机制和图文融合较基础对比算法有明显改善。