多模态医学成像越来越多地被运用在复杂的疾病诊断检查和医学研究试验中,它可以提供全面的人体内部信息。不同的成像模态能够提供有关生物体组织的特定信息,包括结构的和功能的。然而借助多种模态数据的医学检查在现实中十分困难。一方面因为诸多干扰因素会妨碍收集全面的信息,如患者的不适感导致的某种模态数据未进行扫描、不断增加的扫描费用、延长的扫描时间。这些原因使得在大量的医学影像检查中,同一病人的多模态数据记录不全。另一方面,成像过程中的干扰,如病人的移动造成的图像伪影、快速成像产生的低分辨的图像、数据扫描过程的损坏等,造成生成的图像质量下降,严重影响现实中使用多模态数据来诊断的可行性。基于现实的诸多限制,无法获得理想的多模态医学图像数据,本文专注研究如何利用机器学习的方法(即深度学习模型)来进行图像合成,获取高效的、安全的、高质量的多模态数据,为病人的诊断和临床研究提供支持。在本文中,我们使用基于深度学习的框架,来实现跨模态的图像合成。跨模态合成可以是单一跨模态映射和融合跨模态映射。单一跨模态映射可以是,从T1加权核磁共振(MRI)图像预测其对应的计算机断层扫描(CT)图像,模型的输入端和输出端都只有单一的模态数据。融合跨模态映射可以是,用低剂量正电子断层扫描(PET)图像和对应的T1加权MRI图像,预测标准剂量PET图像。输入端对应两种模态的图像:低剂量PET图像和T1加权MRI图像,输出端对应标准剂量PET图像。融合跨模态映射还可以是,用降采样的T2加权MRI图像和全采样的T1加权MRI图像重建全采样的T2加权MRI图像。其输入端对应两种模态的图像:降采样的T2加权MRI图像和全采样的T1加权MRI图像,输出端则对应全采样的T2加权MRI图像。具体地,本文提出了深度嵌入神经网络来完成T1加权MRI图像到CT图像的预测,这是完全端到端的模型,不需要前处理和后处理。实验结果表明:用提出的模型生成的CT图像,在图像质量、模型运行效率上都具有明显的优越性。对于融合跨模态的图像合成,本文提出了深度自动上下文神经网络模型,结合低剂量PET图像和对应的T1加权MRI图像来预测标准剂量的PET图像。该模型完美融合了自动上下文策略,可以进一步优化预测的图像质量。在脑部PET/MRI数据集上的实验结果表明,提出的模型能够取得比最新方法更好的预测结果。同时,提出的方法在测试效率上远远超过现有的最新方法,有两个量级的提升。例如,本文提出的方法只需2秒就可以预测一个测试图像,但是其他方法需要16分钟。这样的效果表明本文提出的方法在真实临床运用场景中有很大的潜力。本文还提出了结合互补的、不同序列的MRI图像信息(全采样的T1加权MRI图像和降采样的T2加权MRI图像)来帮助重建的目标MRI图像(全采样的T2加权MRI图像),所使用的模型是创新的密集连接U型网络结构。这是第一个通过深度神经网络结构来融合不同序列MRI信息,加速目标序列MRI成像的工作。上述提到的跨模态图像合成任务包含:MRI到CT的预测,标准剂量PET图像的预测,T2加权MRI图像的重建,这些都是基于配对数据的监督信息来训练模型。在现实场景中,一般很难收集到这样全面的跨模态的同一个病人的数据。所以,本文还提出了一个创新的基于非配对数据训练的跨模态图像合成模型,它完全不需要配对的数据进行训练。具体地,本文采用生成对抗网络来建立跨模态合成模型,并提出高效的残差U型网络生成器和结构相异性损失,从而加快网络的训练。在三个数据库上(包括brain MR-to-CT,prostate MR-to-CT和brain 3T-to-7T)的实验结果,充分验证了模型的有效性和鲁棒性。同时表明本文提出方法能够在只用非配对数据训练模型的基础上,达到和用配对数据训练类似的图像合成效果。