胰腺癌是唯一一种发病人数与死亡人数接近1:1的疾病,严重危害人类生命健康。现在,计算机辅助诊断技术受到了越来越多的关注,准确的胰腺及肿瘤分割对于计算机辅助诊断胰腺癌的检测和放射治疗至关重要。但由于胰腺及其肿瘤病灶与周围组织高度相似,其大小、形状和位置多变的问题,实现精准的分割仍是医学图像分割领域最具挑战性的任务之一。本文的研究重点是磁共振图像中的胰腺及肿瘤的自动分割,这对于胰腺磁共振图像引导下的放射治疗具有非常重要的意义。但是仅靠MRI图像可能无法准确定义胰腺肿瘤边界,另一方面,PET图像可以在肿瘤和正常组织之间获得高对比度,从而减少患者间肿瘤定位的差异性,进一步为胰腺的诊断和治疗提供帮助。因此,有必要对多模态图像中的胰腺及其肿瘤分割进行研究。本文针对PET/MRI胰腺图像数据,使用当前热门的深度学习方法,提出了适用于多模态的胰腺图像分割算法。本文的主要研究内容包括以下三个方面:1.针对MRI图像边界模糊,胰腺器官差异大难以准确定位分割的问题,提出了基于形状约束和多尺度网络的MRI胰腺图像分割方法。首先使用PET图像对U-net模型进行预训练用于学习胰腺肿瘤位置信息,通过堆叠卷积自动编码器构建形状表达模型用于学习胰腺的形状信息。然后设计了一种用于MRI胰腺图像分割的多尺度网络模型,使用训练好的U-net模型和形状表达模型通过约束分割模型的参数优化方向进一步调整了结果。最终将MRI图像输入到训练好的多尺度模型中可以直接获得胰腺分割结果。通过实验对该算法进行了评估,验证了形状表达模型和多尺度等模块对提升网络分割精度的有效性。2.针对胰腺肿瘤病灶大小位置不定,小目标分割结果差的问题,提出了基于注意力机制和水平集的多模态胰腺肿瘤分割方法。首先构建基于注意力机制的多尺度网络,该网络使用两条路径分别提取不同图像的全局特征与局部特征,同时利用注意力机制和多尺度卷积模块学习不同领域的互补信息,并抑制无关信息,使网络对肿瘤边缘更加敏感。将配准后的PET和MRI图像输入到网络中,获得胰腺肿瘤的位置及大致轮廓。利用形态学方法对粗分割结果进行后处理,并通过距离正则化的水平集模型自动演化出最终分割结果。实验结果表明,该分割方法可以准确定位胰腺肿瘤,在一定程度上提升了分割效果。3.针对MRI图像对比度低,肿瘤分割结果易出现欠分割和假阳性区域的问题,提出了基于Dense模块和迁移学习的胰腺肿瘤检测与分割方法。以Mask-RCNN网络结构为基础对特征提取网络进行改进,将Dense模块和特征金字塔结构结合,重复利用提取到的多尺度特征,以求更精准地检测到肿瘤区域。采用迁移学习使得底层网络共享来自PET图像中肿瘤的特征,缓解训练样本不足的问题,减轻网络过拟合,实现对胰腺肿瘤的精确分割。最后通过对比实验,验证了各模块的必要性及有效性,我们的方法在视觉效果和指标上都表现优异。