论文部分内容阅读
造影剂磁共振成像对于肝肿瘤患者的诊断至关重要,特别是对于肝血管瘤和肝细胞癌的检测。然而,由于造影剂增强磁共振图像需要注射钆造影剂,在临床诊断中遭受高风险,耗时且昂贵的缺点。因此,如果能够在不注射造影剂(contrast agents,CA)的情况合成造影剂增强磁共振图像,那么毫无疑问将大大优化诊断。在本文中,我们提出了一种基于多视图感知和放射学指导生成对抗网络用于肝血管瘤和肝细胞癌增强,并提出了一种三方对抗的生成对抗网络用于合成造影剂增强磁共振图像进而促进肝脏肿瘤的检测。在基于多视图感知和放射学指导生成对抗网络用于肝血管瘤和肝细胞癌增强研究中,我们的主要研究内容和创新如下:i.多视图和放射学指导的生成对抗网络(multi-view and radiomics-guided generative adversarial network,Mv Rg-GAN)首次通过整合多模态无造影剂MRI(non-contrast MRI,NC-MRI)信息成功地合成了肝脏造影剂增强MRI(Contrast-enhanced MRI,CE-MRI),而无需钆造影剂注射。它提供了一种安全,省时且零费用的工具,可增强肝血管瘤和肝细胞癌的特异性以促进临床诊断。ii.多视图和注意力感知的生成器通过使用融合阀利用T1FS造影前MRI和DWI上的的多模态信息进行完全自适应性融合,从而增强了肝血管瘤和肝细胞癌的特异性。残差全局注意力机制(Residual global attention module,Res-GAM)使Mv Rg-GAN具有上下文感知能力,以增强特征表示和空间连续性。此外,Res-GAM的残差连接还改善了训练损失的收敛性,使Mv Rg-GAN易于训练。iii.通过添加放射学特征作为先验知识,一种新颖的放射学指导的鉴别器可提高其区分真实CE-MRI和合成CE-MRI的能力,并通过对抗策略促进生成器合成准确的肝脏CE-MRI。iv.基于Sobel的边缘检测器被集成到MvRg-GAN中以获得边缘信息,该边缘信息用于增强CE-MRI的边界合成的连续性。在三方对抗的生成对抗网络用于合成造影剂增强磁共振图像进而促进肝脏肿瘤的检测中,我们的主要研究内容和创新如下:i.首次实现了不使用CA注射的造影剂增强MRI的合成以进行肝肿瘤检测,这为不使用CA注射来合成造影剂增强MRI提供了一种安全,省时且零费用的临床工具。ii.Tripartite-GAN首次通过反向传播成功地将传统的只有两个对抗网络的GAN与检测器结合在一起,从而实现了造影剂增强MRI的合成与肿瘤检测在端到端框架中相互促进。iii.新设计的注意力感知生成器,在混合卷积、残差学习和双重注意力机制的帮助下能够合成高质量的造影剂增强MRI。具体来说,混合卷积有效地扩大了感受野,残差学习有利于损失函数的收敛以促进生成器的训练,而双重注意力机制则增强了肿瘤特异性的特征表示学习和多解剖结构的肝脏MRI的上下文学习。iv.以残差连接的方式,新添加到检测器中的注意力特征图改善了基于VGG-16的卷积运算,以更好地提取肿瘤信息,从而提高了肿瘤检测的性能。实验结果证明了我们提出的方法能够为临床提供一种省时、无创且零费用的技术来辅助临床上肝血管瘤和肝细胞癌的诊断。其次,我们提出了一个y型统一网络(y-Net),这是第一个仅使用多模态NCMRI实现HCC的同时分割和检测的方法。y-Net主要经历三个创新部分:1)y-Net支持在端到端框架中同时进行HCC分割和检测;2)新设计的信息阀门通过完全自适应地集成和选择多模态无造影剂MRI之间的补充信息,使框架具有多视图感知能力;3)创新的与任务相关通道通过部署互补功能和反向传播,在HCC细分和检测之间实现了相互促进。该工作的主要内容如下:1.y-Net首次提供了一个节省时间,安全且便宜的工具,该工具仅通过使用多模态无造影剂MRI图像即可实现肝癌的同时分割和检测。2.信息阀门提供了一种新颖的解决方案,可以在多模态图像之间集成和选择互补信息,以实现多任务。3.任务相关通道通过部署互补特征和反向传播实现多任务之间的相互促进。