基于深度学习的心脏磁共振图像分割与分析

来源 :东南大学 | 被引量 : 0次 | 上传用户:zxcvbnm123444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策起着重要作用。心脏磁共振(Cardiac Magnetic Resonance,CMR)图像主要用于心功能评估和心血管疾病诊断。CMR图像被认为是进行非侵入性心功能分析、估算临床参数的金标准。从医学图像中描绘重要的器官和结构常是估算临床参数、疾病诊断、预后预测和制定手术计划的主要步骤。在临床诊断中,放射科医生通过手动或半自动绘制包含心脏左心室、右心室和心肌的轮廓线,以获得心功能分析相关的临床参数(如射血分数、每搏输出量等)。但是,手动或半自动分割往往既费时又易引入人工误差,一方面给医生带来巨大工作量,另一方面常会受到医生诊断经验等因素的影响而导致分割结果不一致。近年来心脏相关疾病的发病率有逐步上升的趋势,而手工或半自动分割很难满足巨大的医疗需求。因此,迫切需要一种快速、精确的自动化CMR图像分割算法以提升诊断效率。本文首先基于全卷积神经网络设计了一个适用于心脏多结构(左心室、右心室和心肌)分割的图像分割网络(Cardiac Segmentation Network,CSNet)。CSNet将CMR图像分割任务分为两个阶段,第一阶段设置了一个2D U-Net和一个并行的3D U-Net,分别用于学习二维形状特征和三维结构特征;第二阶段设置了一个以融合特征为输入的2D U-Net,用于获取最终分割结果。其中融合特征通过可学习加权相加操作对第一阶段两种网络的输出特征图进行加权相加来获取,其主要作用是为第二阶段中的2D U-Net引入三维结构信息,弥补2D U-Net无法学习三维结构特征的缺陷,进而提升模型性能。基于ACDC数据集的实验结果表明,与2D U-Net和3D U-Net相比,CSNet取得了最佳的性能表现。CSNet实现了良好的模型性能,同时也引入了较大的参数量和计算量。为了在保证模型性能的同时,尽可能优化参数量和计算量,本文对CSNet进一步加以改进,该改进网络(Cardiac Segmentation and Deep Feature Fusion Network,CS-DFFNet)将三维卷积核嵌入到二维卷积神经网络中,更深度地融合了二维卷积和三维卷积提取的特征,并结合了自主设计的多结构由粗到细推理模块以及基于容积信息的损失函数。三维卷积的引入,可以弥补二维卷积无法学习三维磁共振图像的三维结构特征的缺陷;而多结构由粗到细推理模块同时考虑到了心脏多结构一致性及连续性,为网络引入了更丰富的全局信息和局部信息,增强网络对心脏整体结构的感知;基于容积信息的损失函数以待分割三维图像的容积值作为约束项,加快了网络训练过程,并带来了一定的性能提升。与典型的二维卷积神经网络相比较,CS-DFFNet可以同时兼顾三维心脏磁共振图像的二维形状特征和平面间上下文联系,弥补了二维卷积神经网络无法学习三维结构特征的缺点,并且改善了原始三维卷积神经网络显存占用量大及容易过拟合的问题。实验表明,与CSNet相比较,CS-DFFNet在性能表现方面获得了提升,且参数量和计算量仅为CSNet的1/4。基于ACDC测试集的测试结果表明,本文提出的CSDFFNet对应的左心室、右心室、心肌三个组织结构的分割结果平均Dice系数分别为0.945、0.925、0.91,部分指标超越了ACDC数据集已公开分割精度排名第一的算法。此外,基于CMR图像分割结果的心脏疾病分类算法实现了(五种不同疾病类型图像数据)94%的分类准确率。
其他文献
多模态知识表示学习旨在从多模态数据中学习到关于其中数据、信息或知识的低维稠密向量形式的特征表示,作为近年来人工智能研究的热点问题之一,在多模态语义检索、视觉问答(VQA)、多模态情感分析等智能场景中具有重要应用价值。虽然多模态数据能为许多任务提供比单模态数据更多和更有用的特征信息,但如何从多模态数据获得有效的表示学习结果一直是多模态知识表示学习研究的核心问题。本文首先提出了一种基于门控层级融合的多
知识图谱是人类知识的一种显式表示方式,作为近年来人工智能研究的热点领域之一,已被广泛应用于语义搜索、人机互动、辅助决策等智能应用场景。然而,在各种知识图谱驱动的应用中,往往需要借助知识图谱嵌入技术将知识图谱中的元素表示为低维稠密的向量形式,弥补显示知识表示的不足,以满足大量推理、分析和预测的需要。虽然知识图谱嵌入已有很多研究工作,但仍存在知识表示不准确和语义不够丰富的明显不足:(1)基于翻译思想或
图像描述顾名思义,即给定一张图片,算法自动生成一段描述图像内容的文本。该任务对人来说很容易,但对于机器却非常有挑战性。这需要同时用到计算机视觉技术和自然语言处理技术,来实现从图像内容理解到文本生成的转化过程。图像描述应用潜力巨大、在很多方面都很有应用价值,适用于人机交互、图片索引、智能监控、视频标注、视觉辅助等领域。近年来,Encoder-Decoder框架在基于神经网络的图像描述任务中吸引了越来
单目深度预测是计算机视觉中备受关注的研究课题,在自动驾驶、VR游戏制作、影视制作等领域具有广泛的应用价值。然而,目前该领域仍然存在较多为解决的问题,例如使用雷达激光采集深度数据的过程耗费巨大且受天气、光照等客观因素影响大;基于稀疏深度图恢复的深度信息的方法存在边缘深度不连续的问题。本文利用立体图像对进行训练,旨在提高场景深度预测网络的预测能力,对深度网络结构、双目立体匹配、视差图优化等方法进行了研
继美国、欧盟、日本之后,中国于2016年提出中国脑计划,神经性疾病的早期诊断是中国脑计划的一个重要研究方向。癫痫是由脑神经的异常放电引起的神经性疾病,其发作频率高且严重影响患者生活质量与生命安全。癫痫患者中有30%为耐药性癫痫,其治愈手段是采用外科手术来切除癫痫病灶,决定手术成功与否的关键是如何在术前评估阶段有效地识别癫痫病灶与正常功能区。在众多术前评估手段中,颅内脑电图(i EEG,intrac
可定制交互式视频是指在视频编辑和制作的过程中,可以根据不同的受众定制不同内容的交互式视频。目前,可定制交互式视频凭借其可交互、信息量大等优点拥有很大的市场需求(商品导购等)。然而,在可定制交互式视频的制作过程中,当前还面临两个主要问题:第一,对于视频目标检测,视频中经常出现如目标运动模糊、视频散焦、目标姿态奇异以及遮挡等帧图像恶化现象,传统视频目标检测算法难以在此类视频目标检测任务中达到较高的检测
基因作为遗传的基本单位,控制着生物的基本性状,对于个体识别和血缘鉴定都具有决定性的作用。通过基因预测人体的面部形态在刑侦以及法医领域一直是研究的热点,目前比较流行的DNA分子画像技术主要通过全基因组关联分析(Genome-wide Association Study,GWAS)结合单变量差异分析技术或者基于三维稠密数据点研究基因与面部形态之间的关联性,然后通过机器学习算法建立对应的预测模型,这些方
随着信息技术的发展,数字图像深入到我们生活中的方方面面。深度学习是近年来在人工智能领域引起关注的研究主题。作为深度学习的经典模型,卷积神经网络(CNN)在图像分类,对象检测和自然语言处理方面取得了一系列重要的突破。卷积神经网络模型具有计算复杂度高和参数量大的特点,正是这种复杂的多层网络结构为模型提供了强大的特征表示能力。智能设备的普及增加了将卷积神经网络移植到嵌入式设备的需求,但是其巨大的参数冗余
颅骨面貌复原领域中,面部特征点软组织厚度的获取是一个十分重要的步骤。目前颅骨面部特征点处的软组织厚度的获取主要是通过先进的医疗设备和专业的医护人员进行相应的配合得以实现,但是这种方法存在一个很大的缺陷即对于骸骨则无法进行面部厚度测量。近年来广泛的做法是采用平均值法,但由于未考虑骸骨之间的差异性,使得复原的面貌具有相似性。本论文采用深度学习方法,通过网络中隐含层构成的非线性映射,学习头骨和面貌之间的
数据采集是无线传感器网络领域的重要研究方向,传统基于固定汇聚节点和移动汇聚节点的采集方式均存在明显不足。随着无人机技术的不断成熟,基于无人机的数据采集可以有效弥补传统方式的不足,得到学术界广泛关注。由于无人机携能有限,大部分相关研究主要围绕提高网络吞吐率或延长网络生命周期对无人机能耗进行优化,取得一定进展,但仍面临如下挑战:一方面无人机能耗建模不精准,以距离相关能耗模型为主流,忽略了飞行速度与飞行