论文部分内容阅读
医学图像分析是综合医学影像、数学建模、人工智能等多技术的交叉研究领域,具有数字图像处理、特征分析、评估决策等关键过程,尤其是特征分析结果的优劣影响了分析方法的性能。传统的医学图像分析方法多依赖手工特征工程技术,需要专家针对特定医学任务,结合其先验知识,花费大量时间和精力手工设计特征,这种人工针对特定场景显式设计的特征往往通用性欠佳,而且其特征表示的充分性和精细性也在一定程度上受限。当前医学图像分析中的特征处理方法的主流研究方向开始从特征设计转向特征学习。由于以深度神经网络为代表的深度学习方法具备直接从医学图像中隐式的自动进行特征学习的优点,因此逐渐在多种医学图像分析任务中被应用,并取得了一定的成绩。本文针对医学图像复杂性且缺少简单线性特征的特点、医学图像标注数据获取困难和稀缺的特点、医学图像包含信息丰富但特征提取与学习困难的特点,运用以数据驱动方式为基础的深度神经网络方法,在医学图像的多元特征提取、少样本特征表达、多层级特征融合三个方面开展研究,提出多种基于深度学习的模型框架与对应的解决策略,所提出的方法在公开数据集与临床数据集上得到验证并在医学图像分析的典型应用中进行实践,均取得优异的性能与表现。本文的主要研究内容如下:(1)医学图像多元特征提取方法研究:医学图像包含人体器官组织的信息,其结构形状和分布常呈现出拓扑复杂性的特点,现有的基于深度神经网络的医学图像处理方法往往仅注重图像局部信息或全局信息的单一描述,导致在复杂场景下模型识别能力弱。为了增强特征学习方法准确、丰富的特征提取能力,本文提出了基于多尺度卷积神经网络与图卷积神经网络的复合网络框架用于医学图像多元特征的提取;在此基础上,设计了用于肌肉骨骼X射线图像异常检测的疾病辨识模型,并在公开的大规模肌肉骨骼X射线图像数据集(Musculoskeletal Radiographs,MURA)上进行了评估验证:所提出的模型的准确率为91.22%,F1分数和Kappa分数分别为0.909和0.836。结果表明所提出多元特征提取方法可以从复杂性较高的医学图像中获取更准确、精细和全面的特征,提高模型在疾病辨识上的综合性能。(2)少样本条件下的医学图像特征表达方法研究:实际的医学场景中,有良好标注的大规模医学图像数据通常较为稀缺,其数据具有“少样本”的特点,但目前用于医学图像处理与分析的深度学习网络模型多为监督学习方法模型,其训练过程往往过于依赖大规模、高质量的标注数据。针对实际医学场景中医学图像标注数据获取困难、稀缺的问题,为了提高运用深度学习网络框架在少样本条件下的特征表达能力,增强分析模型的综合表现,本文提出了一种基于注意力双分支网络结构的半监督学习框架,可依次从无标注数据中学习底层特征表达来完成框架权重预训练,从少量的有标注数据中充分学习高层特征表达来完成对医学图像的特征学习过程。所提出半监督学习方法和模型在两个公开的脑部核磁共振成像数据集(Kaggle Alzheimer Classification Dataset,KACD)和(RecognitionofAlzheimer Dataset,ROAD)上进行了验证:其分类准确率分别为0.9961和0.9871,不仅优于仅从少量有标注数据中进行学习的有监督学习方法,且相较另外两个先进半监督学习方法(ResNeXt WSL,SimCLR)分别高出2.50%和1.88%。结果表明所提出半监督学习方法用于基于深度神经网络的疾病辨识模型在解决“少样本”场景中的“低精度”问题上有良好的潜力。(3)基于多层级特征融合的医学图像分析方法研究:医学图像中包含底层像素、中层对象、以及高层语义等多种层级的信息,但现有的医学图像特征学习方法往往仅在像素或对象层次进行信息挖掘,却较少关注基于多层级特征融合的医学图像分析。为了提高特征学习方法在医学图像中的多层级特征表示能力,充分与客观的反映医学图像中所包含的丰富信息,本文提出了一种多层级、模块化的卷积神经网络框架,通过引入门控制模块,实现自底向上的多层级特征逐级学习,并在深层级网络中完成不同层级间的特征融合,从而加强框架的多层级特征表示能力。所提出方法和模型在用于COVID-19疾病检测的两个公开胸部X射线图像数据集(Covid-ChestXray Dataset,CCD;Rsna-pneumonia-detection-challenge,RSNA)、两个计算机断层扫描图像数据集(Lung Nodule Analysis 2016,LUNA16;Images of COVID-19 positive and negative pneumonia patients,ICNP)和北京佑安医院临床数据(95例病例)上进行了评估,结果表明所提出方法在COVID-19疾病辨识任务中取得了接近专家医生的评估表现:辨识模型的精确性为98.33%,敏感性为95.16%、特异性为99.33%;在此基础上,本文还构建了基于卷积神经网络的回归框架,表征了医学图像视觉特征与临床指标因子之间的映射关系,为医学图像的准确分析提供了基础,并为医学图像分析方法在临床医学应用中提供了因果推断的支撑。(4)计算机辅助诊断应用研究:计算机辅助诊断是医学图像分析方法的典型应用之一,其对模型精度和推理效率有较高要求。本文在前述研究的基础上,面向实际医学场景应用,基于胸部、腹部计算机断层扫描图像,提出多种复合深度学习网络框架,开展了 COVID-19疾病检测与肾脏癌症图像分割及疾病检测的应用研究。本文设计了一种新的数据重采样方法,结合所提出的复合深度神经网络框架,在COV19-CT-DB数据集上的新冠病毒疾病诊断任务中取得了 88.23%的F1分数,相较于基线方法提高了 18个百分点;基于双分支网络框架构建了多层级模块化的网络模型,采用深度卷积网络与深度自注意力变换网络对腹部计算机断层扫描图像同时进行时空特征提取,在(The 2019 Kidney and Kidney Tumor Segmentation Challenge,KiTs19)数据集上的肾脏癌症分级及肿瘤分割任务上取得了 97.56%的分级准确率和92.54%的分割Dice分数,其分级性能比其他两个先进模型(ResNeXt,ViT)分别高出6.25%和9.38%,其分割性能比其他两个先进模型(Hybrid V-Net,Unet3+)分别高出1.36%和1.80%。结果表明,本文所提出方法具有较强的性能表现和较大的应用潜力。本文所提出方法与网络结构可为智能医疗领域的医学图像分析提供理论支持和应用实践。研究结果具有正向的社会价值和潜在的商业价值,有助于推动深度学习方法在医学图像分析和临床实践中的快速发展和应用。