基于Transformer的息肉图像分割技术研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:punk123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
结直肠癌是常见的恶性肿瘤,严重威胁人们的生命健康,而结直肠中的息肉被看作是结直肠癌的前兆,通过结肠镜检查可以有效的诊断出息肉或结直肠癌,但是人工的方式有一定的漏诊率。计算机技术的快速发展,使得开发出计算机辅助诊断(Computer Aided Diagnosis,CAD)工具成为可能,快速准确的息肉分割方法对诊断结直肠癌有着重要的意义。由于息肉本身的形状、颜色、大小变化很大,息肉分割一直是一项具有挑战性的任务。为了提高息肉分割的准确性,本文通过结合Transformer提出了两种息肉分割方法。本文的主要工作如下:(1)针对卷积神经网络全局建模能力有限、下采样操作会造成局部细节的丢失而导致小息肉和息肉边界分割不准确的问题,本文提出了一种基于Transformer编码器特征增强的息肉分割网络。该方法借助Transformer极强的全局建模能力和块合拼(Patch Merging)时也不会丢失局部细节的优势,在卷积神经网络中引入了Transformer全局特征增强分支,以形成和骨干卷积神经网络的优势互补。特别的,为了更好的捕获特征的多尺度信息、探寻上下文关系,本文又提出了多尺度Transformer上下文提取模块,具体的操作是在特征图上设置不同大小窗口,在每个窗口范围内做Transformer操作。我们在5个公开的息肉数据上对提出的网络模型进行训练和测试,验证了提出的网络模型具有很好的学习能力和泛化能力,额外的消融实验验证了提出模块的有效性。(2)针对现有的息肉分割方法不能很好的分割出息肉边界和对于一些息肉产生误分割的问题,提出了基于局部注意力特征细化的息肉分割网络。首先,我们使用了Transformer作为网络的编码器,这样可以提取出更加强大和鲁棒的特征。进一步,为了更好的融合不同层级的特征,本文设计了新的解码器结构,同时为了更好的细化特征,关注重要的特征同时对无用的特征进行抑制,借助分区和分组的思想,提出了局部通道注意力和局部空间注意力模块。通过在现有的公开息肉数据上训练和测试,本文提出的基于局部注意力特征细化的息肉分割网络比第三章的工作有更好泛化能力,可以取得较现有方法更好的分割结果。
其他文献
社交网络可以让现实中的人们在网络上产生联系,它为用户提供跨越空间的互动平台,满足用户的社交需求。用户是社交网络的活动主体,用户之间通过建立好友关系构成社交关系。在社交网络平台上,每天有大量用户生成大量的文本内容,用户通过生成文本表达自己的想法和意见,这些文本代表人们的情感表达。对社交网络中用户和文本进行分析和研究,有助于政府或企业了解人们的情感,帮助政府或企业发现社会群众情感变化,以及更好地思考和
学位
行人重识别是在跨相机、跨时段拍摄的视频序列中匹配目标行人的智能视频处理技术。可见光模态下的单模态行人重识别极度依赖良好的光照条件,限制了其在复杂场景中的应用,而红外相机的普及克服了这一局限性。因此,可见光-红外的跨模态行人重识别技术逐渐成为一个热门的研究方向。但其不仅面临着单模态重识别任务中的模内变化,还面临着模间异质性。为了解决这些问题,本文给出了基于动态交互和属性嵌入的跨模态行人重识别研究方法
学位
针对土地利用(LU)数据因空间尺度或产品来源的不同从而对生态系统服务价值(ESVs)估算产生影响的问题,该文采用当量因子法、升尺度算法与波动性指数等方法,研究了长三角地区ESVs对LU数据的空间尺度效应。结果表明:(1)随着尺度的增加,LU的空间细节逐渐不明显,相同土地利用类型呈现出聚合的现象,但总体的土地利用类型空间分布相似。(2)不同尺度的LU数据估算出的各种生态系统服务功能价值与ESVs各不
期刊
汽车保有量逐年上涨,驾驶安全问题也越发严峻,降低交通事故发生率能够挽回大量的生命财产损失。在影响交通安全的因素中,驾驶员所占比例远高于车辆本身和外部环境。现今,计算机视觉技术的发展势头正盛,在目标检测、动作识别、图像处理等方面都取得了一定的成果。利用计算机视觉技术来辅助驾驶是一项极具现实意义和应用价值的研究方向。我们希望通过固定在汽车内的摄像头对行驶过程中驾驶员的动作进行监控,结合准确高效的算法进
学位
随着遥感设备和计算机技术的快速发展,高分辨率遥感数据的获取日益便捷,遥感技术已广泛应用在土地利用检测与规划、气候监测、城市规划、自然灾害避免、智慧农业和军事安全等领域。在这些领域中,需要依靠计算机视觉技术来分析理解高分辨率遥感数据,提高对数据的理解能力。语义分割作为基本的计算机视觉任务,是其他技术研究的基础,是遥感图像场景解析的重要研究部分。近年来,基于深度学习的卷积神经网络在图像处理领域发展迅速
学位
随着硬件计算能力的提升,实例分割领域中的瓶颈问题不再是大量的模型计算,而是昂贵的数据集标注成本。为了缓解实例分割模型在落地应用过程中标注成本高昂的困境,本文以低成本和快速的弱标注方式实现一种弱监督实例分割算法。在标注方面上,本文利用了在实例分割任务中自带的边界框和成本低廉的目标点两种弱标注,使标注信息在低成本下尽可能还原目标。在研究方法上,为了在实例分割模型中排除检测分支对掩码分支的影响,本文首先
学位
太浦河是跨两省一市的长三角生态绿色一体化示范区的空间骨架。目前发布的示范区国土空间规划草案已提出区域协同发展的目标,但从流域尺度的空间规划落实到场地尺度的规划设计尚缺乏中间层次的规划支撑,导致实际问题与解决策略之间的错位。浙大-西浦-同济联合Studio模拟了长三角生态绿色一体化语境下跨行政主体协作的跨学科、多尺度流域规划设计,回溯各个尺度,归纳原型设计策略作为系统性的规划设计导则,探讨在流域尺度
期刊
作为一种新兴的机器学习范式,联邦学习允许参与者在不暴露私有数据的同时协作建模,打破了“数据孤岛”的困境。然而,经典的联邦学习算法存在诸如通信开销高、无法实现个性化的协同训练等问题,使其难以大规模部署。针对上述问题,基于知识蒸馏技术的联邦蒸馏学习应运而生。通过聚合客户端模型预测而非模型参数,联邦蒸馏学习优化了联邦学习的通信效率,实现了个性化的协同训练。然而,联邦蒸馏学习可能受到来自恶意的中心服务器或
学位
图表示学习旨在学习节点低维特征表示,以应用于诸如节点分类、链路预测以及社区发现等节点级分析任务中,吸引了越来越多研究学者的关注。然而,现实世界中的复杂图数据通常表现出一种明显的层级结构,这一特性有助于提高图分析的质量。图层次表示学习的核心思想是以分层的方式聚合节点特征信息,并用低维稠密的特征向量表示图数据,从而可以使其更好应用于图分类等图级分析任务。面对规模愈加庞大的图数据,图简化技术可以在保持基
学位
随着网络时代的高速发展,真实世界中产生大量具有复杂关系且隐含重要信息的网络数据。挖掘网络数据中丰富的信息,对于网络分析具有重大意义。网络表示学习是一种在保持网络基本性质的基础上,通过映射函数将网络节点以一种低维稠密的向量形式表示的网络分析方法,这种向量表示结果可以应用于节点分类、推荐等网络分析任务,具有重要的研究价值。近年来网络表示学习取得巨大成就,在学术及工业界获得极大关注。现有方法大多可以将网
学位