基于StyleGAN的心脏表面三维重建方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lijichen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器人辅助微创手术中,对腔内动态软组织场景进行3D重建可以提高手术机器人的环境感知能力,改善手术机器人系统的操控性。而当下,由于人体腔内有大量不确定的血雾、伪影、镜面反射等复杂环境因素的影响,精确稳定的对腔内软组织场景进行三维重建仍然面临诸多挑战,为此,本论文研究了基于生成网络的动态软组织三维重建技术,主要内容如下:(1)针对传统方法数据集依赖性强,鲁棒性差等问题。本文提出了一种基于生成对抗网络的立体内窥镜图像视差估计方法。首先,基于薄板样条插值模型对软组织历史图像帧进行视差估计,获得各帧视差图;然后,利用获得视差图对简化的StyleGAN网络进行生成对抗训练,使其生成器在输入随机的低维向量后总能生成“合理”的视差图,符合历史图像帧视差图的分布;最后,将训练好的生成器作为非线性的视差插值模型,以左右图像光度一致性损失为代价函数,在生成器的低维输入空间中搜索最优的输入向量,从而得到“合理”且能最佳匹配左右图像的视差图。实验部分,本文基于“达芬奇”手术机器人录制的立体内窥镜视频对所提出的视差估计方法进行了验证,与经典的视差估计方法进行了比较。实验结果表明,本文提出的视差估计方法在软组织三维重建任务中具有更高的精度和更好的鲁棒性。(2)针对(1)中所提方案的速度问题,本文设计并训练了逆StyleGAN生成网络的编码器神经网络,提出了一种基于编码器改进的StyleGAN立体内窥镜图像视差估计方法。该方法首先基于训练好的StyleGAN模型生成左右视图、随机视差对应潜在向量和目标视差对应潜在向量,得到训练数据集,然后基于编码器网络设计了一种StyleGAN潜在空间嵌入网络,通过编码器网络学习当前视差图和左右视图的差异,并将之映射为潜在向量的改变量。最后,将训练好的编码器网络作为优化器的一部分加入StyleGAN模型三维重建的最优潜在向量搜索环节,得到“合理”的匹配左右图像的视差图。实验结果表明,使用该方法不但显著提升了StyleGAN模型最优潜在向量的搜索速度,同时,在精度和鲁棒性测试上都有了相对StyleGAN模型更好的表现。
其他文献
利用遥感影像进行地表变化信息提取是当今遥感领域的热点研究问题,应用非常广泛。随着遥感技术的飞速发展,传统的变化信息提取方法已不能满足人们对快速、准确地获得变化信息的需求。因此如何高效提取海量遥感影像中的变化信息是目前遥感领域面临的主要挑战。本文将遥感影像中的典型地物划为道路、建筑、植被、水、背景,地物变化信息存在变化类型繁多、样本量少、分布不平衡的问题;另外,受遥感影像的成像条件及不同类别地物特征
学位
老年人的身体机能随着年龄的增长逐渐衰退,运动功能降低导致了其日常活动和生活质量下降。外骨骼机器人是保障老人行走安全和效率以提高其独立生活能力的主要措施之一。然而当前已有老人辅助行走外骨骼多聚焦于减少用户代谢,并没有考虑用户保持其残存运动能力主动参与运动。因此,本文提出一种提高老人穿戴者参与度的下肢外骨骼按需辅助控制策略,其通过解决当前外骨骼按需辅助控制策略中的两大问题,从而实现基于穿戴者运动能力的
学位
探索增值评价是我国新时代深化教育评价改革的全新要求。本文以CNKI数据库中的核心期刊以及CSSCI期刊作为主要研究样本,结果显示我国增值性评价研究呈现出四个特征:尊重个体差异性、重视发展过程、强调个体发展、重视学生起点,这也是当前我国增值性评价研究的主要视角。进一步分析发现,我国增值性评价研究存在着研究主体之间合作较少、理论研究缺乏系统性、研究视角相对单一等问题,为此本文提出应深化研究主体之间的交
期刊
期刊
为了应对自动驾驶领域越来越复杂的系统和工况,特别是非故障条件下系统功能不及预期导致危害事件的发生,预期功能安全(Safety of the Intended Functionality,SOTIF)应运而生。自动驾驶中常用的基于深度学习的端到端决策算法由于其网络模型缺乏可解释性和存在不确定性,导致预期功能安全问题凸显。本文提出改进算法用于增强端到端决策算法的可解释性以及不确定性的估计,从而改善算法
学位
用于人类物理效能增强的助力外骨骼在军事、医疗和工业等领域有着广泛应用前景。然而当前助力外骨骼控制策略严重依赖穿戴者身体尺寸和运动状态,无法满足运动过程中人机系统自适应性,阻碍其应用推广和人机协同效率提升。因此本文提出一种通用的外骨骼力矩规划控制策略,以解决针对环境客观因素或人体主观因素引起人体运动状态改变的外骨骼助力自适应问题。通过构建基于核化运动基元(KMP)的力矩规划方法,并根据人体运动状态直
学位
目的 探讨七氟烷与丙泊酚对老年乳腺癌手术后患者认知功能及负性情绪的影响。方法 本研究对象为2019年4月~2022年4月我院100例老年乳腺癌患者,均采用乳腺癌根治手术,随机分为两组,即七氟烷组与丙泊酚组,术中麻醉维持分别采用持续吸入七氟烷以及靶控输注丙泊酚。比较两组患者术前、术后简明精神状态量表(MMSE)、焦虑自评量表(SAS)、抑郁自评量表(SDS),记录术后躁动、认知功能障碍等并发症发生率
期刊
为分析小微园区多能互补能源网络的即时状态分布,促进园区可再生能源消纳以及清洁能源消耗比重提升,推动能源利用转型与双碳目标落地,本文探析了多能互补能源利用形式及体系架构,分析了数字孪生技术的构成要素及模型框架,搭建了多能互补能源体系数字孪生框架模型,提出了基于ANSYS Twin Builder及Microsoft Azure IoT的多能互补微型能源网络数字孪生实现方法,通过对滨海辖区OZ小微园区
期刊
截瘫助行外骨骼机器人的系统控制研究目前主要针对平地、斜坡、楼梯等特定的康复训练场景。在此情景下,截瘫助行外骨骼的步态规划方法研究也主要面向已知地形参数的场景环境,针对此类场景的步态规划方法研究也已经较为成熟。但对于变参数地形场景与复杂混合地形场景中截瘫助行外骨骼的步态规划问题,目前尚未有较好的解决方法。本文旨在提出一种适用于多地形环境的截瘫助行外骨骼步态规划方法,赋予截瘫助行外骨骼人机-环境适应能
学位
自双边遥操作系统被提出以来,由于其能够克服空间距离的阻碍,已经被应用于很多领域,例如医疗、工业、太空探险、深海作业等。但是,由于双边遥操作系统中存在的时延,导致了系统的不稳定性,并且影响其跟踪效果,因此,多年来,研究者们对于双边遥操作系统的研究从未停止,目前已经发展出许多方法,用来提高系统的稳定性和透明度。本文基于双边遥操作系统在医疗方面的应用,对双边遥操作系统的稳定性和透明度的提升进行了研究。本
学位