基于深度特征学习的软组织运动三维跟踪

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:JK0803_zhoukaijun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代医学经常借助于内窥镜对人体进行检查、治疗以及康复监测。但由于内窥镜视野较为狭窄且人体因为呼吸、运动等会导致器官发生形变,外科医生在手术中难以对软组织表面进行全面准确的复原与跟踪,同时对内窥镜图像序列软组织表面特征的跟踪,在手术培训和教学、虚拟现实软组织3D建模等领域也有重要应用。本文对基于深度特征学习的软组织三维运动跟踪方法进行了研究,主要包括帧间三角匹配、深度特征提取与匹配以及帧内跟踪三个部分,具体内容如下:(1)提出了一种基于三角匹配的软组织表面特征跟踪的方法。本方法从特征开始展开叙述,特征是软组织表面的灰度集合区域——斑点,其中包括新提出的三角搜索划分方法,并创新性地运用重心坐标理论快速且准确地得到帧间斑点匹配数据,达成了无标记少样本的软组织表面特征跟踪的目的。(2)提出了基于深度匹配网络的软组织表面特征跟踪的方法。本方法在三角匹配算法的基础上展开叙述,首先由上述三角匹配算法所得到的前N帧帧间斑点匹配数据构建训练深度匹配网络所需的自制样本集。深度匹配网络在OCL人脸数据集上进行预训练,再在自制训练集上进行训练,训练完成后在后续帧中进行斑点匹配,获得后续帧与首帧之间的斑点匹配矩阵,由此矩阵可以得到帧间特征匹配结果,即完成帧间斑点跟踪。并在此基础上,将该方法的结果与基于卷积神经网络的匹配结果进行对比,实验结果表明,本文提出的方法具有更高的匹配准确率。(3)最后利用三角匹配算法,对帧内左右视图进行斑点匹配,在匹配结果上使用双目内窥镜下几何关系与参数来恢复出斑点的三维空间坐标,计算同一斑点在不同帧的坐标,实现软组织表面的三维运动跟踪。在内窥镜视频序列上进行实验,实验结果表明,斑点跟踪结果符合软组织表面的运动情况。
其他文献
碳纤维增强复合材料(Carbon Fiber Reinforced Polymer,CFRP)是一类具有高韧性、高强度、耐高温、抗腐蚀等出色性能的新兴材料,被广泛应用于航空航天、电力电子等领域。由于复合材料的制造过程复杂以及在使用过程中易受到摩擦或冲击等外力影响,材料会产生不同程度的缺陷问题。光激励红外热成像(Optical Infrared Thermography,OT)无损检测技术具有可检面
手术导航利用丰富的医学影像信息来实现手术中对患者解剖结构的快速精准定位,降低手术风险,已然成为当今医学手术领域的热门技术。但受手术室空间和成像条件限制,术中很难进行实时3D成像,因此为实现术中3D导航需要将术前3D图像(如CT)与术中2D图像(如X光)进行配准,即2D/3D配准。2D/3D配准的实质就是把术前3D浮动图像降维后的图像与术中2D参考图像使用优化算法来实现两张图像的对齐,使两者的相似程
近年来人物知识库和用户画像在智能搜索、智能问答、推荐系统等场景得到了广泛的应用,而人物属性信息是构建人物知识库和用户画像的核心内容。随着互联网的普及及其规模的增加,其承载的信息量的呈现爆炸式增长,使得从互联网中遴选获取人物属性数据变得越发困难。如何高效准确地在网络中获取人物特征和属性,成为信息挖掘领域的一个热点研究内容。结构化人物数据具有形式统一、内容可靠的特点,使得其成为最优质的数据源。由于网页
主动顺应新时代要求,依法认真履行经理国库职责,以构建现代化新型国库为抓手,结合实际勇于创新,国库事业顺利实现"六个转变"《中华人民共和国国家金库条例》(以下简称《条例》)确立了人民银行经理国库体制。《条例》颁布实施35年来,江苏省人民银行系统主动顺应新时代要求,依法认真履行经理国库职责,以构建现代化新型国库为抓手,结合实际勇于创新,国库事业顺利实现"六个转变",探索出了一条具有江苏特色的国库
期刊
传统牙科医生通过测量和操作牙模来进行诊疗,该法成本高、耗时长、精度不高。现代三维牙齿的数字模型为牙科提供了重要的临床治疗信息。牙科医生可通过数字化模型将医疗器械或者种植体植入口腔进行诊断以及手术虚拟规划,进而实现数字化、高效、准确的牙科治疗。传统的医护人员手工进行牙齿种植已经难以满足现在口腔种植行业需要的精度,随着数字化技术发展,使用手术规划和导航系统辅助医师进行便捷、精准的进行种植牙手术已经成为
目的 探讨血锰浓度与成年人心血管疾病患病率及独立不良心血管事件发生率的关联。方法 整合美国国家健康和营养调查(national health and nutrition examination survey,NHANES)2011―2018年数据,根据入排标准纳入4 005名20至60岁成年人。通过构建广义线性模型及限制性三次样条曲线来分析血锰浓度和心血管疾病患病率之间的关联。通过多因素logis
新时代背景下物联网和5G通信技术正处于急速发展的状态,位于网络边缘的终端设备数量规模越来越庞大,海量数据的计算和处理给传统的云计算带来了极大的压力。边缘计算是在离终端设备距离更近的地方来提供相应的服务,使得云计算面临的数据传输延时和带宽等压力得到缓解。但是,边缘计算中的网络设备也面临着各个方面的安全挑战。云计算模式下的常规防护机制,难以有效保护计算和存储资源都较为有限的终端设备,而且终端设备数量规
现代电子信息产业的逐渐发展,电子测量的规模不断扩大,测试流程日趋复杂,对高性能的电子测量仪器程控需求与日剧增。Vala是一种新兴的编程语言,它效率高,性能好、运行速度快,与底层硬件系统兼容性好的同时还具有高级语言抽象和便捷的语法特性,是嵌入式、电子测量开发的优秀编程语言。对于现代测量而言,模块化、网络化、远程化已经成为现代电子测量的重要需求和发展趋势。而近年来,面向服务的系统架构和微服务架构在很多
随着社会飞速地发展,人们的娱乐方式逐渐趋于多元化,三维人体重建技术在日常生活中已经获得了广泛的应用。在影视动画、电子游戏、虚拟试衣等领域,三维人体重建技术已经展现出其重要的应用价值。为了使用更加易于操作的方式实现三维人体重建,人们对利用单张二维图像重建三维人体模型的需求愈发强烈。当下比较主流的基于二维图像重建三维人体模型的方式为利用参数化标准三维人体模板。首先从包含目标人体的二维图像中获取目标人体
随着互联网的发展,人脸识别技术开始被广泛的应用。而传统的在PC上的人脸识别虽然精度较高,但存在难以部署,不具有通用性等问题。基于此背景,本文设计一种通用型人脸识别系统,将对于人脸的检测识别等相关计算,以及对人脸用户,人脸图片以及人脸特征等存储,都集中于基于ARM架构的Hi3559AV100芯片上。整个系统便于二次开发,且对大多数场景,视频,图片等都可以实时地进行人脸检测识别。系统设计了六个模块:接