特征融合驱动的点云语义分割方法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:s1u2n3cn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维点云通过目标表面的三维点集对空间分布与表面特性进行建模,它包含完整三维坐标,具有形式简单、精度高、规模大的特点。通过智能化技术对三维点云数据进行挖掘理解,能够捕捉人、物、场景的细微变化,实现对物理环境的感知和理解。近年来,随着三维传感器技术的进步和三维应用场景的拓展,三维点云语义分割得到了广泛关注,并且在自动驾驶、机器人、智慧城市、虚拟现实、遥感观测等诸多领域发挥重要作用。特别是深度学习技术的出现,使得三维点云语义分割取得了长足的进步。然而,现有的三维点云语义分割深度学习方法还存在两方面问题:(1)三维点云具有稀疏、无序、不规则、非结构化的特性,如何进行有效特征提取和语义表征;(2)三维点云能够转换成多种数据形式,如何针对不同数据形式设计对应的深度网络,如何利用多种数据形式的优势提升点云分割的性能。针对以上问题,本文以深度网络中的特征融合方式为研究线索,主要研究内容如下:(1)针对基于点的点云语义分割方法中,编解码器特征融合过程存在语义差异的问题,提出了带有局部聚合分类器的反向注意力点云语义分割网络。通过反向注意力融合机制将高层的编码器特征转换为注意力图,然后对底层编码器特征进行调制,从而提升底层特征的语义层次,弥合编解码特征之间的语义差异。此外针对基于多层感知机的逐点分类器缺少上下文信息的问题,在多层感知机中嵌入局部聚合图进行上下文交互,提升分割结果的局部一致性。实验结果表明该方法能够增强最终特征的语义区分度,提升分割结果的局部一致性,减少分割噪点。(2)针对基于点的点云语义分割方法中,点云密度和语义粒度组合方式有限的问题,提出了瀑布式特征融合的点云语义分割方法。该方法通过级联的多层网络得到不同密度的点云特征,并且通过子网络间的特征交叉融合获得丰富的点云密度与语义粒度组合方式。其中级联的多层子网络分别处理不同密度的输入点云,子网络间横向通过可学习的点云上采样方法提升点云密度、传递语义特征,子网络间纵向融合中间特征,得到密度相同、语义粒度不同的组合特征。实验结果表明,该方法能够提升点云密度和语义粒度组合方式的多样性,普遍提高简单物体和复杂目标的分割效果。(3)针对基于图像的点云语义分割中,投影过程造成的几何畸变问题,提出了几何信息注入的投影点云语义分割方法。该方法将点云的几何先验融入网络结构设计,从而提升分割过程的几何保真度。针对截断问题,利用循环卷积对被投影至图像两侧的近邻三维点进行特征聚合。针对错位和空像素问题,引入了双重几何约束,通过局部空间注意力对错位像素与空像素进行调制,减小其对卷积过程的影响,并且通过局部亲和正则化为中间特征提供中级监督,促进卷积邻域内的特征提取。实验结果表明,该方法能够缓解投影过程造成的几何畸变问题,从而提升点云语义分割的效果。(4)针对基于混合模态的点云语义分割方法中,多模态数据融合过程缺少语义关系和自适应性的问题,提出了点-图像-体素融合的点云语义分割Transformer。该方法通过Target-Attention和注意力融合实现三个模态数据的特征交互与融合。其中,TargetAttention度量点云-图像和点云-体素之间的语义关系,根据语义关系自适应地融合特征。注意力融合则根据几何信息和语义特征生成注意力系数,融合图像-点云和体素-点云特征。此外,多模态结果融合对各个分支的预测结果进行自适应融合,增加多模态数据交互路径。实验结果表明,该方法能够有效融合点云、图像和体素数据,取得更好的点云语义分割效果。
其他文献
目的:探讨超声引导下甲状腺良性结节微波消融的应用效果。方法:回顾性分析华中科技大学协和深圳医院2018年1月—2019年12月收治的80例采取超声引导下甲状腺良性结节微波消融术治疗的甲状腺良性结节患者的临床资料及术后不同时期(术后1、3、6、12、18个月)的复查资料(甲状腺结节体积、甲状腺功能、临床症状消除时间及并发症),以此评估超声引导下甲状腺良性结节微波消融术对甲状腺良性结节患者的临床效果。
期刊
甲状腺占位性病变的发病率在全球范围内普遍升高,其中以良性结节的增长幅度为甚,其治疗方式成为近期热议的话题。微创消融技术在甲状腺良性结节的治疗中具有一定的临床优势,根据结节及患者的情况选择合理的治疗方式不仅能够提高疾病的治愈率及患者的生活质量,还能有效地避免过度诊疗,并能帮助专科医生更好地制订诊疗策略。
期刊
点云作为一种常见的三维处理数据,相较于二维图像包含更多的几何结构信息,在众多领域中都有着广泛的应用。而面向点云的语义分割技术已成为自动驾驶、场景重建以及虚拟现实等多个领域的研究热点。现有的基于深度学习的点云场景语义分割方法,比较关注点间局部几何特征的提取,忽略了特征间的语义关系以及空间分布信息,同时无法对获取的特征进行有效的融合,造成语义分割结果不准确。针对上述问题,本文设计了两种基于深度学习的点
学位
目的 观察微波消融术和甲状腺腺叶切除术治疗老年甲状腺良性结节对患者疼痛、住院时间及随访复发率的影响,并比较2种术式的疗效。方法 回顾性分析2019年11月—2021年9月在复旦大学附属上海市第五人民医院行手术治疗的老年甲状腺良性结节患者70例,根据手术方式的不同将患者分为微波消融术组(n=42)和甲状腺腺叶切除术组(n=28)。甲状腺腺叶切除术组患者予以甲状腺腺叶切除术治疗,微波消融术组患者予以微
期刊
《义务教育数学课程标准(2022年版)》提出“教—学—评”一致性,不仅明确了“为什么教”“教什么”“教到什么程度”,而且强化了“怎么教”的具体指导。文章以人教版教材三年级上册“长方形和正方形”单元为例,通过制订单元作业框架、设计单元核心作业和改进教学活动建议等过程打造单元作业,使其更贴近学生的认知水平。
期刊
黄金和铜的需求日益增大,加速了全球金铜精矿资源的开发和利用,而优质金铜精矿越来越少,复杂金铜精矿资源倍受关注,其中高砷金铜精矿已成为许多国家黄金和铜生产的重要资源。高砷金铜精矿火法冶金处理技术主要有富氧底吹熔炼和富氧侧吹熔炼等,砷在冶炼过程不仅影响冶炼产品的质量,还会造成一系列的工艺问题(如:收尘、制酸、电解)和环保问题(如:烟尘处理、废渣堆放)。因此,高砷金铜精矿清洁冶炼控砷所采用工艺及装备的研
学位
目的 观察异甘草酸镁用药原发性肝癌介入治疗患者对其肝功能的保护作用。方法 选取2019年6月—2020年5月福建医科大学孟超肝胆医院收治的原发性肝癌患者76例为研究对象,根据患者排序单双号随机分为研究组和对照组,每组38例。导管肝动脉化疗栓塞术治疗后,对照组接受常规护肝药物治疗,研究组则接受异甘草酸镁予以护肝治疗,2组均连续治疗10 d。比较2组患者治疗前后肝功能指标[天冬氨酸氨基转移酶(AST)
期刊
<正>2022年版课标确立了以核心素养为导向的数学课程目标,这是课程育人价值的集中体现。核心素养在不同阶段有不同的表现,在小学阶段更注重培养学生在学习和生活中对经验的感悟。2022年版课标在小学阶段新增了量感作为核心素养的主要表现之一。为何要新增量感?量感的具体内涵是什么?如何培养学生的量感?以上都是值得进一步探讨的问题。
期刊
目的:探讨超声引导下经皮微波消融治疗良性甲状腺结节的效果。方法:回顾性分析2018年4月-2020年6月在北京市顺义区妇幼保健院耳鼻咽喉头颈外科因良性甲状腺结节行手术治疗的51例患者的临床资料,分为消融组26例(行超声引导下经皮微波消融术)和常规组25例(行常规甲状腺结节切除术),比较两组手术效果、麻醉反应和临床指标。结果:消融组甲状腺结节体积逐渐缩小,有效率达86.11%,低于常规组的100%;
期刊
<正>甲状腺疾病是内分泌领域的重要疾病,威胁人类健康,可影响人体多个器官、系统的功能,特别是对心血管系统功能的影响尤为重要。近年来,甲状腺疾病的发病率逐年升高,流行病学和临床表现均有其特殊性,而外科治疗某些甲状腺疾病有特殊的疗效,当然也有一定风险,并可能影响美观。因此,外科医师应当系统、完整、客观地认识和掌握甲状腺有关正常和异常的解剖、生理功能及临床表现,应当熟练掌握甲状腺疾病诊断和治疗的技术和技
期刊