论文部分内容阅读
三维点云形状分类和语义分割等三维点云处理技术在计算机视觉领域有着重要的研究价值和广泛的应用前景。基于深度学习的三维点云分类分割网络是当前三维点云处理的热门研究方向之一。由于无序的点云数据具有非结构化、数据量大、存在噪声干扰等特点,使其特征提取较为困难,因而提高三维点云深度网络的性能仍然存在挑战。注意力机制作为一种特征筛选手段,广泛应用于自然语言处理、二维图像处理等领域中,能够极大地提升模型性能,因而设计基于注意力机制的模块成为近年来模型构建时常用的手段。本文在对注意力机制和深度网络深入学习分析的基础上,针对基于注意力和深度网络的三维点云形状分类和语义分割方法进行研究。本文的主要工作内容和创新点如下:1)为提高点云形状分类网络抵抗噪声干扰的鲁棒性,设计了一个可以灵活迁移至不同点云网络架构的独立模块,即竞争性注意力融合模块。该模块通过竞争性融合2种不同的注意力权值,提升点云网络中间特征的表征能力。该模块包含2个独立的子模块,以获取不同的注意力权值:其一,多层级特征挤压激励子模块,源自二维图像处理中的注意力机制,用于关注不同层级中间特征的全局影响力;其二,特征内在关联自注意力子模块,引入自然语言处理中的自注意力机制,旨在度量中间特征的内在相似度。2个子模块从不同的角度诠释各个特征通道的重要性,并通过竞争性融合机制实现网络对特征通道的筛选。最后描述了嵌入竞争性注意力融合模块的点云分类网络的结构。在Model Net40数据集上进行了形状分类实验、鲁棒性实验、对比试验和消融实验,结果显示竞争性注意力融合模块可以嵌入经典网络Point Net++和先进网络Point ASNL,并在取得更高分类精度的同时,显著提升网络面对多种不同噪声时的鲁棒性,与传统抵抗噪声方法相比具有更好的抗噪性能和更小的时间复杂度。2)为提高点云语义分割网络的特征提取能力,设计了一个点云Transformer单元。该单元基于机器翻译领域Transformer模型中使用的注意力机制,旨在学习采样点坐标空间和特征空间之间的关联,实现不同特征子空间注意力特征的融合。将该点云Transformer单元嵌入语义分割网络的集合抽象层与特征传播层中,提取层内全局和局部特征,并与层内其他特征进行融合,增强特征上下文语义信息之间的联系,提高特征表征能力,进而提升点云语义分割网络性能。最后,构建集成了点云Transformer单元和竞争性注意力融合模块的点云语义分割网络。在Shape Net Part数据集上进行零部件语义分割实验,在S3DIS数据集上进行大规模室内场景语义分割实验,结果表明融合点云Transfomer单元和竞争性注意力融合模块的点云语义分割网络,在不同语义分割任务中均取得了良好的效果,在多项语义目标上的分割性能超过了基准网络Point Net++。并通过两组消融实验证明了所提出的方法能够提高点云网络特征提取能力,提升网络对多项语义目标的分割精度。最后,通过可视化结果直观地展示了所提出的方法在语义分割任务上的优越性。