三维点云数据的识别检测是计算机视觉领域中的一个研究热点,在许多重要领域,如无人驾驶、高精度地图、机器人辅助视觉等有着很重要应用。同时,伴随着深度学习技术的研究与发展,结合深度学习技术进行三维点云数据识别检测的研究受到了越来越多人的关注与重视。Pointnet网络开创了利用深度学习技术直接处理三维点云数据的先河,实现了对三维点云模型的分类和分割,然而,其缺点是不能很好地提取点和点之间的特征信息,这使得Pointnet网络捕获局部特征的能力不强;同时在Pointnet的应用上,Frustum-Pointnet网络模型能够实现对三维点云目标的检测,但是由于Pointnet网络对点云分割效率不高,导致Frustum-pointnet检测精度仍有较大的提升空间。本文选题研究基于深度学习的三维点云识别检测,主要完成以下工作:(1)改进Pointnet网络,通过对输入的三维点云数据划分区域,用区域的点云代替Pointnet网络的单个点作为输入,进行区域特征的提取。针对局部区域划分的完备性、自适应性、重叠性的要求,提出了基于FPS和KNN区域划分算法。同时采用了多尺度的方式,将KNN算法的K值作为尺度参数,通过设置不同的K值得到不同尺度的点云区域,然后构建单尺度的点云区域特征提取网络,通过改进Textcnn网络架构,对不同尺度的特征组合进行融合,提取多尺度融合特征。最终通过多层感知器和串联池化操作提取全局特征送入到分类器,完成三维点云模型的分类和分割任务。本文将改进后的模型命名为KT-Pointnet网络,实验结果表明与PointNet模型相比,本模型在Model Net40数据集上分类任务以及Shape Net数据集分割任务上,都超过了原始的Pointnet网络模型。(2)针对Pointnet的三维目标检测应用模型Frustum-Pointnet中对点云数据局部结构特征信息利用不足的缺点进行改进,改进的第一点是:通过在Pointnet点云分割网络中嵌入新的特征提取操作EdgeConv,计算点与周围邻近点之间的边特征以及点云数据中每个独立点的特征,来捕获点云数据的局部结构特征;改进的第二点是:在Frustum-Pointnet中的Pointnet非模态3D框评估网络中嵌入EdgeConv。通过嵌入EdgeConv,解决了Frustum-poitnnet网络中基于Pointnet点云分割网络和基于Pointnet的非模态3D框评估网络对点云数据局部结构特征信息利用不足的缺点。实验结果验证了Frustem-DGnet比原始的Frustum-Pointnet方法在困难样本条件下对汽车、行人和骑车人的3D目标检测精度提高了2%以上。