图像的全景分割是图像分割领域近年来新提出的一项任务目标,其目的是对图像中每个像素进行类别预测,并对属于实例对象的像素进行实例区分。其任务综合了语义分割与实例分割的特点,是实现全面场景解析的关键一步。在自动驾驶、生物医学、智能机器人等领域有着广泛的应用前景。然而当前全景分割技术依然处于探索研究阶段,许多技术还不够成熟。现有的全景分割技术在实时性与准确率上难以达到工业水准。由于语义分割与实例分割任务在实现技术上存在着较大的差异,难以通过一个单一的网络完成两个分割任务的统一,导致全景分割的实时性与准确率难以得到突破。本文通过对子网络的深入研究,提出全景分割算法的优化方法。本文主要的研究内容和创新如下:1.基于语义流的全景分割改进方法。针对图像全景分割过程中由于“卷积池化——反卷积上采样”所导致特征像素难以精确匹配到原图的像素级难题,构建了基于语义流的特征对齐子网络,优化特征上采样过程。利用语义流模块构建特征共享网络,为子网络提供共享特征,再对子网络中的特征图进行语义流对齐,使网络中的高层语义特征能更好的传递到低层特征中,实现从卷积到反卷积之间的像素——特征——语义之间的像素级对齐。2.设计语义注意力模块与实例注意力模块、语义辅助实例分割等方法优化全景分割网络。针对图像语义分割及实例分割、语义提取等多任务采用网络框架串联的方式,难以有效利用不同网络中的同一场景下关联信息,在网络冗余性难以消除的前提下,其准确率也不能获得最佳效果。构建以全景语义为主的网络框架结构,设计语义注意力与实例注意力,使子网络更加合理地运用网络共享特征,进行各自分割任务;构建语义辅助实例网络结构将背景语义特征与前景实例特征相融合,更加合理的利用图像上下文的语义信息,提升框架对全景分割及语义抽取的准确性。3.实现嵌入式系统下全景分割的算法落地。在嵌入式系统下实现算法的优化与改良,研究全景分割算法应用前景与实用价值。经实验验证与对比,本文提出的方法具有较好的适用性与泛化能力,本文搭建的全景分割系统在多个标准数据集上测试结果均优于当前主流的全景分割方法。