近年来,随着计算机软硬件水平的不断提高和人工智能新技术的快速发展,生产生活中的自动化需求也日益提高。在自动驾驶、无人机巡航等智能化任务中,环境感知与理解是核心需求之一,语义信息在其中发挥着重要作用,因此本文从实际应用场景出发,为了满足环境解析与理解任务中对语义分割的实时性和准确性需求,系统研究了图像和视频语义分割方法。针对图像语义分割问题,本文提出了一种基于自编码器的轻量级图像语义分割模型,并命名为QNet。在所提模型的编码器中,提出了基于通道分片和通道重组的特征提取基本单元,增强了通道之间的信息融合并限制了参数数量。在解码器中,提出了改进的空间金字塔多特征融合模块,通过扩展感受野来促进图像的不同区域不同大小特征图的充分融合。在实验环节,将QNet和其他图像语义分割网络在相同条件和环境下分别在Camvid和Cityscapes数据集上进行了训练和测试,实验结果表明,QNet在IoU等性能指标上优于其他方法,且在两个数据集上的图像处理速度均超过35FPS,表明QNet实现了精度和速度之间的平衡,可以用于实际场景和移动设备。针对视频语义分割问题,在图像语义分割网络QNet的基础上提出了一种基于光流法的视频语义分割框架。所提视频语义分割框架由QNet组成的分割分支和Flow Net2-s组成的光流分支组成,其中分割分支对视频关键帧进行语义分割,光流分支进行帧间特征传播和关键帧调度。在具体工作过程中,通过复用关键帧特征、减少分割运算次数的策略在保证整体分割精度的同时提高模型推理速度。为此,本文首先设计了基于光流法的特征传播策略,通过计算当前帧与前序最近邻关键帧的光流场构建此两个视频帧的帧间关联性,再将关键帧的特征传递给当前帧。针对关键帧调度问题,本文提出了基于判别网络的关键帧调度策略,可以自适应地根据视频内容快速有效提取关键帧,改善了传统的基于固定时间间隔的关键帧调度策略鲁棒性不足的缺点。在实验环节,本文搭建了QNet+Flow Net2-s的视频语义分割框架,并在相同条件和环境下在Cityscapes数据集上与其他框架进行了对比实验,实验结果验证了本文所提出的视频语义分割框架的优异性能。此外,本文在无人机巡航场景下对所提的视频语义分割框架进行了测试,所得分割效果良好,能满足一定的准确度和实时性。