无人驾驶车辆是当前社会研究的热点方向之一,也是未来交通的发展趋势。在无人驾驶视觉感知中,行人检测与跟踪是其极为重要的组成部分,具有广泛的研究意义和应用价值。现在很多国内外高校、科研机构和公司已经在这方面取得了显著的研究成果,尽管如此,由于无人驾驶场景环境背景复杂以及行人固有的特性,行人检测与跟踪仍然有很多问题需要进一步研究。首先,针对无人驾驶车辆对于行人检测鲁棒实时的应用需求,提出一种基于改进SSD的实时行人检测算法。传统的行人检测算法鲁棒性较低,检测速率慢。因此,该算法采用检测速度较快的基于卷积神经网络的一阶段目标检测方法SSD模型。为了在满足实时性条件下,提高算法对目标特征的提取能力,提出将易于收敛、模型复杂度低的深度残差网络作为SSD模型中的基础骨干网络。在Caltech行人数据集测试的实验结果表明该算法具有更优的检测性能,满足无人驾驶场景对行人检测的基本要求。其次,针对无人驾驶环境背景复杂,行人的尺度变化和外观差异较大等问题,提出将语义分割特征聚集到基于一阶段的多尺度目标检测方法中,增强对行人特征的提取能力。同时,在不增加额外输入的情况下,提出了一种多通道特征联合学习的网络结构。在多个行人数据集上的检测结果表明了所提出的融合算法显著地提升了行人检测的精度,同时具有较高的检测速率。最后,针对行人检测算法无法提供行人足够的运动信息,以及传统的在线跟踪算法没有充分地利用行人的特征信息等问题,提出一种基于融合光流的Deep SORT行人跟踪算法。为了充分利用行人的特征信息,在卡尔曼滤波的线性预测部分融合基于光流的目标运动信息。同时,为了使算法满足实时性要求,将改进SSD的实时行人检测算法应用于Deep SORT模型中的行人检测部分。在校园采集的数据集上的测试结果表明了该算法的有效性。最后,将行人检测和跟踪的结果通过逆透视映射到车体坐标系下,为决策和规划层提供直接可用的数据。