论文部分内容阅读
全时段的行人检测与分割技术在智能监控、车辆辅助驾驶等领域中都有着重要的应用。近年来,随着深度卷积神经网络在机器视觉领域的卓越表现,基于卷积神经网络进行行人检测与分割技术的研究也引起了众多学者的热切关注。另一方面,可见光图像在不良照明条件下的成像缺陷使得热红外图像成为基于视觉进行全时段行人检测与分割的重要手段。为此,本论文基于近年来深度卷积网络在目标检测与分割领域的兴起及大型多光谱行人检测数据库的提出,详细探讨了多光谱信息在基于深度卷积网络进行行人检测与分割方法中的应用,具体工作主要包括:1、在深入理解卷积神经网络在目标检测中的工作机理基础上,设计并实现了基于SSD(Single Shot Detector)架构的多光谱信息前端融合和后端融合结构。通过网络结构的设计实现可见光和红外图像信息的融合,提高了全时段的行人检测性能。2、研究并测试了像素级图像融合方法在基于卷积神经网络进行行人目标检测方法中的应用,并通过多级融合方式的结合,研究不同融合方式之间的互补性。实验表明,像素级融合与前后端融合结构的结合可以进一步降低行人检测的漏检率。特别地,后端融合框架与基于联合双边滤波器方法的结合在夜晚行人检测中达到了最佳效果,平均漏检率比单独的后端融合架构减少约11%。3、在深入理解卷积神经网络在目标分割中的工作机理基础上,设计并实现了两种基于PSPNet(Pyramid Scene Parsing Network)架构的多光谱行人分割网络,实验结果表明设计结构可以较好地利用可见光和红外图像的有用信息,显著提高了行人全时段的分割性能。综上所述,本文从像素级融合方法和多光谱网络结构设计等方面研究了可见光和红外图像信息在基于卷积神经网络的行人检测与分割技术中的应用,并通过大量实验测试,提出了实现全时段行人检测与分割的有效策略,对后续基于视觉的全时段行人检测与分割应用有重要意义。