自动驾驶技术作为未来产业升级的关键技术,其中面向交通场景下的目标识别任务近年来得到广泛的研究。目前,智能汽车依靠多种传感器获取的数据来感知周围的环境信息,这为系统提供了决策依据。经过预处理的不同的传感器数据可视作一种输入到自动驾驶感知系统的信息模态,并且同一种传感器的数据经过不同的预处理都可以视为不同的数据模态。如何有效地将多模态数据在深度学习网络框架下进行融合是当前国内外的研究热点。单一的传感器在特定场景下目标识别结果的可靠性不足,目前已经商用的自动驾驶汽车普遍安装了多个传感器用于感知周边环境。不同类型传感器的数据是异构的,因此在多模态数据融合过程中需要对不同模态的特征提取网络进行单独设计。此外,不同模态数据包含的环境信息量存在差异,多模态信息的融合过程需要解决多模态数据之间的信息不对称并且融入多种数据模态的相关性。针对上述问题,本文主要研究激光雷达（Light Detection and Ranging,Li DAR）点云和彩色（Red-Green-Blue,RGB）图像融合,采用端到端神经网络结构,用于行人和车辆的识别。本文主要创新如下:1.利用相机-激光雷达联合标定原理将三维的激光点云数据模态转换为二维的深度图。通过不同数据模态的转换,实现了激光点云中的环境信息和RGB图像中的环境信息的时空同步,解决了异构模态数据之间融合困难的问题。2.提出了一种数据填充算法,将映射后稀疏的激光点云深度图片转换为稠密的点云深度图片,其中引入了邻域填充的思想,将稀疏的点云信息转换为稠密的点云信息,提升了Li DAR数据模态在输入神经网络后的空间特征显著性。3.以YOLOv3（You Only Look Once version 3）算法为基准网络实现了多模态数据的早期、中期和后期融合策略,同时提出了一种多尺度的多模态数据融合方法,该方法引入了一个辅助网络来学习多模态数据的相关性。此外,本文在同一个验证数据集上对比和验证了不同融合方法的目标识别精度。本文所提出的方法在开源数据集（Karlsruhe Institute of Technology and Toyota Technological Institute,KITTI）的二维目标识别数据集上面进行训练、测试和验证。实验结果表明,本文提出的中期融合策略相比于其他融合策略,具有更好的目标识别精度和效果。