无人驾驶是当前科技领域的一个重要发展方向,而目标检测是无人驾驶技术的关键环节。由于无人驾驶场景中环境的复杂性且目标多样性的特点,在目标检测过程中,仅使用单一传感器往往无法同时准确的获取被检目标的类别、位置、速度等信息。针对此问题,本文以毫米波雷达与摄像机为研究对象,结合深度学习及相关理论方法,构建基于毫米波雷达与视觉融合的多数据源融合的深度学习目标检测网络,以网络级融合的方式解决无人驾驶中前方目标检测问题。本文针对毫米波雷达数据与摄像机图像数据变换问题,设计了基于残差BP神经网络变换算法统一两传感器的坐标空间。分析了坐标变换方式,最小二乘变换方式与传统BP神经网络变换方式三种数据变换方式,提出了在传统BP神经网络变换方式的改进方案。引入一维卷积替换传统BP神经网络的部分全连接,增强网络的表达能力且降低了网络的参数量;设计残差结构增加深层网络的浅层特征信息并提升模型的精度。经试验验证,残差BP神经网络变换算法能提供有效的数据变换,平均预测误差13.57像素,在无人驾驶平台测试速度仅0.36ms。针对数据同步问题,提出近序抽帧的优化方案,使得毫米波雷达与摄像机的同步采样时间差较前序抽帧减小一倍。设计了基于毫米波雷达与视觉的多数据源融合的深度学习目标检测网络（MSYOLO）。MS-YOLO在CSPDark Net主干网络基础之上结合毫米波雷达与图像数据特点构建双主干结构,分别提取二者前期特征,并在检测层融合二者特征;采用Foncs结构对输入进行切片优化下采样操作;引入CSP结构增强网络学习能力并降低参数量;构建SPP、FPN、PAN三种多尺度结构为网络引入多尺度特征。为训练融合网络本文制作了包含7000组毫米波雷达和图像的联合数据集MS-Dataset。通过在MS-Dataset数据集对MS-YOLO网络的训练与测试,MS-YOLO网络的m AP达到84.1提高了9.6个点,帧率达65fps。本文通过用于数据变换的残差BP神经网络与MS-YOLO网络结合实现毫米波雷达与视觉融合的无人驾驶目标检测系统。通过实验证明,该系统可为无人驾驶系统提供实时的前方目标信息探测。