在新一轮科技革命和产业变革的背景下,快速发展的计算机技术与传统汽车行业深度融合,智能汽车成为产业发展的战略方向。作为智能驾驶关键技术中的数据前端,车辆感知系统利用多种传感器收集数据,并以此为基础进行算法分析,提取有价值的外部环境信息,供车内乘员及辅助驾驶系统做出驾驶行为决策。本文主要研究设计和实现一个车辆多模态视觉感知系统,选用可见光与红外摄像头作为视觉传感器,以此为基础实现像素级和语义级的外部环境感知。在像素级,基于图像融合技术对不利条件下的可见光图像进行增强;在语义级,基于目标检测与跟踪技术对行人与车辆等目标进行实时监控。为实现上述目标,本文主要完成了以下两方面的工作:（1）算法研究层面:首先,本文提出了一个跨模态的图像配准算法,用以解决可见光与红外图像像素坐标不对齐的问题。该方法一方面使用栅格化的多尺度特征提升了配准参数预测的准确性;另一方面基于对比学习的思路训练了一个跨模态相似度度量模型,实现了配准模型的半监督训练。其次,针对图像融合时可见光与红外图像灰度区域分布不一致的问题,本文提出了一个灰度匹配预处理方法以实现昼夜一致的图像增强效果。（2）系统开发层面:首先,针对硬件平台在资源绑定、状态管理等方面不完善的情况,本文设计了一个系统维护模块实现链路管理,内存管理与任务调度功能以解决上述问题。随后,对于感知功能实现时需要部署的各个算法模型,本文依据算法架构与硬件资源的特点进行了合理分配与优化实现,以期达到最佳的执行效率。通过上述两方面的工作,本文实现了一个实用的车辆多模态视觉感知系统,在真实的道路测试中取得了良好的表现。