随着机动车和驾驶人数量快速增长,社会对驾校培训机构的培训质量要求越来越高。目前各个驾校培训机构采用的均是教练示范和陪同驾驶的方式,这种培训方法有人力成本、时间成本高,实地练车影响交通安全,学员积压,教练教学水平参差不齐等诸多问题。模拟驾驶系统相较于传统驾驶培训方式有保证绝对安全,节能环保,不受环境影响,人力成本低,学习效率高等优点。但是相较于实际驾驶,模拟驾驶存在的最大问题是屏幕显示效果与真实操作效果相去甚远,而时下火热的虚拟现实技术能够在很大程度上解决这个问题。本文针对当下驾驶培训行业的现存问题和目前模拟驾驶器的不足,设计了一种基于真实场景建模的汽车虚拟驾驶系统。本系统使用真实录制的全景视频画面作为素材搭建系统的球体驾驶场景,并辅以虚拟现实设备,让使用者的驾驶体验与实际驾车体验之间的差距大幅减小。首先,通过对本车模型的位姿变化和球体场景画面的动态调整,实现对本车的虚拟驾驶操纵;其次,采用基于稀疏残差神经网络(Sparse Residual Network,SRN)改进的Faster R-CNN深度学习框架,对动态场景画面进行目标检测,获取场景画面中车辆和行人的位置坐标;同时,由于通过全景视频拍摄的真实场景画面,失去了现实世界中的物体深度信息,本文采用基于数据回归的建模方法,通过分析画面中垂直方向的像素高度与现实世界中的目标距离、以及画面中水平方向的像素宽度与现实世界中的目标宽度之间的映射关系,建立球体场景的目标测距模型;最后,通过实时计算场景画面内多目标的距离信息,实现本虚拟驾驶系统的碰撞判断功能。此外,本文完整地介绍了基于真实场景建模的汽车虚拟驾驶系统在Unity3D中的实现,包括球体场景搭建、操控系统搭建和碰撞判断实现,并对系统进行了测试和分析。在实验中,各个功能都正常运行,视觉感官效果逼真,达到了预期目标。当然,目前本系统还处于实验研究阶段,离实际应用还有一定的改良空间和上升潜力。