面向未来,电动汽车自动驾驶是解决道路交通安全、缓解交通拥堵、提高驾驶人舒适性的重要手段。世界范围内,学术界和工业界都投入大量精力对于自动驾驶系统进行研发,目前已取得一定成果。自动驾驶系统一般分为环境感知、路径规划和决策控制三个部分,实现道路交通环境的准确感知是自动驾驶系统的基础和前提。基于视觉传感器的环境感知因其价格低廉,适应性广等特点,是目前主要研究方向之一。传统机器学习方面在面对如遮挡等多种视觉属性问题时,已难以完全解决。深度学习因其强大的表征能力在计算机视觉的各个领域都取得较好效果,基于深度学习的视觉感知算法是目前最有潜力的方向之一。本论文依托于国家重点研发计划项目《智能电动汽车的感知、决策与控制关键基础问题研究》(2016YFB0100900)和《电动自动驾驶汽车关键技术研究及示范运行》(2017YFB0102600)。考虑时空类感知算法目前研究并不充分,关注自动驾驶环境感知方案中的单目标跟踪、多目标跟踪和轨迹预测,重点研究基于深度学习方法的视觉传感器以获取复杂交通环境下目标的种类、位置和运动轨迹。通过分析国内外相关研究的现状后,总结现阶段相关研究中存在的问题与不足,确定本文的主要研究内容,主要研究成果如下:1.提出了一种基于端到端实时孪生卷积的单目标跟踪算法。针对传统深度学习类单目标跟踪算法一般仅考虑基于语义的卷积特征所导致鲁棒性不强问题,融合几何特征和基于遮挡处理的更新算法,提出一种同时考虑语义和几何特征的遮挡鲁棒性卷积网络。算法主要由相关滤波卷积框架、流形样本分支与遮挡处理模块组成。在相关滤波卷积框架中,基于度量学习原理采用卷积网络提取模板特征,并与搜索区域进行匹配。在流形样本分支中,对于历史帧提取流形样本,构建流形样本池,然后利用高斯混合模型获取历史流形样本。在遮挡处理模块中,采用考虑时间、空间和响应图的三元遮挡函数判断遮挡发生,对于不同遮挡情况采取不同的更新策略,缓解样本漂移。所提出算法能够在单显卡上实现实时跟踪,并与其他先进算法相比在国际认可的多个公开数据集测试中性能领先。2.提出了一种考虑双重注意力多目标跟踪网络。针对传统多目标跟踪算法对所有目标采取相同关注程度的现状,考虑交通场景下脆弱道路使用者的安全,提出场景注意力概念重点关注脆弱道路使用者,确保脆弱道路使用者能够优先跟踪。基于检测结果本身易引入背景噪声的问题,采用单目标跟踪器融合到多目标跟踪框架,可对检测结果进行增强。对于采用手工标注的数据集对于改进轻量化显著性检测网络进行训练,基于场景注意力获取重点关注区域。对不同关注程度区域采取不同策略,对于重点关注区域采用单目标跟踪器进行强化后输入到多目标跟踪网络。对于非重点关注区域,基于其检测结果置信度利用通道注意力的特征增强方法对于置信度低的卷积特征进行增强。最后将所有区域输入到可微分多目标跟踪框架,获取跟踪结果。在实验中,所提出的算法在MOT17数据集上与有竞争力的在线多目标跟踪算法相比中取得最好成绩,并能够取得接近离线多目标跟踪算法的效果。3.提出了一种驾驶视角轨迹预测算法。针对传统轨迹预测算法一般基于俯视视角,而自动驾驶环境感知更需要基于车身视觉传感器的驾驶视角算法,提出一种驾驶视角轨迹预测算法。考虑在轨迹预测任务中,目标以及周围环境之间的交互是主要挑战之一,将观测目标建模为道路智能体。所提出算法基于可传递周围隐藏状态信息的LSTM为基础框架,对于自身历史运动信息进行建模,生成原始轨迹。考虑智能体在时间尺度上的不同行为对环境影响程度不同,采用时间注意力对于驾驶行为进行细粒度建模,估计影响程度。考虑智能体在空间尺度上交互,通过图注意力模型对于周围智能体进行建模。最后,融合以上时空交互结果对原有轨迹进行增强,生成最后轨迹。通过两次注意力结果增强能够输出更好轨迹。在中国特色的D~2City行车记录仪数据集上,对比其他轨迹预测算法,所提出算法在精确度和耗时上都取得较大优势。