随着深度学习研究的不断深入,无人驾驶技术得到高速的发展,为人们的出行提供了新的体验。无人驾驶系统对周围环境的了解程度是实现车辆安全驾驶的基础,算法对环境的理解能力影响了无人驾驶系统的智能程度,为车辆的决策系统提供数据支持。如今的深度学习算法解决了传统算法对环境理解层次低,难以提取较高维度抽象特征的问题。基于深度学习的算法能够通过大量的样本训练学习,从中提取到高级抽象的特征,并得到泛化能力强的模型。由于无人驾驶技术与人的安全息息相关,目前的无人驾驶技术还不能完全保证人的安全,影响了无人驾驶的普及。通常交通事故主要是由人为因素导致的,若能够有效识别前方的车辆行为,一方面可以给予驾驶员预警提示,另一方面可以给无人驾驶系统提供更多的感知信息,提前做好应对措施,减少事故的发生。车辆行为的识别需要提取到有效的路况信息,通常的做法是先检测到目标车辆的位置,再对目标进行跟踪,最后根据目标车辆的行驶轨迹识别出车辆的行为。本文重点研究车载摄像头下的车辆行为识别,其中包含车辆目标的检测和跟踪以及车辆行为的识别算法,主要内容如下:（1）提出了目标车辆底面位置边框的识别算法。针对自身参与交通时,环境处于动态背景下,相机拍摄到的车辆会出现明显的几何形变,导致目标检测算法检测到的检测框中心并不是准确的车辆位置。基于目标检测的跟踪算法,检测框的好坏将会影响目标跟踪的效果,从而影响车辆轨迹的识别。为了准确描述车辆在道路上的位置,提升算法对车辆行为识别的能力。本文提出通过检测车轮与地面的接触点所构成的区域作为车辆的位置,并基于目标检测模型设计网络结构、锚框和损失函数,检测输出车辆底面的检测框。该方法可以使得车辆在道路中的位置定位更加准确。（2）搭建了在不同视角下提取一致的车辆特征的网络模型。针对视野两侧的车辆,其行驶在远离或者接近时,它的尺寸和形态会发生变化明显,导致跟踪的目标丢失。通过建立车辆目标的特征提取网络,优化同一车辆目标在不同角度下提取的特征的距离损失,有效提升了跟踪目标对应特征的鲁棒性,优化跟踪的效果。（3）搭建了基于Transformer的车辆行为识别模型。在车载相机拍摄的透视图下车辆的行为不易分辨,通常使用仿射变换将车辆的位置投影到俯视图后再识别,这种方法无法对非直线车道的车辆行为（如变道行为等）进行识别。在车载相机本身与目标车辆发生相对移动的情况下,还会导致行驶轨迹变形,拍摄角度的不同也会导致车辆的行为表现不一。针对这样的问题,本文搭建了一个基于的时序分类模型,结合车辆的准确位置、检测框的尺寸和车道线信息,让算法能够分辨出不同路况下车辆的行为。