机器视觉作为一个具有重大研究意义并且涵盖多学科的课题，在当前社会诸多领域获得了发展和应用，比如工业检测、军事勘察、人机交互和智能车等。尤其，对于近年来迅速发展的智能车领域，机器视觉发挥着理解周围环境的重要作用，两者的结合使得智能车可以更好的仿真人类感知，其中基于视觉的智能车运动目标跟踪便是其中一个重要的研究方向。本文对基于视觉算法的目标跟踪技术进行了研究，其中核心模块包括三方面：首先基于视觉目标跟踪算法得到目标位置；然后根据目标位置和激光雷达扫描到的可通行区域进行跟踪路径规划；继而是智能车运动的速度和转向控制。本文的主要工作为：首先，进行目标跟踪控制系统的分析和设计。本文中车辆的控制系统采用上下两层的架构，上位机负责传感器数据采集处理和决策，下位机负责底层的控制，各自分工保证系统稳定性。然后对于目标跟踪系统的主要传感器进行介绍，并对各自坐标系进行标定和联合标定，使得两者的数据可以相互融合。为了达到车辆自动控制的目的，需要对车辆的方向盘、油门、刹车的系统进行改装，文中介绍了各自的机械和电气系统改装，以及各部分的控制流程方法，其可靠性在实验中得到验证。接下来，对于视觉目标检测算法和跟踪算法存在的问题进行分析，前者需要大量样本训练而且难以自适应目标运动过程中的形变，后者则容易跟踪失败并难以自动重新初始化。所以本文采用检测和跟踪并行的架构，使得两者可以相互补充提高。在TLD(Tracking-Learning-Detection)的架构上，对其检测器和跟踪器修改完善，使用HOG(Histograms ofOriented Gradients)特征和基于NCC（Normalized Cross Correlation）匹配的增量式分类器，并且采用基于角点特征的稀疏光流跟踪，使得检测过程对灰度变化和形变具有更好的鲁棒性，减少了跟踪过程中的背景像素的光流场，提高最终目标的跟踪效果，并基于联合标定，融合了摄像头和激光雷达数据，提高目标定位的精度。最后，本文针对目标跟踪系统中的路径规划和跟踪的展开研究。根据目标的位置和基于激光雷达数据膨胀进行可通行区域的检测，采用切线法进行路径规划。路径跟踪中基于直线预瞄的PID控制是常用的方法，本文基于航位推算进行相对的位置预瞄，并且采用PD控制器进行控制量计算，以此控制车辆转向进行路径跟踪。