汽车保有量的剧增给交通系统带来的压力日益剧增,由汽车导致的能源枯竭,空气污染和道路交通安全给人类社会带来了前所未有的压力。智能汽车凭借智能传感、智能决策和决策控制,可以有效地提升交通利用率,已成为各发达国家实现智能交通的重要技术手段。作为智能汽车的关键技术之一,基于机器视觉的环境感知算法通过检测、识别和重构图像环境为智能汽车提供环境信息,在高速公路等结构化环境下已被广泛研究。在复杂拥堵的城市环境下,目标之间容易相互遮挡,目标运动轨迹错综复杂,城市环境下的环境感知算法仍有待突破。本论文以基于机器视觉的环境感知为研究内容,设计目标的检测跟踪算法以实现城市环境下车道线、车辆和标志牌的多目标检测和跟踪,主要内容如下:(1)针对相机成像特点建立针孔模型,通过带约束的faugeras标定法对其标定,得到相机外参数矩阵,进而估计相机姿态。根据相机姿态及相机加工参数建立逆透视变换模型,以实现图像的逆透视变换。(2)根据相机成像特点建立消失点、车道线几何特性和位置特性约束,该约束作为先验知识对Hough检测结果及车道线聚类拟合条件进行约束,以实现车道线的检测。(3)针对车辆和标志牌特点建立了可较好描述车辆特性的HOG特征,以及可较好描述标志牌特性的彩色直方图特征。然后利用相机映射规律优化的滑动窗口对图像ROI区域遍历扫描,以提高计算效率和网状分类器对图像中车辆和不同种类标志牌进行检测。(4)为解决复杂环境下的多目标长时跟踪问题,设计了基于历史轨迹信息的多目标跟踪算法。历史检测结果通过基于目标特征关联法短轨迹生成、长轨迹生成和历史轨迹可靠性验证三个步骤生成历史轨迹库,该轨迹库用于预测或融合新的检测结果;紧接着利用该检测跟踪结果不断更新网状分类器中的标准差分类器、最近邻分类器和历史轨迹信息;最后重复上述步骤,以实现复杂环境下的多目标长时跟踪。