行人检测和跟踪技术在智能视觉监控、智能辅助驾驶、行为动作语义分析、机器人控制等许多领域具有广泛的应用前景和研究价值，尽管目前已有许多行人检测和跟踪的研究成果，但由于场景的复杂性以及人体的固有特性，很多问题没有得到很好的解决，仍然需要进一步的研究。本文在深入理解计算机视觉相关原理的基础上，针对视觉场景感兴趣区域分析、行人分类检测技术以及目标跟踪技术进行了研究，本文的主要研究工作和成果体现在以下几个方面：首先，提出一种基于视觉显著性的感兴趣区域检测算法。对于复杂场景分析，传统的运动检测、边缘分割等方法难以发挥作用。对此，本文提出一种融合颜色、深度和运动三种特征的显著融合模型，将运动和深度特征的显著性融合到最终的计算模型中，有效地降低背景区域的显著值，增加对前景和运动目标的凸显能力。提出的融合模型具有较低的计算复杂度，提供接近实时的视频图像处理能力。其次，设计和实现一种分级的快速行人检测算法。采用粗—精两级的分类器结构，粗分类器是基于无结构HOG特征的级联分类器，使用加权费舍尔线性判别将多维特征投影到低维，进而利用GAB实现级联分类器的训练。精密级分类器采用多部件的Latent SVM算法。算法实现中，采用积分直方图、图像金字塔优化和多尺度特征估计作进一步的优化。本文算法具有以下特点：1．采用由粗到精的分级检测结构，具有较高的检测率和较低的虚警率；2．两级分类器中没有引入新的特征计算；3．采用了一系列优化加速方法，具有较快的检测速度。再者，研究了基于模板匹配的目标跟踪方法，提出一种结合颜色和SURF特征的粒子滤波跟踪算法。针对SURF这种稀疏性未知分布特征，提出一种快速观测概率计算模型，采用基于特征不确定性的融合方式计算SURF和颜色直方图的联合观测概率。同时针对目标可能的视角和结构变化，提出SURF特征模板集的更新策略，避免了跟踪过程中SURF匹配数下降和不稳定的现象。实验证明，该方法对光照和遮挡具有很好的鲁棒性，对目标的外观变化具有一定的适应能力。最后，基于前述研究成果，设计实现一个全自动的行人识别和跟踪系统。在模块设计、线程设计、多目标跟踪三方面给出了具体的实现方法。采用CUDA编程技术，将复杂的特征计算交GPU处理，缓解CPU压力的同时，有效的提高了系统的运行速度。