全方位视觉和运动目标检测跟踪是当下的研究重点，这两项技术的结合具有广泛的应用前景。全方位视觉传感器最大的特点是一次就能够获取水平方向360°、垂直方向120°的全方位图像，使传统视觉传感器只能观测局部信息的不足得到解决。本文采用的是双曲面折反射全方位系统，对视觉传感器采集的图像序列进行全景图像的展开，并在展开的图像序列上对运动目标进行检测和跟踪。全方位视觉传感器采集的图像不符合人眼的视觉观察习惯，所以对全景图像做展开处理。本文通过对全景成像原理的理解，从几何原理出发对全景图像做了柱面展开处理。为了提高算法速度，展开过程中应用了邻近差值算法优化。并介绍了图像展开软件。首先介绍了目前常用的目标检测方法，并深入的研究了各个方法的优缺点，提出了改进算法，同时，实时性是目标检测中更注重的一点，因此，本文采用具有更好实时性的自适应混合高斯模型的目标检测算法。此方法对复杂环境的目标检测效果很好，通过混合高斯模型参数的初始化、高斯个数的选取、背景实时的更新的介绍，了解混合高斯建模的原理。然后通过实验对比，统计平均背景建模法和混合高斯背景建模法分别对复杂场景的全方位视觉图像展开序列中的运动目标进行检测，验证算法的优越性。并通过对比设置不同的初始化参数，观察各初始化参数对检测的影响。本文采用Mean Shift算法对基于全方位视觉的运动目标进行跟踪处理。重点介绍了Mean Shift算法的原理和在目标跟踪中的应用。因Mean Shift算法本身不具备预测能力，鲁棒性差，在复杂视频环境中容易丢失目标，通过卡尔曼滤波和Mean Shift算法结合的方法解决上述问题。原有的Mean Shift算法在目标跟踪时，目标的特征选取是基于RGB色彩空间的，本文改为基于HSV色彩空间的目标特征值选取，提高跟踪算法的运算速度。最后通过在视频复杂环境和跟踪目标突然加速情况下的对比实验验证方法的正确性。