本文提出一种综合时空信息的视频序列中运动目标分割算法,其目的是在复杂彩色视频序列每一帧中提取出相对背景运动的目标所在的区域。算法的思路是:首先构建不包含运动目标的背景全景图,然后用经过配准的各帧图像与背景相应部分做差分提取出运动模板,最后引入空间分割的信息对模板进行优化,得到精确的分割结果。静态背景全景图的构建。本文采用了图像镶嵌(mosaic)方法对一个镜头(shot)的背景进行全景图的构建。由于摄像机的运动,所拍摄各帧图像会发生位置上的变化,而且同一目标在不同帧中形状也会变化,构造全景图,需要在全局运动补偿的基础上把所有帧中的图像形状进行统一。因此首先要获得连续图像帧之间在空间位置和形状上的变化,即坐标变换关系。为此本文研究了两种坐标变换模型:6参数的仿射模型和8参数的投影模型,实现对所有帧中的图像形状的统一,并对两种方法的结果进行了对比研究。仿射模型参数较少,运算量小,但并不能准确反映摄像机运动对图像形状变化造成的影响;投影模型可以描述大多数情况下摄像机运动造成的形状改变,但存在运算量较大的问题。实际应用中可以根据不同的场合选用不同的参数模型,本文给出了一些建议。运动模板的提取。摄像机获取的每一帧图像都同时包含了背景和运动目标的信息,可以认为是背景和运动目标的叠加。当获得了背景的全景图后,就可以用经过校准的各帧图像和背景相关部分进行差分运算,则该帧图像中背景部分相减后为零,运动目标部分非零,从而得到非零区域就获得了该帧中运动目标所在的区域。由于噪声等影响,获得的区域并非运动目标的精确形状和区域。可以采用阈值法提高精度,并除去过小的区域。彩色图像分割。运动目标分割要把运动目标所在的区域从背景中分割出来,就需要在每一帧图像实现空间分割,即把彩色图像分割成具有色彩一致性的区域,其中运动目标就是这样一些色彩一致性区域的集合。本文采用基于均值偏移(mean shift)的算法,该算法本质上是一种特征聚类算法。首先把彩色图像映射到一定的特征空间