随着计算机技术的高速发展,计算机视觉领域的研究呈现出多样性的特点,一方面,对于基本视觉问题,比如目标跟踪与检测,仍然是研究的热点；另一方面,建立在这些底层视觉问题之上的更高层的问题研究获得了越来越多的关注,比如视频内容解析等。相比于单纯的底层视觉问题来说,视频内容解析则需要更多的语义分析。尽管如此,这些高层问题往往也依赖于一些底层的视觉技术。本文对基于视频的跟踪的基本视觉问题进行了深入的研究,并以此为基础研究了视频装配解析问题。首先,研究了基于视频的二维目标跟踪问题,该问题是所有跟踪问题中最为基础的问题,同时也是跟踪领域的主要研究方向。二维目标跟踪主要研究如何在连续的视频帧画面中得到目标物体在视频画面中的位置信息,其茬视频监控、人机交互等领域具有广泛的应用。其次,研究了基于视频的三维目标跟踪问题。相比于二维目标跟踪,三维目标跟踪需要连续的估计出目标物体相对于相机的空间姿态变换关系,而不仅仅只是图像中的二维位置。该技术在增强现实、机器人、视觉伺服等领域具有重要的应用。最后,研究了基于视频的自动装配解析技术。自动装配解析技术是指系统可以自动的分析出用户的装配过程,并在线实时的指导用户装配物体。该技术不仅需要在底层识别跟踪出视频场景中出现的物体,同时还需要在高层上理解物体与物体之间的装配关系,从而是更高层的视觉问题。本文对这三类问题展开了深入的研究。本文的主要贡献如下：1.提出一种基于稀疏和局部线性编码的目标二维跟踪模型。已有的目标跟踪主要基于粒子滤波框架,通过对状态空间的随机采样来估计物体的位置状态,需要单独地计算每个粒子的权重,毫无疑问,这并不是一种有效的搜索策略。本文提出一种基于线性编码的跟踪模型,在采样的粒子基础上,通过构建一个连续的外观表示空间,使得被跟踪目标可以直接由其周围的采样粒子稀疏线性表示,并通过迭代优化的策略来搜索目标,使得跟踪的精度和速度均得以提升。更进一步,跟粒子滤波类似,该模型可以跟各种外观表示模型进行结合,说明本文提出的跟踪模型具有一定的可扩展性。2.提出一种基于全局优化搜索的目标三维跟踪算法。针对在复杂环境下基于轮廓的三维无纹理跟踪算法容易失败的情况,提出一种基于全局优化搜索的无纹理三维跟踪算法。通过构建一个基于能量函数的图模型来对图像中的候选对应点进行建模,采用动态规划进行有效的求解。由于利用了对应点之间的连续性,因此,相比于局部优化搜索算法,本文提出的算法更加鲁棒,不仅在复杂环境中有效,而且对于那些内部结构有镂空的三维物体也非常有效。3.提出一种基于视频的物体自动装配解析技术。针对视频解析过程中,由于遮挡、光照变化等因素造成的模糊性问题,提出了一种基于树结构的在线推断算法,通过引入部件的装配规则约束,使得在装配过程中,部件之间精确装配参数的搜索空间大为减少,从而将一个复杂的连续几何分析问题简化为一个简单的离散三维枚举验证问题。此外,在装配分析过程中,并不立即判断单个部件的识别结果,而是通过全局优化的在线推断算法来解决单个部件或单次装配过程中出现的模糊性问题。