随着数字采集设备的普及和多样化，人们越来越关注如何从所采集的数据中去定位、分析三维物体的形状与运动，即所谓的三维几何跟踪问题。三维几何跟踪问题是计算机视觉、计算机图形学中的重要问题，是三维动态几何重建的核心与基础，在虚拟现实、人机交互、游戏、电影等领域有广泛应用。近些年来，三维几何跟踪技术有了较大程度的发展，涌现了许多方法，能够准确跟踪并重建场景。然而，这些方法常常依赖于高质量数据输入或者复杂的设备配置，不利于在一般用户中进行推广。　　基于上述研究背景和现状，本文研究了如何利用目前已有的一般数据采集设备，诸如网络摄像头或者Kinect深度相机等，对真实场景中的三维物体进行跟踪，并恢复其三维形状和运动。这些数据采集设备的输入往往包含不同的信息:如颜色信息、深度信息等，被跟踪物体也具有不同的运动特性。本文从应用领域出发，针对不同的输入和不同物体的特点，对三维几何跟踪问题进行探索，取得研究成果如下:　　提出一个基于八叉树和刚体迭代近邻跟踪技术的实时大尺度室内场景跟踪和重建算法。此算法将场景数据表示成基于八叉树数据结构的符号距离场，并提出基于八叉树数据结构的重建更新和表面预测算法。此算法充分考虑了进行算法更新时在GPU中并行地对八叉树进行各项操作，在保证节省GPU存储资源的同时兼具高效的运算效率。鉴于八叉树结构的引入，此算法可以在有限的GPU显存资源下达到较以往方法更高的重建精度，从而使得场景的跟踪过程更加稳定，提高了三维重建系统的实用性和易用性。　　提出一个基于视频的人脸表情实时跟踪和动画算法。该算法利用支撑向量机和局部二值模式特征构建分类器分析视频中的人脸表情状态，同时结合视频中人脸的特征点，设计了一种状态可知的人脸表情跟踪算法，估计视频中人脸的位置、朝向，以及各种表情中人脸表情基的系数。利用这些姿态和表情系数信息，将跟踪结果映射到虚拟面部模型，实现实时的脸部表情驱动动画。该算法充分考虑了人脸表情状态高层语义的跟踪，这使得此算法生成的动画较以往算法在表情的模拟上更加的生动真实。　　针对三维重建过程中近似刚性物体会发生轻微形变的特点，提出一种近似刚性物体的跟踪、重建框架和算法。该算法采用一种模型到部分(model-to-part)的机制将新的深度数据的采样结点集成到形变图中。在拟刚性假设之下，该模型到局部机制能够使形变图做出非刚体形变以避免几何跟踪过程中明显的累积误差，同时还能隐式地达到重建过程中闭合回路的效果。基于该算法，我仇构建了一个人体重建系统，该系统能够方便地重建出高质量人体模型。　　提出一种基于单个视频和深度相机的人体运动跟踪和重建算法。基于人体结构信息，首先对人体网格表面的形交图结点进行聚类，然后根据图像和深度信息估计出人体各个部分的分段运动信息。在此分段信息基础上，放弃结点聚类，进一步用形变图上所有结点准确估计人体的表面形变。这种两步策略有效地保持人体运动的结构信息、同时也能够避免优化过程中的局部极值问题。此算法被用于从Kinect获取的视频、深度数据中重建人体运动几何，得到良好的人体运动重建结果。