近年来，人机交互在计算机技术的发展过程中，占据着越来越重要的位置。随着计算机硬件、电子技术的蓬勃发展，相关成熟电子设备的研发、销售、普及，使得越来越多的人们开始关注人机交互领域。基于视觉的手势跟踪过程是通过视觉输入设备，获得连续的三维人手实时图像；在进行运动人手三维姿态估计和跟踪之前，先提取图像序列中的人手，然后再进行预测和跟踪；最后通过虚拟现实相关技术实时绘制并显示三维虚拟人手。三维手势跟踪应用于游戏、工业、教育等行业，辅助人们完成交流互动，帮助人们完成操作等等，因而三维手势跟踪成为人机交互中的研究热点。然而目前的三维手势跟踪面临很多问题，这也使得三维手势跟踪成了人机交互研究中的难点问题。摄像头类设备包含普通USB摄像头、红外摄像头、双目摄像头、3D立体摄像头等，摄像机、录像机、3D立体数码摄像机、单镜头反光照相机（单反相机）等属于日常视频捕获设备，这些都是视觉输入设备。这些视觉输入设备也有比较成熟的产品，并且应用广泛。比如游戏机XBOX360的体感周边外设Kinect，它代替了游戏中传统的操作设备手柄、鼠标、键盘等接触式设备；再比如普通百姓使用一些配置高端的单反相机甚至可以拍摄精良的电影。在人机交互迅猛发展的势头下，视觉输入设备也在经历重要的上升时期。基于视觉的三维手势跟踪研究得到广泛关注的同时也面临巨大挑战。第一，只通过普通单目USB摄像头相比于多目摄像头、立体摄像头、Kinect等，在获取实时视频信息的时候，无法获得立体三维世界中的深度信息。第二，高维自由度的问题，人手作为非刚性关节式物体，除了有三维位置坐标参数，至少需要15个参数表示关节角度，以及手掌平面的向前向量及垂直向量6个参数，总共需要至少24个自由度参数。第三，由于光照、环境等客观条件的影响，在信息获得和处理方面，现阶段也面临很多问题。缺乏深度信息、高维度的变量以及客观现实条件的影响等等，这使得基于视觉的三维手势跟踪研究在精度、时间和鲁棒性方面面临巨大挑战。本文依托“基于认知机理和手势动画的三维人机交互界面研究”国家自然科学基金(基金编号61173079)，“面向人手三维跟踪的粒子滤波器中的实时性和鲁棒性问题研究”国家自然科学基金(基金编号60973093)以及“面向自然人手跟踪的3D人机交互界面中的关键问题研究”山东省自然科学基金重点项目(基金编号ZR2011FZ003)等。寻找在手势交互过程中，除三维人手运动全局变量和三维人手运动局部角度变量之外的描述子。包括手势状态变量之间的稳定关系或不变关系以及交互过程中的稳定关系或不变关系作为微观结构。并从这一角度对三维运动人手跟踪方法提出一种思路，建立三维手势跟踪虚拟装配平台。要解决的关键问题为：如何获得状态变量微观结构[1]，如何利用状态变量微观结构建立人手跟踪平台，以及如何有效提高虚拟装配交互平台中三维手势跟踪精度。本文的主要创新点包括：1．马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC)在贝叶斯统计、极大似然估计中有良好的应用效果。针对虚拟现实平台中粒子滤波算法时间消耗大的问题提出基于改进MCMC采样法的优化粒子滤波器算法。着重探讨了基于改进MCMC采样法的优化粒子滤波算法（Particle Filter），应用于三维自然人手虚拟现实交互系统中，在保持三维自然人手交互精度波动不大的基础上，增强三维自然人手虚拟现实交互系统的实时性。2．在基于传感器的三维手势人机交互系统基础上，研究三维自然人手跟踪中人手状态变量微观结构，提出了基于状态变量微观结构的三维手势跟踪算法，算法有效地提高了虚拟发动机装配平台下三维手势的跟踪精度。将窗口概念融入三维人手跟踪过程。应用窗口实现系统的跟踪方向双向性，增加系统的动作真实性。改变了原有系统跟踪方向的单一性问题。3．通过对三维自然人手跟踪中人手交互行为特征以及人手变量特征分析，完成系统交互微观结构和变量微观结构的研究。构建更和谐更自然的人手跟踪系统，构建三维人手交互系统完成虚拟装配任务。