自然互动是人机交互的发展方向，其目标是赋予计算机参照人类自然形成的与自然界沟通的认知习惯和形式来与用户进行沟通和互动的能力。作为人们非语言类交流中最为自然和直观的方式，表情和手势在社会活动中起着重要的作用，利用计算机视觉方法对表情和手势的研究有助于实现自然的人机接口。本文从自然互动的角度出发，对视频中的表情和手势进行分析，主要贡献如下：　　 1.在人脸和表情建模方面，本文利用CANDIDE三维参数化模型对人脸形状和表情动作进行建模，通过弱透视模型对姿态进行建模，在模型中引入了生理结构约束，避免了生成一些实际不可能出现的表情，提高了后期跟踪识别的效率。另外根据人脸表情的特点选择出合适的表情动作参数用于人脸多特征跟踪和表情识别。　　 2.在人脸多特征跟踪方面，本文从观测建模和模型匹配这两大问题出发，首先提出了一种基于灰度和边强度的综合特征和在线学习的自适应方法来进行观测建模，提高了跟踪的鲁棒性；其次为了解决模型匹配的迭代算法中耗时较多的问题，提出一种反转合成图像对齐算法结合在线纹理模型的迭代匹配算法，提高了模型匹配的效率。实验证明本方法能够适应复杂的光线和表情变化。　　 3.在表情分析方面，提出一种基于高斯基距离度量的模糊聚类算法用于表情识别，基于改进方差率来设计高斯基度量中的惩罚因子，提高了聚类算法的性能。将跟踪与表情分类进行了统一考虑，直接将跟踪得到的表情参数作为表情识别的特征，从而排除了不同人的面部差异对于表情识别的影响。由于表情的复杂性和不确定性，在识别时给出了表情模糊性的描述。　　 4.在手势分析方面，提出一种基于隐马尔可夫模型的动态手势轨迹的建模和识别方法，采用3次B样条拟合出手势轨迹曲线，求取曲线矩不变量全局特征和方向局部特征作为轨迹特征描述，引入阈值模型对非典型手势进行建模，并进行动态手势序列的自动切分和识别。本方法可以实现全自动的在线手势识别，并能对非典型手势进行成功拒识，实验证明加入曲线不变量全局特征比单独用方向特征的方法取得了更好的识别效果。