基于图像信息的生物特征识别是近些年来计算机视觉研究中的一个重要领域,其中针对人类的各种生物特征的识别是该领域的主要研究内容,相关研究成果多用于自然人机交互、虚拟现实和智能视频监控等方面。进一步地,人类的手势识别研究是人类的生物特征识别中重要的研究内容,它主要从图像数据中分割、跟踪和识别出不同的手势,最终对其加以描述和理解。然而,由于人手的个体差异性,加之其复杂的各种形变,再加上手势在空间和时间上的变化性,以及视觉问题与生俱来的不适定性,这些困难和原因使手势识别成为了一个非常具有挑战性的研究领域。经典的手势识别研究一般包括手势分割、手势跟踪、手势识别等三个阶段,这三个阶段分别对应于计算机视觉研究的图像分析和图像理解两个研究层次。其中手势分割属于图像分析层次,这一阶段把图像中属于手势的像素点划分标识出来,这是整个研究的起点也是最为重要的部分,其结果的优劣会直接影响到后续的研究阶段。手势跟踪也属于图像分析层次,它对图像序列的每一帧图像中属于手势的像素点进行连续的定位和标注。手势识别则属于图像理解层次,它首先将海量的图像数据经过表示与描述成为一系列特征或特征组合,而后在特征空间中对其中的特征点进行分类,最终实现手势的识别。另一方面,多模态数据融合理论认为单一种类传感器数据只能获得被测物体的不完备信息并且较易受环境影响,而多模态信息融合将多种传感器数据进行组合,可以提高系统的可靠性。基于此,本文在传统视觉数据的基础上引入了深度数据,在深度与图像数据融合的基础上分别研究了手势的分割、跟踪和识别三个阶段的算法。基于动态深度阈值的手势分割算法。首先基于MCG-Skin(A BenchMark Human Skin Database,中国科学院计算技术研究所多媒体计算课题组)数据库建立肤色的高斯模型,并获得模型的均值与方差；其次根据深度信息建立人体包括手势部分的深度的高斯混合模型；再次根据深度高斯模型可以得到粗略的动态深度阈值,从而划分出包括手势在内的部分图像；最后将这部分图像输入第一步得到的肤色高斯模型,即可得出每个像素点与肤色的相似度,进而得到肤色相似度图像,然后对该图像应用Otsu’s算法得到手势分割结果。通过多个实验从不同的角度对手势分割算法的可用性进行了检验。基于权重漂移重采样的手势跟踪算法。首先建立相对深度直方图及其相似性概念,以此作为手势跟踪的模板；其次针对传统粒子重采样算法中的粒子退化问题,以后验概率密度梯度非递减为原则进行了粒子重采样,在重采样的过程中不删除粒子,更能保证粒子的多样性。通过多个实验从不同的角度对手势跟踪算法的可用性进行了检验。基于相对径向距离的手势识别算法。针对超球支持向量机在超球相交时类别划分可能出现的问题,提出了不仅基于绝对距离,还要同时基于相对径向距离的超球支持向量机,通过特征点到超球球心的距离与超球半径之比来确定特征点的归属,即满足这个值最小的超球为该特征点的最终归属。通过多个实验从不同的角度对手势识别算法的可用性进行了检验。最后建立了一个面向手势识别的手势图像数据集合,并在上述研究的基础上,设计开发了基于Matlab的手势识别工具箱,实现了手势的分割、跟踪和识别等功能。