自第三次科技革命以来，计算机技术的迅猛发展大大促进了人类文明的现代化。伴随着计算机技术的发展，人机交互的方式也不断革新，从传统的鼠标键盘到现在流行的触摸屏，再到更先进一点的语音控制，其特点也越来越人性化越来越以人为本。手势交互作为一种新颖的人机交互方式在近些年也越来越流行，它在遥操作系统、智能家居、虚拟现实等领域得到了广泛的应用。手势交互相对于传统的人机交互方式有着无接触操作、简单易学、自然自由、可携带信息量大等优点，因此对基于手势的人机交互技术的研究有着重要的意义。　　通过手势进行人机交互时，如果使用复杂的背景则会影响计算机对手势理解的准确度，而桌面背景环境相对简单。本文探究了桌面背景环境下的常见手势交互方式，提出了一种桌面环境下的常见动态手势识别与理解方法，包括“去”、“拿”、“移”、“放”、“回”、“这”等多种自然交互手势。与一般静态手势不同，动态手势还包含了大量的时序信息，对其中时序信息的提取往往是动态手势识别的关键。目前流行的时序特征提取方法往往是基于RNN（递归神经网络），基于RNN和CNN（卷积神经网络）往往可以很好地实现动态手势的识别。上面这些方法都是在网络结构层来实现时序特征的提取，而本文提出了一种在输入层提取时序特征的方法，并取得了不错的效果。　　该算法首先对输入每帧图像预处理，基于桌面环境的背景建模以及基于手部区域的肤色建模，两种算法结合能很好地完成手势前景的分割。然后融合多帧图像之间的时序信息，完成基于手势前景分割的时序特征建模，构造动态手势时空特征影像，其包含了动态手势的形状信息以及时序信息，能够很好地区分不同的动态手势。最后基于CNN完成对手势时空特征影像的训练与识别，并基于统计分析的方法对结果进行优化处理，进而实现对不同手势动作良好稳定的识别与分类。