计算机在各个领域的不断延伸使得鼠标、键盘等现有人机交互设备的局限性日益凸显，普适计算和以人为本理念的提出使得自然的人机交互成为学者研究的热点。手势作为人与人之间的一种常用的交流方式以其简洁自然的特性受到了学者的关注，将手势引入人机交互将大大提高人机交互体验。根据手势的建模方式的不同，当前基于手势的人机交互分为基于数据手套的方法、基于计算机视觉的方法、基于机电信号的方法以及基于可穿戴传感器的方法等。其中基于计算机视觉的方法有较高的识别精度和较好的交互效果，然而该方法面临着一个难以克服的难题：遮挡，用户必须被严格地限定在与摄像设备之间没有遮挡的范围内。针对基于视觉的手势识别的局限性，本文采用可穿戴传感器作为数据采集设备，在基于加速度的手势识别的方法基础上加入姿态角数据信息，提高了手势识别精度。对采集的数据使用门限模型进行分割，然后使用蚁群算法进行特征提取，最终由隐马尔科夫模型对手势进行建模，训练和识别。本文在理论研究的同时进行了实验验证。实验选取了内置有加速度传感器和地磁传感器的Android智能手机HTCHD2作为数据采集设备，并在PC端开发了一个基于隐马尔科夫模型的手势识别系统。定义了20种手势，进行了识别率实验和算法改进前后的识别率对比实验。结果表明，本文所提算法对于手势特别是较为复杂的手势有较好的识别效果。