手是人类最灵活的肢体之一,而手势是最丰富最具有表现能力的肢体语言。近年来增强现实、体感游戏等计算机应用飞速发展,基于鼠标键盘等传统人机交互系统存在用户使用区域固定、交互空间二维等限制,无法满足新应用的需要,而手势没有这些限制,以其灵活直观的特点,被认为是虚拟环境与自然环境之间交互的最佳方式,成为新型人机交互领域中研究的热点。目前手势识别主要通过图像捕捉和传感器采集两种方式获取手势信息并加以识别。图像捕捉方案容易受背景、光照等环境因素影响,识别准确性不高且对应用环境要求苛刻,而传感器采集方案对背景光照等环境要求不高,但存在机械电子噪声、漂移等固有缺陷,识别效率和准确性也不理想,且存在初始标定、静止/运动标定、误差随时间累计等难点,因此,本文在详细分析两种手势获取及识别技术的特点基础上,提出基于Kinect深度图像、加速度信息及角速度信息相融合,实现高准确度的手势人机交互系统。主要研究内容:(1)采用Kinect2.0摄像机获取用户的深度图像信息,对该信息进行灰度化、平滑、二值化等处理,有效滤除深度图像中的背景及噪声信息,基于此深度图像信息并结合骨骼信息,利用预先手势训练结果,实现预定义手势识别。(2)分析加速度和角速度传感器误差特点,针对原始采样数据提出“叠窗平滑积分”预处理算法,并使用卡尔曼滤波算法进行滤波,使用该方法有效降低加速度和角速度数据中的噪声信息,提高了运动和姿态信息计算的准确性。(3)针对加速度数据计算位移信息存在误差累计的缺点,本文用深度图像数据计算位移,用于修正加速度计算位移量算法,得到加速度数据计算位移信息的近似公式。通过Kinect摄像机和加速度传感器有效融合,实现复杂场景的手部运动信息计算方法。(4)针对角速度数据进行姿态解算过程中存在初始状态无法标定、零点漂移等问题,提出了使用Kinect数据进行初始状态标定和运动/静止标定、静止状态下重力加速度姿态解算和角速度姿态解算相融合的手部姿态解算算法。(5)设计出基于BLE(Bluetooth Low Energy,蓝牙低能耗)4.0的手部姿态捕获部件,实时获取手部的空间加速度和角速度信息,以计算手部运动信息和姿态。