论文部分内容阅读
随着人机交互技术的发展,手势识别技术被广泛应用于机器人控制领域,近年来手势识别相关算法发展十分迅速。本文基于深度学习技术,在算法优化、数据集建立、系统实现等方面进行研究,给出了一种适用于轮式机器人控制的手势识别方法,并基于该方法实现了基于手势交互的轮式机器人控制系统。本文中的手势识别方法由手势检测、手势关键点定位和手势分类的顺序结构组成。本文在手势检测方面,通过调整网络检测尺度的方式改进SSD网络结构,本文中将修改后的网络结构称为SSDGH,该结构减少了SSD中检测框数量,提升了检测速度;在手势关键点定位方面,为了加快定位速度,本文在CPM网络架构的基础上合理裁剪卷积核尺寸,本文中将修改后的网络结构称为CPM-GH;在数据集建立方面,为了更好的进行手势分类研究,本文基于多种背景和光照条件建成两个手势分类数据集,包括共31234张手势图片,并基于此数据集训练了AlexNet手势分类器,实现了对10种手势的分类识别功能;在系统实现方面,本文借助ROS实现了基于手势交互的轮式机器人控制系统,完成了对轮式机器人的基本控制功能。本文所给出的手势识别方法基于单目相机实现,具有成本低的优点。实验证明,改进后的SSD-GH拥有比SSD更快的手势检测速度,网络前向时间缩短了2.3ms,检测速度提升了11.2%;改进后的CPM-GH比CPM网络前向时间缩短了4.5ms,关键点定位速度提升了7.1%。同时本文的人机交互系统在完成对轮式机器人基本控制的同时保证了良好的实时性,FPS达到11以上;在鲁棒性方面,经实验验证,系统的平均识别准确率达到了99%以上,同时识别范围达到了20cm-150cm。综上所述,本文基于计算机视觉手势交互技术设计了适用于轮式机器人控制的手势识别系统,具有成本低、鲁棒性好、实时性好的优点,实现了对轮式机器人的实时控制功能,并且在实时性和精准度这一对指标中实现了良好的平衡。该系统被扩展后,可被应用于多种场合,例如手势控制行李的搬运、手势控制泊车等,具有一定的实际应用价值。