针对目前手势识别的轨迹点限制和常规车间视频监控中耗费人力、且效率不高等不足,本文探讨基于计算机视觉的人机交互中手势和操作工具时人手动作的识别问题,主要研究内容如下:(1)视频图像中的人手特征提取。在人机交互方面,对视频中人手采用颜色粒子滤波器进行目标检测,提取出手势的轨迹序列;在行为检测方面,利用人手模型对目标对象进行追踪,从而分割出每帧图像中的人手,采用openpose的接口对分割出的人手区域进行人手骨架提取,得到人手骨架序列。(2)基于傅里叶描述子的手势轨迹识别。提出一种曲线闭合方法,解决非闭合轨迹在傅里叶描述上的转换问题。利用手势的频域特征,对其形状进行描述,以避免时域中进行手势轨迹识别时需要对齐的问题。对手势轨迹序列的傅里叶描述子进行归一化,使其具有尺度、旋转和缩放不变性,可以适应更多的应用场景。(3)基于图卷积神经网络的动作识别。提出了一种图小波cayley卷积神经网络,一方面将现有的图小波卷积的参数复杂度O(n+p×q)降低为O(k+p×q),k≤n);经过实验对比,该图卷积要优于现有的一些前沿方法。另一方面,将提出的图卷积网络应用于工具操作识别和异常违规行为识别。利用本文采集的人手操作工具视频图像集和大型人体动作数据集NTU-RGBD进行实验测试,验证了所提出的方法具备多种类行为的识别能力。采用上述方法,通过对手部图像序列的分析,自动检测人手目标,并提取目标的相应特征,从而识别出手部动作。在本文研究的基础上,可进一步扩展应用于视频场景内的人机交互、操作和异常行为监测,这样可以减少错误的操作行为,维护车间的生产安全与稳定,提高生产效率,具有很重要的意义。