论文部分内容阅读
在过去的数十年里鼠标和键盘一直都是人与计算机交互的主要工具,人们已经熟练掌握并很好的利用这些工具。但是随着多媒体技术的快速发展,这种传统的人与计算机交互工具已经越来越难以满足人们的交互需求。人们更多的希望能够简单的通过手势来实现与计算机的交流,从而使这种交互方式更加的方便快捷。所以对动态手势识别的研究在当下有着重要的意义。本文使用Leap公司最新研发的体感控制器---Leap Motion实时的采集操作人手指的坐标,加速度,方向等动态手势的运动信息。通过对采集到的动态手势数据信息进行空间转换和统一规格化等处理操作,使所有采集到的动态手势数据能够在空间尺度上保持统一。紧接着对空间尺度统一的动态手势数据进行手势特征的提取。同一动态手势包含两种手势特征,分别为表示空间位置的坐标特征和表示手势运动方向的笔画特征。本文通过Leap Motion对动态手势数据的采集和特征提取,共生成了2大组26小组共5200个手势特征的动态手势特征数据库。本文中从两个方向展开了对动态手势识别的研究。首先,本文通过在HMM模型的基础上对利用单个特征进行的动态手势识别试验的结果和数据特点进行总结,从而提出了一种基于HMM模型的双通道模型。通过对本文规定的动态手势(26个英文字母的动态手势)数据的识别试验结果表明该方法对训练样本的平均识别率为98.48%,对测试样本的识别率为94.92%,此外每个手势的平均识别时间为0.18s。其次,本文利用PM1K芯片作为动态手势识别的分类器搭建了一个动态手势识别系统,在这个芯片内部以硬件方式实现RBF算法。在动态手势识别试验中由于PM1K能够实现真正的并行运算,所以其执行识别的速度将会比软件更具有优势。通过7组动态手势的识别试验结果表明该系统对120维特征的动态手势的识别能够达到平均每0.001171s识别一个,且对试验数据的平均识别率达到96.57%。总的来说本文将一些新的工具应用于动态手势识别的研究并从软件和硬件方面进行了研究,分别取得了识别精度和速度上的提升,对基于手势的人机交互应用有一定的使用价值。