论文部分内容阅读
随着计算机应用技术的不断发展,传统的采用鼠标、键盘或触摸屏幕作为交互手段的人机交互技术已不能完全满足人们当前的需求,而以自然语言、手势语言和面部表情语言为代表的多模式智能型人机交互技术在计算机研究领域变得愈发重要。手势输入作为一种新的智能型人机交互技术,主要涉及图像处理、模式识别、概率统计学和计算机视觉等领域。由于人手是复杂变形体,手势表达灵活多变,不同手势之间具有较高相似性,以及手势序列在时间域和空间域内具有极大差异性等特点,使得手势输入成为一个极富挑战性的多学科交叉研究课题。本文可分为两方面内容:设计与实现基于双目视觉的手势识别;利用已定义手势和识别结果调用输入法实现中英文输入。手势识别与输入法的结合应用,在国内外尚属首例,已于2011年11月申报国家发明专利《基于计算机视觉的手势输入法构建方法及系统》,专利申请号2011103459148。 本文设计实现了基于视觉的手势输入法系统,该系统可实时完成左右手手势识别,并通过识别结果实现中英文输入。左右手交替输入使得输入法具有更高的输入效率和更好的用户体验。本系统包括以下四个处理环节:首先,手势关键帧序列提取。提取流程:设置异步缓冲模型大小,将摄像头捕捉到的手势视频流转换成手势图像帧并按时间先后顺序存入缓冲模型,对模型中图像帧进行相邻帧聚类,得到手势关键帧序列。其次,手势关键帧图像预处理。根据人体肤色特征定位并分割手势区域,对分割得到的手势区域帧进行二值化、图像增强和平滑滤波处理,之后利用拉普拉斯边缘提取算法获得手势轮廓。再次,手势关键帧特征提取,本文选取由手势区域几何特征,Hu不变矩特征,傅里叶描述子和Zernike矩联合向量作为手势特征向量。最后,手势识别及手势输入法。系统最终采用BP神经网络分类算法标定手势关键帧,根据识别结果控制输入法信息输入,通过实验测试,本系统可以利用手势实现中英文的输入、删除和修改操作。本文手势模板库共包括26个字母手势和7个控制手势,字母手势可实现信息输入工作,控制手势可实现输入法启动,暂停及输入信息的删除和修改工作。系统共完成33个手势的识别工作,通过对比实验,本系统具有较高识别准确率和系统实时反映速度。