基于视觉的手势输入法研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:aiqi527927
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机应用技术的不断发展,传统的采用鼠标、键盘或触摸屏幕作为交互手段的人机交互技术已不能完全满足人们当前的需求,而以自然语言、手势语言和面部表情语言为代表的多模式智能型人机交互技术在计算机研究领域变得愈发重要。手势输入作为一种新的智能型人机交互技术,主要涉及图像处理、模式识别、概率统计学和计算机视觉等领域。由于人手是复杂变形体,手势表达灵活多变,不同手势之间具有较高相似性,以及手势序列在时间域和空间域内具有极大差异性等特点,使得手势输入成为一个极富挑战性的多学科交叉研究课题。本文可分为两方面内容:设计与实现基于双目视觉的手势识别;利用已定义手势和识别结果调用输入法实现中英文输入。手势识别与输入法的结合应用,在国内外尚属首例,已于2011年11月申报国家发明专利《基于计算机视觉的手势输入法构建方法及系统》,专利申请号2011103459148。  本文设计实现了基于视觉的手势输入法系统,该系统可实时完成左右手手势识别,并通过识别结果实现中英文输入。左右手交替输入使得输入法具有更高的输入效率和更好的用户体验。本系统包括以下四个处理环节:首先,手势关键帧序列提取。提取流程:设置异步缓冲模型大小,将摄像头捕捉到的手势视频流转换成手势图像帧并按时间先后顺序存入缓冲模型,对模型中图像帧进行相邻帧聚类,得到手势关键帧序列。其次,手势关键帧图像预处理。根据人体肤色特征定位并分割手势区域,对分割得到的手势区域帧进行二值化、图像增强和平滑滤波处理,之后利用拉普拉斯边缘提取算法获得手势轮廓。再次,手势关键帧特征提取,本文选取由手势区域几何特征,Hu不变矩特征,傅里叶描述子和Zernike矩联合向量作为手势特征向量。最后,手势识别及手势输入法。系统最终采用BP神经网络分类算法标定手势关键帧,根据识别结果控制输入法信息输入,通过实验测试,本系统可以利用手势实现中英文的输入、删除和修改操作。本文手势模板库共包括26个字母手势和7个控制手势,字母手势可实现信息输入工作,控制手势可实现输入法启动,暂停及输入信息的删除和修改工作。系统共完成33个手势的识别工作,通过对比实验,本系统具有较高识别准确率和系统实时反映速度。
其他文献
客观世界可以被抽象成不同的复杂网络,其中个体及个体之间的关联关系可以依据设定的规则抽象为图中的节点和节点间的边。社区结构是复杂网络的一个重要属性,社区内部节点连接稠
在新技术与教育市场化条件下,虚拟实验室在中学化学教育中的广泛应用已经具有了实现的极大可能。因为,只有真正实用的产品才是用户欢迎的产品,那些依靠新技术名目吸引顾客的
近年来,随着信息技术的飞速发展,人们对于信息的安全问题越来越关注。生物特征识别技术利用人体固有的生物特征来进行身份识别,不容易被遗忘以及窃取,在信息安全方面具有广泛
虚拟实验是教育领域的一个研究热点,为实验教学改革提供了一条新思路,与传统的实验相比有经济、安全、不受时空限制和教学一体化等优点。对于中学化学来说,信息技术在教学中
最近几年PDA和其他触屏终端用户使用数量每年都在剧增。这使得用户对更加高效的、适应用户自身书写习惯的手写识别算法的需求也更加迫切。而用户书写笔迹自适应技术将会为针
社会网络是指社会个体成员之间因为互动而形成的相对稳定的关系体系[1]。经过研究发现社会网络具有高度的社区特性,社区内部成员间联系相对紧密,不同社区间的成员联系相对稀
近年来,随着计算机与多媒体的迅猛发展,图像逐渐成为人们获取信息的重要渠道。然而,图像在获取和传输过程中,不免会受到干扰,使得图像质量退化。因此,对失真图像进行复原显得
随着嵌入式领域的快速发展,使得以前只应用在大型设备如飞机、火箭、轮船上的GPS(Global Positioning System全球定位系统)技术进入了人们生活。嵌入式设备体积小、效率高、
生物水质自动监测方法目前被广泛应用于水体的质量监测和安全预警中,其特点是利用水生生物的生理特性以及对不同水质的行为特性反应水体质量的变化以及水体污染的程度,从生物
相对数值运算而言,符号运算是一种推理过程,有助于解决具体问题,利于揭示事物内涵规律,因此符号运算更是对数学的高度概括和抽象,而当前对积分符号运算并没有规律可循,对某些