论文部分内容阅读
手语识别的实现能够方便健听人和听障人之间的沟通,同时手语识别技术的提升也有助于人机交互技术的发展,因此手语识别的研究有着重要的意义。目前,基于视觉的手语识别普遍存在着提取的手语特征不稳定、不精确的问题。针对上述问题,本文尝试一种基于骨架和改进Hu矩的手语识别方法,主要研究工作有: 1、本文提出一种基于视觉重要性的骨架提取方法。通过对人类视觉认知规律、骨架定义、优秀骨架性质的研究和分析,本文认为一个像素点成为骨架点的可能性大小以及该像素点在视觉上的重要程度,主要由两个因素所决定:以该像素点为圆心的内切圆与边界切点的数量;内切圆切点与边界形成的有效跨距。本文给出了两个因素获取的算法流程,同时设计了一种由这两个因素所决定的像素点显著值的计算公式。通过对显著值的选取能够实现骨架多尺度控制以及获取雏形骨架。通过对雏形骨架再加工,能够获取视觉性较好的优良骨架。 2、本文提出一种改进的Hu矩作为手部骨架的特征描述。原始Hu矩的主要思想是使用基于区域的且对变换不敏感的几个矩作为形状特征,因此它也被称为区域矩。区域矩不适合骨架图像的描述。为此,本文在其他文献研究的基础上,消除原始Hu矩的区域因子,设计了具有完整Hu矩信息的改进型Hu矩,用于描述骨架图像。 实验结果表明,本文方法获取的骨架具有较好的稳定性和可视性;改进的Hu矩对于骨架图像的平移、旋转和缩放具有较好的鲁棒性,是一种比较好的骨架图描述子;通过广义回归神经网络(GRNN)实现的手语分类和识别,也获取了理想的效果。