论文部分内容阅读
旗语是一种在工业生产、交通管理等领域中用于传递信号的肢体语言。体感识别技术旨在让计算机理解肢体语言,所以在肢体语言的交互教学活动中也有很大应用空间。当今新一代体感识别技术更是利用KINECT、wii等设备克服了传统的体感识别输入设备(如数据手套)在交互教学中的局限性。从教学方面来看,采用新一代体感识别技术有助提高计算机对肢体语言的理解能力,可以为旗语等肢体语言教学提供新的途径,从而提高交互教学的教学质量,促进教学活动开展。为了将体感识别技术引入旗语教学领域并适应其教学需求,本论文将尝试通过建构一种旗语培训系统以达成此目的。基于铁路旗语教学需求本论文首先对几种现下通行的体感识别技术进行了应用性比较,然后利用KINECT感应器设计并建构了一套基于体感识别技术的旗语培训系统。该系统包括两个核心模块,即动作训练模块和动作识别模块:在动作训练模块中,用户可选择需要训练的动态旗语动作进行训练;在动作识别模块中,用户可利用训练好的动作模板去识别用户通过KINECT输入的动作。本论文的重点部分阐述了动作识别模块如何提取和识别肢体语言特征,并尝试改进了现下流行的骨骼数据预处理方法和动作识别算法。其中,关于肢体特征提取,本论文基于获取的原始骨骼点三维坐标,修正了深度坐标,并对其进行了归一化处理,从而改进了加权方法;而关于肢体动作识别,本论文将动态时间规划算法应用到三维坐标系,并根据旗语识别的特性将这一算法改进为嵌套动态时间规划算法。实验证明,如上改进后的算法明显提高了体感识别的准确率。在动作训练和动作识别两个核心模块的基础上,在后期本论文还增加了互动教学模块和语音识别模块,用户能够在新增模块中使用肢体动作和语音命令来播放教学视频、观看教学图片,并与计算机进行实时互动。以上所有研究都得到了充分的实验数据来验证其可行性。作为研究成果,本论文也给出了一套完整的系统设计和代码实现方案。基于以上研究成果,本论文成功实现将新一代体感识别技术引入旗语教学领域。本论文建构的旗语培训系统拓展了旗语教学方式的多样性,大幅提高了旗语教学的质量,进一步可促进该领域的人才培养,并协助其行业规范的完善进步。