论文部分内容阅读
在示教动作的学习过程中,利用计算机对练习者的动作质量进行评估并给予反馈能极大地提高自主学习的效率。本文以手语教学这一具体应用为例,对示教动作的学习评价进行了研究。随着社会的进步,手语被越来越多的人们重视和学习。然而,当前国内的手语教学方式大多传统,需要耗费大量的资源。而且为数不多的手语教学系统功能单一,缺乏对练习后的评价指导。为了解决目前学习手语的这些问题,提高利用手语教学系统自主学习的效率,本文对手语的学习评价提出了相应的方案,并在吸取国内外相关教学类系统的优点基础上,设计实现了一个名为SignInstructor的手语教学系统,为广大需要学习手语的人们提供一个系统的、高效的学习手语的平台。 本文的主要研究工作包括: (1)提出了双通道Faster R-CNN离线手部检测框架和精简的YOLOv2在线手部检测网络。肢体动作的准确定位是示教动作学习评价的基础。在诸如手语这类涉及到与人手相关的教学中,手部检测尤为重要。本文提出了一种结合RGB和Depth信息的双通道Faster R-CNN手部检测框架,用于处理离线数据。该框架能够有效融合RGB和Depth的信息,在基本保持检测速度不变的基础上,提升检测精度。同时,本文还提出了一个精简YOLOv2手部检测网络,用于处理在线数据。该网络能够在较小幅度降低检测精度的基础上,极大地提升检测速度,基本满足实时需求。 (2)提出了一种基于特征相似度的手语评价方法。示教动作的学习和评价主要考虑两方面的因素,即动作轨迹和外观特征。本文从手型和轨迹这两个重要特征来对手语动作进行评价。本文采用向量直方图交的方式获取关键手型的相似度,并利用欧氏距离来度量重采样后轨迹的相似度。在获取相似度后,利用线性回归的方式学习相似度到评分的映射关系,以给出最终的手型评分、轨迹评分以及综合评分。 (3)设计并实现了名为SignInstructor的手语教学系统。系统收录了《中国手语》4000多个词汇,包含学习模式、练习模式、测试模式及其他查询等功能模式。系统能够在学习者练习手语后对其动作进行评价,并给予合理的评分。除此之外,本文还针对系统做了相关的用户研究,不仅评测系统的学习效率,还为后续进一步改善系统提供了基础。 综上所述,本文以手语为例,对示教动作的学习评价进行了深入研究,并据此设计实现了手语教学系统。实验表明,本文提出的方法能有效提高手语的学习效率。