示教动作的学习评价及其在手语教学系统中的应用

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jiayunhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在示教动作的学习过程中,利用计算机对练习者的动作质量进行评估并给予反馈能极大地提高自主学习的效率。本文以手语教学这一具体应用为例,对示教动作的学习评价进行了研究。随着社会的进步,手语被越来越多的人们重视和学习。然而,当前国内的手语教学方式大多传统,需要耗费大量的资源。而且为数不多的手语教学系统功能单一,缺乏对练习后的评价指导。为了解决目前学习手语的这些问题,提高利用手语教学系统自主学习的效率,本文对手语的学习评价提出了相应的方案,并在吸取国内外相关教学类系统的优点基础上,设计实现了一个名为SignInstructor的手语教学系统,为广大需要学习手语的人们提供一个系统的、高效的学习手语的平台。  本文的主要研究工作包括:  (1)提出了双通道Faster R-CNN离线手部检测框架和精简的YOLOv2在线手部检测网络。肢体动作的准确定位是示教动作学习评价的基础。在诸如手语这类涉及到与人手相关的教学中,手部检测尤为重要。本文提出了一种结合RGB和Depth信息的双通道Faster R-CNN手部检测框架,用于处理离线数据。该框架能够有效融合RGB和Depth的信息,在基本保持检测速度不变的基础上,提升检测精度。同时,本文还提出了一个精简YOLOv2手部检测网络,用于处理在线数据。该网络能够在较小幅度降低检测精度的基础上,极大地提升检测速度,基本满足实时需求。  (2)提出了一种基于特征相似度的手语评价方法。示教动作的学习和评价主要考虑两方面的因素,即动作轨迹和外观特征。本文从手型和轨迹这两个重要特征来对手语动作进行评价。本文采用向量直方图交的方式获取关键手型的相似度,并利用欧氏距离来度量重采样后轨迹的相似度。在获取相似度后,利用线性回归的方式学习相似度到评分的映射关系,以给出最终的手型评分、轨迹评分以及综合评分。  (3)设计并实现了名为SignInstructor的手语教学系统。系统收录了《中国手语》4000多个词汇,包含学习模式、练习模式、测试模式及其他查询等功能模式。系统能够在学习者练习手语后对其动作进行评价,并给予合理的评分。除此之外,本文还针对系统做了相关的用户研究,不仅评测系统的学习效率,还为后续进一步改善系统提供了基础。  综上所述,本文以手语为例,对示教动作的学习评价进行了深入研究,并据此设计实现了手语教学系统。实验表明,本文提出的方法能有效提高手语的学习效率。
其他文献
随着声场理论和信号处理技术的发展,越来越突显出水声技术与水声物理、信号处理以及海洋环境三者的紧密关系,同时研究趋势逐步转向精细干涉条纹结构的研究与利用。本文基于以上
靶场测控的主要作用是为靶场坐标系统的建立和联网提供准确的坐标、为武器系统试验快速的标定方位角、为靶场测试系统提供统一的时间基准,它在靶场试验中起着至关重要的作用。
遥测数据能够反映飞行器内部主要设备的工作状态和性能,但干扰和误码的存在使地面测量站得到的遥测信号可信性降低,需要对测得的遥测数据进行处理。  论文研究了遥测多站数据
在无线通讯系统中,任何信息的传递都是需要经过电磁波进行。然而无线系统的接入点不可避免地会接收到来自多个节点的电磁波信号,从而造成有用信号和无用信号的叠加,这就是干扰产
可见光通信(Visible light communication,VLC)是一项十分有潜力的技术,可利用廉价的发光二极管(lightemitting diodes,LED)同时提供照明以及高速数据传输。由于其安全性和实用性,
随着各种新型复杂体制雷达的出现和电磁脉冲环境的日益复杂,仅仅采用典型特征数据库查找的雷达信号识别方法,已经很难准确、实时和高效地识别雷达辐射源的存在。在高噪声、电磁
深度学习相关的技术在人工智能领域以及计算机科学的发展过程中有着十分重要的作用。近年来,深度学习中的生成对抗网络由于其广泛的应用,一直备受研究者关注。其中,利用生成对抗
云计算根据租户需求提供弹性的、廉价的存储、计算等资源;对等网络(Peer-to-Peer,P2P)、内容分发网络(Content Delivery Network,CDN)等地理分布式系统将服务推送到网络边缘,有
合成孔径声纳系统是对水下地形地貌、物体目标成像的关键设备。低频合成孔径声纳利用低频声波的穿透性,可以对掩埋目标、沉积层结构进行成像。最近十几年随着人类对海洋资源的
近些年来,姿态测试技术取得了飞速的发展,对实现火箭弹等武器的精确打击发挥了重要作用。传统的火箭弹姿态测试方法是将地磁场信息与弹道模型相结合,以此解算其姿态角。但这