基于口型肌电模式识别的人机交互研究与应用

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:yangzb5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机交互技术从人配合机器发展到机器配合人,现在机器需要主动去理解人的行为意图,并做出相应的反应,由此衍生出基于生物电信号的新型人机交互方式。能够用于人机交互的生物电信号有:眼电信号、脑电信号、肌电信号。肌电信号易于采集、信噪比高、模式丰富,使得其在人机交互中受到越来越多的关注。其中,基于手臂肌电的手势识别已经得到广泛的应用。基于面部肌电的口型识别比基于手臂肌电的手势识别更加具有隐蔽性,适合缄默式交互,命令丰富并且适合于高度瘫痪的人群使用。然而,其研究仍相对滞后,缺少面向于不同种类口型识别算法以及原型系统研发等研究。本文主要研究基于口型肌电模式识别的人机交互关键技术。口型动作是由众多肌肉的牵引完成,不同的口型动作会引起肌肉不同程度的参与,从而导致肌电信号的模式在能量、频率以及位置等特征上存在诸多不同。因此可以通过多个电极捕捉不同肌肉的动作电位,并且利用时序信号处理和机器学习等技术将不同口型动作的肌电模式区分开来。进而将不同的口型动作引起的肌电模式作为控制命令输出,驱使机器做出相应的反应,从而达到人机交互的目的。本文基于面部肌电信号对多种口型动作进行识别,主要工作包括:1)基于面部肌电信号的元音口型识别算法研究。实验采集了10名被试者5种中文元音口型的肌电数据。通过大量的对比试验并使用特征评价算法,确定了最优的口型识别算法。结果表明,使用5个通道数据、提取6个最佳特征并结合线性核支持向量机具有最优的识别性能,平均分类准确率达96.5%。使用数据增强的方法,实现了模型跨被试者迁移,使得新用户只需要少量的训练,即可达到高分类准确率。分析增加口型种类和将元音口型进行组合编码来丰富命令的可能性。最后将算法用于在线系统中进行测试,得到了平均92.6%的准确率。2)基于面部肌电信号的数字口型动作识别算法。针对第一部分留下来的问题,对中英文数字口型均展开研究,最终确定英文数字发音口型更适合。并设计实验一共采集了25名被试者数字“zero”-“nine”英文发音口型的肌电数据。通过诸多对比实验,提出了新的特征提取方案并结合二阶多项式核支持向量机,最终全部被试者10种口型的平均分类准确率达到了93.2%。3)提出了特征迁移与数据增强结合,实现模型跨被试者迁移,使得新用户只需要少量的训练,即可达到高准确率。提出数字口型组合编码方法,可以产生非常丰富的命令以应对复杂的人机交互场景。最后将数字口型识别算法应用于在线系统进行测试,单个口型测试准确率为91.1%,口型组合测试准确率为88.6%4)设计实现了基于面部肌电口型识别的人机交互系统,不同的交互方式适合于不同的场景需求。为多种人机交互场景开发了不同的人机交互系统,比如:机械臂、数字拨号、打字系统等,均取得了不错的效果,证明了算法的有效性与稳定性。
其他文献
随着集成电路产业发展迅速,电路与系统集成度不断增加,片上系统(SOC)的时代已经到来;由于模拟集成电路设计自动化技术尚未成熟,使模拟部分的设计成为SOC设计瓶颈,因此,提高模拟电路设计自动化水平,是当前集成芯片设计中的重要问题。本文研究基于工作点驱动的模拟集成电路设计自动化方法。通过电路拓扑结构图的分析自动确定一组可以独立设置的工作点电压与电流,可用于模拟集成电路器件尺寸的初始自动设计。传统模拟电
旅游空间结构是各项旅游活动在地理空间上的组合,它反映了区域旅游经济客体在一定地域范围内的分布状态和集中程度,对于衡量区域旅游发展状态具有重要意义。关于旅游空间结构
在我国,经济活动地理分布不平衡是现代经济增长的一个重要特征,相应地,涌现了一大批以产业群为特征的产业集聚区,为区域经济发展做出了重要贡献。本文以2003~2017年中国A股上市公司为样本,研究产业集聚对分析师盈余预测准确性的影响。本文研究发现产业集聚可以通过降低信息不对称程度这一内在机制,显著提升分析师盈余预测准确性,这一情况在国有企业中更明显。进一步分析发现,产业集聚水平的提高对分析师盈余预测准
瓜环化学现在已经成为大环化学及超分子化学领域中的一个重要的部分,随着对其研究的不断深入,除了在主客体化学方面,瓜环在超分子材料方向表现出优良的性能。本文主要从十元瓜环的配位化学着手,开展了一系列的研究,考察了3种配位模式:1)基于外壁作用的超分子自组装;2)金属离子诱导下的超分子自组装;3)瓜环和芳香族化合物形成的超分子组装。基于这三种模式,构筑了七种无荧光的多孔超分子框架材料,利用其多孔性和可吸
“大众创业、万众创新”的热潮,激发了民间大众的创业热情。商事制度的改革,进一步降低了公司注册的门槛,我国新登记市场主体的数量开始快速增长。大量的初创企业形成了潜在的巨大的办公市场,在此背景下,联合办公空间应运而生。联合办公空间作为初创企业的办公载体,响应了国家“双创”号召,践行了“双创”政策。同时,联合办公空间属于共享经济的一部分,对于优化资源配置,提高闲置资源的利用率有着重要作用。所以,联合办公
随着网络信息技术的高速发展,信息网络已成为社会发展的重要支撑和保障,但国际国内网络安全事件频发,世界范围的网络安全威胁和网络安全风险不断加剧,多数国家将网络安全上升到国家战略的层面并将网络安全等非传统安全威胁作为国家治理特别关注的对象。党的十八大以来,党中央高度重视网络安全,网络安全法、国家网络空间安全战略相继发布,国家网络安全屏障进一步巩固,网络安全保障能力建设得到进一步加强。网络安全领域有一句
切削参数的正确选择是机械加工企业每天都要面对的棘手问题,传统的加工优化方法一直局限于与成本或生产率相关的目标函数,但优化的更关键作用在于优化各种加工性能指标,如刀具寿命、表面粗糙度、切削力、切削温度等。合适的切削参数可以充分利用FMS中的各种自动化加工机床、数控机床、加工中心等机床,对于这些昂贵的设备,提高生产效率,降低加工成本,提高设备利用率具有重要意义。但是合适的切削参数不易找到,数据库技术和
本文探讨的核心问题是少数民族地区经济发展动力的转换问题。根据经济发展动力的来源不同,可以将其分为外输性动力和内生性动力。如果以此来观察和分析新中国成立以来少数民
语言是人类使用最基本、最普遍的交际工具,语言也是思想政治教育最常用的教育手段和最主要的教育方式。通过合理使用语言,教育者可以把特定的思想内容传递给受教育者,帮助受教育者提高思想道德素质,提高认识世界和改造世界的能力,促进受教育者全面发展,让每一位受教育者都为建设中国特色社会主义,实现共产主义而奋斗。高校思想政治教育目标的实现与信息传达的方式有着直接的关系。语言艺术在高校思想政治工作中起到“桥”和“
“理解”是数学教育永恒的追求,是当今数学教育所关注的热点问题。“图象变换”是高中重点学习内容,又是解决函数问题的主要手段,对函数问题的研究起着重要的辅助作用。文章以“图象变换”为切入点,调查研究高中数学教师对“图象变换”的理解现状以及影响因素。文章首先阐述了选题的背景、研究的问题及意义。再者,系统地整理了有关“图象变换”及“理解水平”的国内外的相关文献、资料,总结了目前主要的研究结论。与此同时,文