论文部分内容阅读
作为一种新型的人机交互方法,脑机接口技术(Brain-Computer Interface,BCI)因其可以直接读取人类思维而被视为改变人类未来世界的颠覆性技术之一。经过多年的发展,脑机接口技术形成了多种控制范式。这些控制范式按照系统对外部环境的依赖程度可以分为独立型脑机接口和非独立型脑机接口。非独立型脑机接口系统中可以进一步分为触觉、视觉以及听觉诱发型脑机接口。本论文主要面向视觉诱发型脑机接口系统的研究。本文从交互方法和信号反编码两个角度研究改进视觉诱发脑机接口系统的方法。首先,本文提出了动态交互的方法并在实际系统中验证了有效性。其次,本文提出的eLSTM(ensemble LSTM,eLSTM)网络对从脑电图中反编码40类图片内容获得了很高的准确率。该方法有望应用于实际系统中,将现有的是否有视觉诱发电位的两类判断提升为刺激内容反编码的多类判断,从而能够进一步提升交互的效率。由于脑电信号信噪比较低,并且需要特定的信号诱发方式,基于视觉P300的脑机接口系统信息传输率一直比较低。这就意味着系统中一个控制指令的输出往往有较大的时间延迟。针对这一问题,本文基于增强现实技术设计了一种动态交互方法并将其应用于自主搭建的脑机接口环境控制系统。该动态交互方法通过检测现场环境下待控制对象,排除无关指令选项,动态呈现人与系统的交互内容。系统对五名被试进行了可行性实验验证。结果表明,相对于同等条件下的静态交互方法,动态交互方法可以将命令延迟时间缩短17.4%。同时,由于动态交互界面中冗余指令的设计,被试错误操作的指令数维持在较低水平。目前基于P300的脑机接口系统运行的基本原理是判断信号中是否存在诱发电位。生理上,人对视觉信息的感知更加灵敏。视觉诱发的脑电信号中包含着被试的感官、认知过程等丰富信息。如果能从脑电信号反编码出视觉刺激的内容将有助于改善现有的脑机交互方法。本文针对图片诱发的脑电数据设计了基于神经网络的视觉信息反编码算法。所设计的eLSTM网络对40类别的信号反编码获得了98.14%的准确率。平均单个样本反编码时间消耗不到0.01秒。本文设计的eLSTM网络作为多个网络的集成形式,综合了多个Stacked LSTM网络的反编码信息,因此具有更高的精度。本文还分析了不同脑区数据对反编码准确性的影响。结果表明,在通道数有限时,利用顶枕皮层附近电极信号的反编码效果比额叶区和全脑区更好。