基于增强现实与视觉反编码的脑机接口研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:jiahongtao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为一种新型的人机交互方法,脑机接口技术(Brain-Computer Interface,BCI)因其可以直接读取人类思维而被视为改变人类未来世界的颠覆性技术之一。经过多年的发展,脑机接口技术形成了多种控制范式。这些控制范式按照系统对外部环境的依赖程度可以分为独立型脑机接口和非独立型脑机接口。非独立型脑机接口系统中可以进一步分为触觉、视觉以及听觉诱发型脑机接口。本论文主要面向视觉诱发型脑机接口系统的研究。本文从交互方法和信号反编码两个角度研究改进视觉诱发脑机接口系统的方法。首先,本文提出了动态交互的方法并在实际系统中验证了有效性。其次,本文提出的eLSTM(ensemble LSTM,eLSTM)网络对从脑电图中反编码40类图片内容获得了很高的准确率。该方法有望应用于实际系统中,将现有的是否有视觉诱发电位的两类判断提升为刺激内容反编码的多类判断,从而能够进一步提升交互的效率。由于脑电信号信噪比较低,并且需要特定的信号诱发方式,基于视觉P300的脑机接口系统信息传输率一直比较低。这就意味着系统中一个控制指令的输出往往有较大的时间延迟。针对这一问题,本文基于增强现实技术设计了一种动态交互方法并将其应用于自主搭建的脑机接口环境控制系统。该动态交互方法通过检测现场环境下待控制对象,排除无关指令选项,动态呈现人与系统的交互内容。系统对五名被试进行了可行性实验验证。结果表明,相对于同等条件下的静态交互方法,动态交互方法可以将命令延迟时间缩短17.4%。同时,由于动态交互界面中冗余指令的设计,被试错误操作的指令数维持在较低水平。目前基于P300的脑机接口系统运行的基本原理是判断信号中是否存在诱发电位。生理上,人对视觉信息的感知更加灵敏。视觉诱发的脑电信号中包含着被试的感官、认知过程等丰富信息。如果能从脑电信号反编码出视觉刺激的内容将有助于改善现有的脑机交互方法。本文针对图片诱发的脑电数据设计了基于神经网络的视觉信息反编码算法。所设计的eLSTM网络对40类别的信号反编码获得了98.14%的准确率。平均单个样本反编码时间消耗不到0.01秒。本文设计的eLSTM网络作为多个网络的集成形式,综合了多个Stacked LSTM网络的反编码信息,因此具有更高的精度。本文还分析了不同脑区数据对反编码准确性的影响。结果表明,在通道数有限时,利用顶枕皮层附近电极信号的反编码效果比额叶区和全脑区更好。
其他文献
地点识别是判断移动机器人是否到达先前经过的场景,常被应用在视觉SLAM的回环检测优化环节。随着视觉传感器在移动机器人中的广泛应用,复杂场景下的视觉地点识别是一个长期未
湖泊中营养盐(氮、磷)的富集导致了水体的富营养化,并进一步引发了蓝藻水华。从其自身特点来看,湖泊生态系统并不只是被动地响应氮输入,它还能够通过自身的生物反硝化作用将氮
我们将地理世界理解为地理实体(例如城市,道路,河流)的组合,但是当前在GIS中描述地理对象的基本粒度是点、线、面的图元。因此,一方面这些完整的地理实体常常被分割开来进行
科技发展日新月异,经济快速发展,人们的生活水平逐步提高,生活节奏也逐渐加快,人们外出就餐机会也越来越多,然而“民以食为天”,“身体是革命的本钱”,如何保证人民的健康,为
图像语义分割一直是计算机视觉领域研究的热点,卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果。本文对现有基于卷积神经网络的图像语义分割算法做
激光陀螺由于其性能优良被广泛应用于航天领域,在激光陀螺自动装配过程中,衬套零件表面点胶是一道重要工序。针对人工点胶过程中由胶液粘度高导致的点胶一致性差等问题,本文
金属有机框架材料是由有机配体和金属离子或簇构成的,因其结构可调和超高的孔隙率得到广泛关注,在分子分离、气体存储、药物输送和生物传感等领域均有应用。本文利用金属有机
水环境生态问题日益严重,全球面临水资源短缺,水环境被污染等问题,寻找一种可以高效去除水体中有机污染物的材料对生态和环境均具有重要意义。除了传统的吸附剂和光催化材料,
无线传感器网络(WSNs)由各种异构的传感器节点组成,因其具有易大规模部署、自组网等优点被广泛应用于生活、工业、军事等方面。由于资源有限且能力不同,传感器节点可以执行不
近些年来,VR(虚拟现实)设备越来越受到人们的喜爱,全球前列技术公司也纷纷布局VR市场。其中数据手套就是当前国内外研究热点。但当前的数据手套手部姿态采集大多使用惯性传感