论文部分内容阅读
眼动跟踪数据记录了用户眼球运动行为,表征了用户视觉认知活动,可以用于分析用户的视觉注意过程,预测用户的交互意图。脑电数据记录了人脑内部的生物电现象,对脑电数据进行特征提取可以有效分析出用户的认知行为,用于实现脑机交互。现阶段对认知的研究主要是通过单一的眼动或者脑电数据进行分析,不具有完备性,不能准确的描述用户认知状态。为此,本文提出了基于眼动和脑电数据融合的认知计算方法,通过分别采集用户在进行运动想象时的眼动和脑电数据,进行相应的预处理和特征提取,然后基于数据融合方法进行交互意图推理等认知计算。同时针对单用户在复杂场景中的交互不便性,提出了基于多用户协同的人机交互系统,通过合作的方式来完成交互任务,提升协作水平。本文的研究工作主要包括以下三个部分:(1)眼动和脑电数据的特征提取与应用。设计运动想象实验,对所记录的眼动和脑电数据分别进行预处理、特征提取和分类判断。针对眼动数据采用基于图像处理的方式获取用户的眼动特征,比较了瞳孔直径、注视点坐标、眼跳、注视时间和注视次数的分类准确率,实验结果表明瞳孔直径、注视点坐标和眼跳与用户的运动想象结果密切相关,平均分类准确率分别可以达到75.54%、72.23%和69.11%。针对脑电数据构建了多种分类模型,实验结果表明进行了特征提取的分类准确率高于没有特征提取的分类准确率,且基于CNN的分类准确率比SVM的分类准确率高6%左右,WT+CNN的模型的平均分类准确率最高为80.09%。(2)基于眼动和脑电数据的融合方法。为了提高运动想象的分类准确率,提出了基于眼动和脑电的数据融合方法,将眼动和脑电数据分别进行了特征层和决策层融合。实验结果表明,特征层的平均分类准确率达到81.16%,决策层的平均分类准确率达到82.56%,均高于单独的眼动或者脑电的分类准确率。同时针对脑电通道不足的情况进行分析,提出了眼动对脑电的补偿方法,证明了眼动+2通道的脑电分类准确率近似于4通道的脑电分类准确率。(3)设计开发了基于多用户协同的人机交互系统。本文构建了用户在运动想象时的离线训练模型,同时将多用户在运动想象时的数据进行了融合分析,实验表明多用户数据融合系统的分类准确率要高于单用户的分类准确率。同时将离线模型应用于实时交互应用系统中,设计与开发了基于多用户协同的在线游戏,两位用户通过运动想象来控制游戏对象,用户实验表明该系统有效的提升了协同交互效率,同时提高了用户体验。