论文部分内容阅读
近年来,虚拟现实(virtual reality,VR)技术在各个领域得到了广泛应用,并且其产品逐步融入了人们的生活。通过头戴式显示器(head-mounted display,HMD)或者大型投影屏幕(large projector screen),虚拟现实技术能够生成虚拟环境,从而为使用者提供丰富的三维信息,给人以强烈的立体感和沉浸感。但人们在使用虚拟现实产品时经常会产生眩晕、恶心和呕吐等不适症状。我们把这些症状称为视觉诱导晕动症(visually induced motion sickness,VIMS)或虚拟现实晕动症(virtual reality motion sickness,VRMS)。这些症状严重影响着虚拟现实产品的用户体验,极大地制约着虚拟现实技术的进一步发展。因此,开展对VIMS的研究具有重要的意义。本论文研究的目的是分析脑电信号(electroencephalogram,EEG)与主观视觉诱导晕动症级别(visually induced motion sickness level,VIMSL)的关系,找到能够用来评估VIMS的EEG指标(EEG marker);在此基础上,实现VIMS症状的自动检测。本论文首先设计了基于VR的汽车驾驶模拟器(vehicle driving simulator,VDS)实验,该实验可以诱发受试者产生VIMS症状;然后使用Muse设备采集实验期间受试者的脑电信号(electroencephalogram,EEG)数据,同时采集受试者自主口头报告的主观VIMS级别(VIMS level,VIMSL)数据;最后采用主观和客观相结合的方法对VIMS进行分析,寻找基于KC复杂度(Kolmogorov complexity,KC)的VIMS评估指标,并且提出基于机器学习的VIMS检测算法。论文的主要研究成果包括:(1)设计了基于VR的VDS实验。该实验包含了基线阶段、驾驶阶段和休息阶段。在这三个阶段中,均使用可穿戴无线设备Muse来采集EEG数据,并通过受试者自主口头报告的方式得到实验过程中的主观VIMSL数据。实验表明,该实验可以诱发多数受试者产生较强烈的VIMS症状。(2)在VIMS评估方面,本论文通过分析EEG指标与主观VIMSL之间的相关性以及对比晕动前后的EEG指标是否存在显著性差异的方法,找到基于KC复杂度的VIMS评估指标。实验表明:1)4个通道(TP9、FP1、FP2和TP10)EEG数据的KC复杂度与VIMSL的斯皮尔曼等级相关(Spearman’s rank correlation)分析显示两者之间存在一定的相关性;2)3个通道(TP9、FP1和FP2)的KC复杂度在VIMS发生前后存在显著性差异,且在VIMS发生后KC复杂度均呈明显下降的趋势,说明这3个通道的KC复杂度可以作为评估VIMS的指标;3)VIMS发生之后,70%的受试者在TP10通道的KC复杂度明显下降,而30%受试者的KC复杂度不降反升;这可能是因为受试者的个体化差异(individual difference)导致的。(3)在VIMS检测方面,本论文提出了一种VIMS检测算法。该算法首先对EEG数据进行预处理;然后对预处理后的数据进行特征提取,并通过特征选择得到与VIMSL相关性高的特征子集;最后,通过构造分类器对VIMS的状态进行分类。实验表明:1)本算法的特征提取与选择方法能够有效地提取EEG数据中反映VIMS的特征;2)在本文的特征提取与选择方法的基础上,与支持向量机(support vector machine,SVM)、BP神经网络(BP neural network)相比,基于Bagging的随机森林(random forests,RF)分类器能够达到更高的检测准确率(76.5%)。研究结果表明,KC复杂度可以作为评估VIMS的指标;本论文提出的VIMS检测算法在仅有4个通道的EEG数据的情况下,仍能达到较高的检测准确率,适用于较少通道可穿戴无线设备条件下VIMS检测系统的构建。本论文的研究结果有助于对VIMS的深入理解,丰富人们对VIMS的研究,从而为虚拟现实技术的改进提供参考。