理解动作意图指的是在观察他人动作时,人自发地领会动作所包含的意图的一类行为,此类行为对语言、心智以及社会化的发展均具备重要的意义。如今针对领会动作意图的大部分研究采用单模态的脑成像技术,在测量的效果与时空分辨率上均存在一定的不足。而本研究采用脑电图(electroencephalography,EEG)和近红外光谱(near-infrared spectroscopy,NIRS)结合的双模态脑成像技术,能够同步测量大脑活动的电位信号与血氧变化信号,达到领会动作意图神经机制的多信息、多层面的研究。本研究选取了两类手与杯子进行接触的图片分别表示手拿杯子喝水和移动杯子的动作意图,取得了以下研究成果:(1)本文主要研究了 EEG信号的频域特征、时频特征以及共同空间模式(common spatial pattern,CSP)的分类识别率,并做了比较与分析,研究发现提取的CSP特征能够获得较好的分类正确率;从方差、幅值平均绝对值以及峰值三个方面,对动作意图血氧信号做了分析,发现两种动作意图的血氧变化不一致;幅值平均绝对值特征能较好地区分两种动作意图。通过对EEG和NIRS的特征研究发现在左侧脑区移动杯子意图的激活强于拿杯子喝水意图,而在右侧脑区喝水意图的激活更强,说明了动作意图的理解存在偏侧化。(2)为了充分地利用双模态信号,本文构建的BCI系统输出决策之前做了数据融合处理。本文的两类信号来自于两种不同类型的传感器,因此本文以研究基于线性判别分析(linear discriminant analysis,LDA)的特征层融合为主。首先利用LDA分别对提取到的EEG信号以及NIRS信号的特征做模式分类,获得单模态的分类准确率;然后利用基于LDA的特征层融合,把两种类型的单模态特征信息联合起来再做模式分类,获得融合之后的识别正确率。基于LDA的双模态特征层融合BCI系统分类正确率均值达74.4%,均比任意单模态分类正确率高。且因为采用数据融合技术,致使对某类脑信号采集技术反应不明显的被试者,可以在另一种技术上获得补充,于是双模态获得的平均分类正确率比EEG单模态提高4.2%,比NIRS单模态提高19.8%。并且基于LDA的特征层融合将融合和决策同时进行节约了系统信号处理的时间,提高了响应速度。(3)本文还提出基于误差反向传播算法(error back propagation algorithm,BP)的决策层融合方法:首先利用BP分别对EEG信号以及NIRS信号提取的特征做模式分类,然后把两类信号的输出结果串联作为BP的输入变量,即可实现决策层融合。BP决策层融合的识别正确率比单模态的亦有提高,但不及LDA的特征层融合的。可能因为特征层融合可以容纳较多的信息,提高了系统的可信度,而决策层融合包含的信息或许不及特征层融合丰富。LDA有严谨的数学理论,其参数能够在训练中获取;而BP则更依赖于数据集的先验知识,以采用适合的参数。BP是依据经验风险最小化原则,易于收敛得局部最优解。采用双模态数据融合构建BCI系统,使得系统的时间覆盖能力和空间覆盖能力得以提高,信息模糊度得以降低,以致双模态BCI系统具备了良好的鲁棒性,大大减少BCI盲。