在脑机接口领域中,由于脑电信号能够直接反应人脑对外界变化的认知处理过程,因此利用它进行目标检测成为很多学者的关注焦点。利用脑电信号进行目标检测的关键在于:（1）对脑电信号的分析处理。小样本的脑电数据集往往会导致模型不能学习到泛化能力强的特征,且在二分类的脑电实验中,数据集中类别不平衡,正样本数量远小于负样本的数量,导致模型在训练中严重偏向于样本数较多的类别,对实际的目标检测问题效果很差;（2）设计出有效的目标检测范式。传统的脑电范式主要通过普通显示器为被试呈现二维的目标刺激,相比实际中我们看到的三维立体目标,这样二维刺激缺少真实感,在实验中也很难给被试带来足够的沉浸感,从而难以诱发出真正有效的脑电信号。针对以上问题,本文的研究内容主要包括以下几个方面:（1）提出了一种基于卷积神经网络的特征混叠优化方法。使用深度可分离卷积代替了传统的标准卷积,并采取多个不同大小的卷积核并行卷积的方式,大大降低了模型的训练参数量。同时,由于深度可分离卷积将通道卷积和特征图卷积分开进行,且采取分步卷积的方式,适应脑电信号的特点,能够提取出表征能力更强的时域和空域特征。在此基础上,再进一步对特征进行混叠优化,在原始数据集的基础上构建出多个类别平衡的数据子集,将神经网络作为特征提取器,利用数据子集对其进行训练后,由xgboost模型对提取出的特征进行混叠优化后进行分类。实验证明该算法在对公开数据集上的平均准确率达到81%,在VR范式下的实验数据集上准确率平均达到90%,相比其它对比算法在该数据集的表现,准确率提升了平均9%。（2）研究了VR技术对脑电实验的影响,并进行相关的实验结果分析。结果表明,不论是在被试内还是跨被试数据集上,VR范式下的准确率要高于非VR范式下的准确率1%～2%,且在对脑电信号数据进行分段实验时,同样实验效果下,VR范式下所需要的数据长度要小于非VR范式,证明了由于VR技术的沉浸性等特点,相比非VR下的普通脑电实验范式,能够在短时间内诱发出效果更好的脑电信号,有助于提升脑机接口系统的性能表现。（3）搭建了一套对虚拟现实目标进行在线检测的脑机接口系统,解决了软硬件之间交互、在线目标检测、与外界设备通信等问题,实现了在虚拟环境下进行在线目标检测的系统。综上所述,本文利用基于卷积神经网络的特征混叠优化方法,解决了小样本脑电数据集训练过拟合和类别不平衡的问题,同时验证了VR技术对脑机接口性能的提升效果,最后实现了一套对虚拟现实目标检测的脑机接口系统。