脑机接口（Brain Computer Interface,BCI）是指通过对人脑神经系统电活动信号的采集、识别及处理,将人脑发出的指令直接传递给指定的机器终端,操纵机器设备运行的技术。前期脑机接口的发展都是基于单一模态技术,容易出现“BCI盲”以及分类准确率不高等问题。因此,双模态信号的脑机接口研究应运而生,此后不断发展。本文研究了基于EEG-NIRS双模态脑机接口信号采集技术,整合了两类信号时间和空间分辨率优势,设计了一套便携式脑电与血氧同步采集系统,实时监测脑神经功能活动。本文主要工作有:（1）设计并搭建了脑电信号与近红外信号同步采集系统。该系统中脑电电极将探测到的脑电信号滤波、放大,经蓝牙发送给微处理器,解析出脑电数据;光电探头将光信号转换成电信号,经放大分离、滤波和AD转换信号处理电路后,根据修改后的郎伯-比尔定律（Lambert-Beer law）计算出含氧血红蛋白变化量（ΔHb O2）和脱氧血红蛋白变化量（ΔHb）,然后输出。通过与商用仪器Nu Amps和Oximeter的对比实验证实了系统的有效性。（2）对采集的大脑前额的EEG、NIRS信号分别进行预处理,对EEG信号采用小波硬阈值去噪、软阈值去噪和自适应阈值去噪进行分析对比,最后选择了自适应小波阈值去噪;对NIRS信号采用0.2Hz低通滤波去噪,采用CSP算法和RCSP算法对NIRS信号进行特征提取后的分布效果对比,确定采用RCSP特征提取算法对双模态信号做基于特征层的串行融合,并将其用于观看3D电视疲劳度的模式识别分类中。（3）将Keras深度学习算法应用于疲劳信号的特征进行多分类中,并与传统的SVM模式分类算法进行对比,实验表明运用深度学习分类法效果更好。最后,对EEG信号、NIRS信号和EEG-NIRS融合信号分别进行疲劳度分类,根据分类后生成的混淆矩阵评判分类的准确度,实验结果表明EEG-NIRS融合信号疲劳度分类准确率和特异性高于任一单一数据分类准确率。