人工智能的终极目标是让机器具有人类智能,对脑的研究和模拟是实现这一目标的唯一途径。依托生物医学技术呈现大脑的神经活动状态,通过脑机智能技术解码大脑意识形态,让机器理解、拥有人类意识,是人工智能领域具有挑战性的课题。当前,“脑科学与类脑研究”先后被列入国家“十三五”、“十四五”规划,2021年科技部在科技创新2030项目申报指南中从多方面阐释了脑科学与类脑研究的重要与迫切性。人脑对于同类视觉刺激有着相似的表征能力,脑电特征可以反映出唤起原始脑电信号的图像内容。本文瞄准国家战略规划和科研需求,探究视觉刺激与脑电信号的相关性,在40类图像刺激脑电信号EEG数据上展开研究,建立人类视觉信息与外界视觉刺激之间的映射。在此基础上,一方面开发出基于人类视觉认知特性的图像场景理解模型,利用机器智能实现对人类视觉功能的模拟,形成基于认知计算的脑机混合-增强智能;另一方面对脑电信号和诱发脑电信号的图像同时建模,探索基于思维的闭环生成对抗式的认知学习方法,在监测脑电信号时,让计算机绘制出与人脑关注到的事物相对应的图像,实现人在回路的人机协同认知系统的混合-增强智能。本文主要研究工作及取得的创新性成果如下:（1）基于时空特征的视觉刺激脑电信号解码分类研究。针对多导联脑电信号空间关联性与时间固有特性利用不充分的问题,设计了由卷积网络CNN和长短时记忆网络LSTM组成的融合时空特征分析的空-时网络。利用CNN识别空间特征的能力,对用户观看屏幕图像时捕获的脑电信号进行通道级的空域分析,探究各个导联之间的联动关系;利用LSTM提取序列特征的能力,充分挖掘信号固有的时序信息。以此将脑电信号编码成描述性信号表示,建立了人类视觉信息与外界视觉刺激之间的映射,实现了视觉刺激脑电信号准确解码。所提取的脑电特征对脑电信号的区分度达到96.47%,该方法同时利用了卷积网络识别空间特征的能力和长短时记忆网络提取序列特征的能力,在分类准确率上较其他EEG信号的分类方法有较为明显的提升,为后续基于人类视觉特性的图像场景理解和视觉刺激图像的高质量生成提供了理论基础。（2）基于脑电-视觉特性的图像场景理解模型研究。针对当前场景理解方法缺少生物学基础,将人类的视觉感知能力映射到了机器上。提出一种结合深度学习和集成学习的脑电信号分析方法（LSTMS-B）,通过多个网络共同决策,提高了脑电特征对脑电信号的表达能力。并将所提取脑电特征应用到图像自动分类中,使用学习到的脑电特征和原始图像训练了Res Net-KNN回归模型,将图像映射到脑电信号低维特征,让机器学习大脑视觉表征能力,进而估计出未参与脑电信号采集的图像的估计脑电特征,最终使机器按照人类视觉能力对图像（视觉场景）进行预测分类。测试过程使用了Image Net数据集中的49429个图像样本,获得了90.72%的加权平均分类F1分数,证明了在脑电信号源下分类图像这一思路的正确性,实现基于人类视觉特性的能够处理海量信息的图像场景理解模型。（3）基于脑电-视觉特性的生成对抗式重构方法研究。针对人在回路的人机协同视觉认知系统协同表征能力不强的问题,将注意力机制通过注意力门和注意力加权两种方式加入双向长短时记忆网络中,提出Bi-LSTM-Att GW模型对脑电信号进行解码,保证处理精度的同时减少训练参数,加速模型的训练过程。然后,将这种信号编码特征作为条件谱归一化生成对抗网络SNGAN的限制条件,约束图像生成过程。在原始脑电图信号被记录下来的同时,绘制出与人脑特定场景下关注到的事物相对应的图像。在生成图像的测试中,条件化的谱归一化生成对抗网络可以根据视觉相关脑电特征生成图像,生成的40类图像平均Inception分数为7.17。在生成图像样本主观视觉上,所采用的方法能够生成更符合对应类别标签且高质量的刺激图像,实现“图像-脑电信号-图像”的变换,提升人机协同视觉认知系统协同表征能力。解码与视觉场景相关的人脑活动对脑启发的计算和脑机交互领域有着重要的影响。本文通过对脑电信号进行处理分析,探究脑电信号与人类视觉的相关性,证明了脑神经活动数据可以为深度学习模型提供更丰富的监督。一方面,产生了与人类脑神经数据一致的视觉分类方法,让机器具有人类视觉智能,执行基于认知计算的脑机混合-增强智能研究任务,实现了基于人类视觉认知特性的图像场景理解;另一方面,完成了脑信号到图像的重构,提高了人在回路的人机协同视觉认知系统的协同表征能力。本文为基于脑电信号的视觉信息解码与视觉场景重建提供了理论支撑和技术支持,也为深入研究人类视觉感知认知系统提供有意义的见解。