人们时时刻刻都在摄取来自不同感官的各种信息,以完成不同的认知任务。大脑通过对这些信息进行整合和调控,能够高效的指导人的行为和意识活动。为借鉴大脑这种快速高效的信息处理模式,将其推广应用于智能系统,研究者对大脑认知及信息整合机制进行了大量的研究。视觉和听觉作为接受外界信息的两个重要感官通道,受到了广泛的重视。目前,对视、听觉单一感官通道的研究已经取得大量有价值的成果,然而,对于视听交互作用的大脑认知研究、与视听觉认知相关的信息处理方法、以及视听信息融合的特征提取等方面还存在一些亟待解决的关键问题。针对上述问题,本文设计了视听同步刺激的实验范式,并采集脑电信号,研究了视听诱发脑电信号的处理方法和脑功能区域的源定位问题,进而探索视听跨感觉通道大脑认知的协同补偿作用和交叉干扰作用。具体完成工作如下：(1)基于Stroop效应,设计了视听同步刺激诱发实验范式,利用40导联脑事件相关电位仪并基于Scan4.5软件平台,实时采集视觉刺激、听觉刺激及视听觉联合刺激下的脑电信号。(2)对采集的脑电信号,利用独立成分分析方法去除眼电伪迹,并采用AR模型建模,再进行20次相干平均,对采集的脑电信号进行预处理。该方法能有效去除原始脑电信号中的噪声、干扰和伪迹,得到纯净的诱发脑电信号。(3)采用小波变换的方法,对经预处理后的视觉、听觉和视听觉联合诱发脑电信号进行特征提取,获得了三种刺激模式下的诱发脑电P300特征。并深入分析了视听觉诱发大脑认知的信息整合规律、交叉干扰作用和注意竞争效应。(4)采用样本熵分析方法,求解不同视听刺激模式下,相关导联的样本熵值,提取诱发脑电的非线性特征。对脑电信号的复杂度进行了度量,分析了大脑神经系统的复杂性和耦合性特征。(5)基于Source溯源软件平台,对视觉靶刺激、听觉靶刺激及视听觉双靶刺激模式下的诱发脑电数据进行偶极子溯源分析。研究了视、听觉单一通道刺激与双通道联合刺激的脑功能作用区域,分析了视听觉刺激之间的交叉耦合作用,为脑功能网络的构建奠定了基础。本文研究方法和成果可应用于神经信息处理,脑认知科学和脑-机交互系统中,具有科学和应用双重价值。