人类主要依赖视觉和听觉感知外部世界,通过整合视听觉刺激,人类能够快速、高效的识别周围的环境和物体。已有研究表明人脑可以表征场景与物体之间的语义关系,现实生活中,除了视觉信息,还存在大量的听觉信息,人脑通过整合视听觉刺激来理解外部世界。然而,现在的计算机模拟人脑对外部世界进行探索和识别面临着很大挑战,尤其是在跨膜态识别场景领域,还没有研究利用机器学习方法分析视觉场景和听觉声音之间的语义关系。功能磁共振成像技术(fMRI)基于血氧水平依赖(BOLD)对比增强原理进行成像,具有空间分辨率高、无侵入性和一定的时间分辨率的特点,非常适用于分析脑活动的时空信息和高级的脑功能连接,广泛应用于临床、认知科研等领域。利用fMRI研究人脑通过声音解码场景的底层机制,有助于人工智能和智能计算机在场景识别领域的发展,引导计算机更加高效的识别复杂场景。本文围绕人脑对场景和场景中的物体的声音的语义关系展开研究,应用fMRI采集被试观看四种场景和聆听八种声音的BOLD信号。用带有支持向量机的多体素模式分析方法(MVPA)评估人脑是否能够基于场景内物体的声音的平均激活模式解码场景的激活模式。结果表明在梭状回后部(pF)、枕部偏侧区域(LO)和颞上回后部(STS)可以通过声音的激活模式来预测场景的激活模式。进一步,我们利用功能连接方法在四个感兴趣区域分析人脑在场景和声音条件下的功能连接情况,结果均发现STS与其他三个脑区没有显著的正相关,因此,我们利用Seed-to-Voxel方法探索两种任务下与STS有显著正连接的脑区,发现处理声音和处理场景的脑网络之间存在差异。随后,我们利用有效连接方法动态因果模型来探索实验任务下的脑区之间的信息流动情况,发现外部场景调节LO和pF之间的信息流动情况。