为了有效的感知周围的环境，人类的大脑在同时接收到多感官刺激时，将会通过一个连贯的整合机制对多源信息进行整合，从而完成外界对象和事件的探测、识别和认知。人脑的多感官信息整合在对象识别的一些方面要远优于计算机，例如复杂场景对象识别、语义提取和对抗样本等。对于人类和非灵长类动物的神经影像学研究已经揭示了多模整合出现在一个广泛的分布式系统中。然而，在复杂场景下视觉对象受到干扰时，人类大脑是如何协调多感官的信息加工，遵循怎样的神经加工机制，这些问题仍然不清楚。本文设计了一个复杂场景的视觉对象识别实验，采用功能磁共振记录被试加噪视听(AVd)、单视觉加噪(Vd)和单听(A)三个模态的大脑激活信号，系统的探究了听觉刺激在加噪图像识别过程中多感官调制的特性和神经加工机制。其关键研究内容和创新点如下：
　　第一，采用conjunction方法结合经典的“max criterion”规则，发现仅在视觉刺激加入一定的噪声时，整合区域发生了变化，其中视觉联合区域(BA18)表现出超叠加整合性，颞上沟(STS)区域表现出次叠加整合性，证实了BA18和STS区域均参与了视觉加噪情况下多模态信息的整合。此外，通过大脑激活信号的模式分析证实了语义一致的声音能够易化加噪图像的识别，并且当类别细分时这种易化作用表现出一定的类别选择性。
　　第二，采用有效连接的分析方法，构建了包含两个感觉皮层和一个高级联合加工皮层的三节点网络，探究感觉皮层之间信息交换的神经调节机制。通过分析网络节点相互影响的因果关系，发现从颞横回(HG)到BA18、从STS到BA18均有增强的连接效应，这个结果表明听觉刺激对加噪图片识别时的调节即包含了自顶向下的反馈调节，也受到了听觉皮层横向连接的前馈调节。证实了多模态信息处理的方式符合交互连接模型的加工机制。
　　第三，采用功能连接的分析方法，构建了包含不同整合层级节点的功能连接网络，探究多感官网络的整体特性和加工模式。通过对网络连接关系分析发现了前额叶皮层、STS和侧枕叶是网络中汇集较多的节点，其功能类似网络中的hub。此外，BA18和HG除了相互连接以及和STS存在连接外，几乎与其它区域没有连接。进一步证实感觉皮层在多模态加工过程中是按照层次与其它整合区域进行信息传递和加工。我们的结论也符合最近学者提出的分布式加网络hub的信息处理模型(distributed-plus-hub)。
　　综上所述，本研究从功能分离的角度探究了多模态整合区域的特性，特别是感觉皮层表现出的超叠加整合性和易化作用；从功能整合的角度探究了多感官调节的网络特性，其加工模式符合交互连接模型的加工机制，并具有分布式加网络hub的网络特点。本文的研究成果对计算机视觉领域的研究提供新的视角并有重要的意义。