在人际交往过程中,面对面交流必不可少。人们在对话的过程中,除了口语表达之外,也会做出一些肢体动作,比如微表情、微动作或者一些手部动作,这就使得人们在理解对话内容时,需要将各个通道的信息进行整合。本研究的主要目的是为了探讨交流者在对话中是怎样整合不同通道的信息的,听者对听觉和视觉两个通道的信息的接收模式又是如何,是“不假思索”的全盘接收,还是“择优录取”的选择性接收?在以往的研究中,以英语、德语等语言作为材料的研究表明,有效的手势信息能够对言语的加工和理解产生影响,但是以中文作为实验材料的研究可谓凤毛麟角,故本研究在汉语的大环境下,探讨不同的手势信息对语音理解的作用。为了探讨上述问题,本研究采用以下两个实验来探讨手势对于沟通的作用:实验一采用2(手势:主义手势、次义手势)×2目标词(主义、次义)的被试内设计。实验流程是让被试观看带有语音的视频材料,任务是试图理解视频的意思,分析目标词出现之后300~500ms的脑电波。结果发现,在四种条件下,手势-言语一致的条件下与手势-言语不一致条件下的N400差异显著。由于人们交流过程中不仅仅产生标志性手势,也会产生一些没有实际意义的梳理性手势(Grooming),故实验二采用3(手势:主义手势、次义手势、梳理性手势)×2(目标词:主义目标词、次义目标词)的被试内设计,以探究在添加一定比例的梳理性手势后,标志性手势对言语理解的作用有何种变化。实验流程与实验一一致,分析目标词出现之后300~500ms的脑电波。结果发现,只有在次义手势-次义目标词的条件下的N400显著。结合实验一和实验二的结果,本研究得出以下结论:(1)标志性手势能够促进在交流中人们对语音信息的理解。(2)梳理性手势会降低标志性手势对言语理解的促进作用,手势-言语的整合并不是一系列的自动化加工,而是会受到其他外部信息影响。