论文部分内容阅读
多模态话语分析是当代学习分析的一种很重要的技术，因为它关注到了在交流中的多种模态展现形式。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
在网络信息与多媒体教学环境下，多模态是教师和学生利用各种感官来获取、认知和传递信息的手段和方式。
多模态话语分析是当代学习分析的一种很重要的技术，因为它关注到了在交流中的多种模态展现形式。相对于单模态话语分析技术中只有一种模态的交流方式，多模态话语分析则允许所有交流中存在的模态都纳入到分析中。在运用多模态进行分析的时候，如果只是分析一种模态而忽略了其他的模态，可能就会导致得出结论的不完整或不确切。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。生命科学的研究成果告诉我们，生命体在演化过程中逐步获得了五种不同的感知通道即靠眼睛获得的视觉通道、靠耳朵获得的听觉通道、靠皮肤获得的触觉通道、靠鼻子获得的嗅觉通道和靠舌头获得的味觉通道，这五种感知渠道导致了五种交际模态的产生，分别是视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。单模态话语就是指只使用一种模态的话语，相对于此，多模态话语就是指使用两种或者两种以上的话语进行交际。其中所谓的话语其意义表现中有一大部分是由非语言因素体现的，比如伴随着语言的特征：声调、语调、语速等；身体特征：手势、面部表情、动作、移动等；非身体特征：实验室、网络、周围的环境因素、设备等。这种情况下的交际不再是利用一种感觉进行交际，而是结合了多种媒体和多种模态进行的交际。
一、现代教育信息技术下多模态信息认知教-学模式
多模态信息认知教-学模式（Model of Multimodal Information and Cognition），简称MIC教-学模式。【袁传有2010】14在其研究中提出了多模态信息认知教-学模式。如图1所示。
在网络信息与多媒体教学环境下，多模态是教师和学生利用各种感官来获取、认知和传递信息的手段和方式。在这个教学模式中，信息是教与学的核心内容，位于上层，信息可以分为语篇信息和非语篇信息。语篇信息指教材中语言所承载的信息，师生会话交互时候所传递的信息；非语篇信息指通过非语言手段传递的信息。认知是对信息的处理和加工，位于信息的下层，意味着有信息就需要认知处理，认知能力的发展是目标，而信息的处理和认知手段是多模态的，信息处理就是对语篇信息和非语篇信息进行认知加工的过程，包含输入信息、处理信息、输出信息。一般而言，人们用感觉器官如眼、耳、手等就能直接获取外界的各种信息，经过达到的分析、归纳、综合、比较、判断等处理后，能产生更有价值的信息，并且采用说话、写字、动作、表情等模态输出信息。
在这个教学模式中的师生角色可以交互，教师应多模态地教，学生需要多模态地学，师生合作进行多模态评估。将传统的教材权威型、知识获取型转向技能训练型，即把教学看作帮助学生掌握技能的程序；经历体验型即把教学看作一种经历，让学生参与时间和资源发展型即把教学看作是一种手段，帮助学生发展表意资源。
互动的本意是指相互作用的意思，我们也常常理解为交互，既指抽象意义上的双边的传播与反馈，也指具体意义上的相互作用。教学过程是师生交往、积极互动、共同发展的过程。随着信息技术的进步，互联网时代的到来，师生之间的互动可以表现为直接的互动与间接的互动，【王炤2010】12在其研究中提到所谓间接的互动是指教师-客体-学生之间的彼此的互动。【张佐成，陈瑜敏2011】20在其论文中提到在基于多模态话语分析理论基础下的多模态互动，则认为互动是通过言语、距离、身体姿势、头部动作、坐姿、手部动作、场景布局、印刷品、音乐等模态的各种协同使用进行的，每一种模态都是一套符号系统，在人类互动中言语模态并不总是起主导作用。
二、多模态教学互动
多模态理论从某种意义上说也包含着人类通过感 官跟外部环境之间的互动方式。在多媒体及网络环境中，不仅存在着教学主体之间的多模态互动，教学主客体之间也会产生多模态互动，学生与问题情境的互动，教师与网络环境的互动等，这种互动表现在它们之间进行交流，能给予评价、反馈，能共同促进教学过程的发展。
教师和学习内容、资源的互动不再停留在传统的备课上，而是更多地体现在教师创建和更新学习内容和设计教学活动中；学生和学习内容、资源的互动式任何教育情境中最基本的交互，也是学生有效学习的重要组成部分；网络环境不仅为学习者-学习者之间的多模态互动教学提供了教学平台，而且也为教师提供了多样化教学手段和大量的信息资源，网络环境拓宽了教学内容，提供了多种信息呈现方式，突出了资源共享，实现了友好的人机交互，不仅有利于教师主动探索和完成知识、能力的建构，而且教师可以通过播放与学习相关课件的方法，充分调动学生的多模态认知，并通过论坛、email的形式督促和检查学生的学习；学生与网络环境的互动的多模态包括视觉、听觉、触觉等，网络将文本、图形、动画、静态影像、动态影像、声音媒体有机结合在一起，在这样的综合的环境中，能激发学生的学习热情。多模态互动存在着各种交互互补的作用，最终形成以网络环境为中心，教师为主导，以学生为中心，充分体现学生的主体地位和学生之间互动的多维立体互动学习系统，调动不同层次学生学习的积极性和自觉性。
三、多模态互动实现-网络教学开源平台
随着信息化教学的开展，基于开源软件的教学平台是应用频率较多的平台，国内外主要是以MOODLE、SAKAI为代表，将开源软件引入到信息化教学环境中，构建网络教学平台，对于实现多模态的互动意义是重大的。
基于SAKA开源平台的主要教育教学互动应用表现为：
1.创建网络课程 网络课程的创建体现的是主体与客体之间的互动，用户跟随向导创建自己的站点，之后会提供一个所创建站点的列表，选定一个站点后，可以对其进行修改，包括设置站点基本信息，增加或者删除工具，变更访问权限等，用这个网站建设的工具，可以轻松实现站点的发布，复制和从其他站点导入素材，从而也可以实现客体与客体（站点与站点间），主体与主体（比如教师与教师）之间的互动。
2.发布通告信息
通告信息的发布主要可以实现师生之间、生生之间、师师之间的互动，通告工具可以用来向当前项目的参与者发布信息，如会议时间或地点的更改等，通知可以由多种附件，包括文档和URL。在正式发布通告前可以保存草稿。通告以一个列表的形式呈现，在每个课程或项目的主页上都可以看到，网站所有者或者教师可以通过设置，选择是否自动给所有参与者用电子邮件发送通告。
3.管理学习教学任务
学习教学任务的管理主要是实现了多模态互动中教师与学习内容、资源之间的互动。针对不同的课程，任务管理工具允许教师在线创建、发布、收集和批改作业，为了保证作业的独立性，不同的用户间是不可见的，任务管理工具里有等级、分数、标记、通过、不及格或不列级别等字母。任务不论经过评价与否都可以返回给用户，以便再次修改上传，通过此工具，我们可以用来评价学生所完成项目的结果或论文等，为了方便起见，老师还可以一次性把所有作业下载到其他电脑里，批改完成后，学生能够看到他们的等级或评语。
4.管理学习资源
教师或者管理者可以根据需要创建文件夹并上传资源，或者在平台上创建HTML文档，学生则可以查阅、下载各种学习资源，同时也可以上传资源到自己的工作站点，实现了教师-学习资源-学生彼此之间的互动。
5.网络协作共创
WIKI作为一个核心模块，可以让用户创建一个专用于特定课程或项目的WIKI站点，这个网站的成员可以监控、增加、更新和编辑站点内容，允许用户添加照片，链接其他WIKI页面和查看内容更改的历史记录等，这样学生可以在教师的指导下完成围绕某一主题的知识共建，发挥群体的优势，实现学习活动中的问题解决，并在问题解决的过程中学会协作，学会学习。
四、多模态互动实现-视频互动教学系统
视频互动教学系统是一个能够支持人们进行远距离实时交流信息，并能开展协同工作的应用系统。互动教学系统实施传输视音频信息，使得协作成员可以远距离地进行真实、直观的视音频交流。【Fre′de′ ric 2006】2在其论文中提到当用户通过屏幕上的视觉场景进行交互时，所得到的视觉感知、手势和语言就是在视觉环境、语言环境、听觉环境下相互作用的结合表现。另一方面，利用多媒体技术的支持，视频互动教学系统可以帮助用户处理工作中的各种信息，如共享数据、共享应用程序等，从而构造了一个多人共享的虚拟工作空间。
视频互动教学系统是把IP视频技术、视频和音频数据的压缩及解压处理技术、互联网应用技术相结合，把影视、图形、图像、声音、动画以及文字等各种多媒体信息及控制实时动态地引入教学过程的一种专用电脑网络教学平台，是利用计算机技术、网络技术、多媒体技术进行现代化教学活动的一个系统概念。有了它，教师可以通过电脑，利用图形、动画乃至声音、音乐、影带、VCD以及多媒体教学软件等先进手段在广域网上进行远程教学活动，具有多媒体广播教学，由教师对学生机进行屏幕监视、语音监听、单独对讲、讨论发言、转播示范及远端复位、遥控辅导、答题示范等多种教学功能，它不仅改变了传统的教学模式，将电脑教学的功能变得多样化，老师不必再花费很多时间写黑板，或是来回巡视教室，而且学生也不必再挤在一个教室或会议室，围在小小的屏幕前观看老师的示范，任何联网的计算机都可以成为互动的教学终端，实现了集体教学，分组练习与个别辅导的教学环境，使普通的电脑与高级演示、视听、语音教学融于一体。它较传统教学方式更加现代社会对教育的高效、方便、频繁交流的需要。随着如今网络的高速发展，视频会议教学系统将是人们学习的一种重要手段。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
在网络信息与多媒体教学环境下，多模态是教师和学生利用各种感官来获取、认知和传递信息的手段和方式。
多模态话语分析是当代学习分析的一种很重要的技术，因为它关注到了在交流中的多种模态展现形式。相对于单模态话语分析技术中只有一种模态的交流方式，多模态话语分析则允许所有交流中存在的模态都纳入到分析中。在运用多模态进行分析的时候，如果只是分析一种模态而忽略了其他的模态，可能就会导致得出结论的不完整或不确切。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。生命科学的研究成果告诉我们，生命体在演化过程中逐步获得了五种不同的感知通道即靠眼睛获得的视觉通道、靠耳朵获得的听觉通道、靠皮肤获得的触觉通道、靠鼻子获得的嗅觉通道和靠舌头获得的味觉通道，这五种感知渠道导致了五种交际模态的产生，分别是视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。单模态话语就是指只使用一种模态的话语，相对于此，多模态话语就是指使用两种或者两种以上的话语进行交际。其中所谓的话语其意义表现中有一大部分是由非语言因素体现的，比如伴随着语言的特征：声调、语调、语速等；身体特征：手势、面部表情、动作、移动等；非身体特征：实验室、网络、周围的环境因素、设备等。这种情况下的交际不再是利用一种感觉进行交际，而是结合了多种媒体和多种模态进行的交际。
一、现代教育信息技术下多模态信息认知教-学模式
多模态信息认知教-学模式（Model of Multimodal Information and Cognition），简称MIC教-学模式。【袁传有2010】14在其研究中提出了多模态信息认知教-学模式。如图1所示。
在网络信息与多媒体教学环境下，多模态是教师和学生利用各种感官来获取、认知和传递信息的手段和方式。在这个教学模式中，信息是教与学的核心内容，位于上层，信息可以分为语篇信息和非语篇信息。语篇信息指教材中语言所承载的信息，师生会话交互时候所传递的信息；非语篇信息指通过非语言手段传递的信息。认知是对信息的处理和加工，位于信息的下层，意味着有信息就需要认知处理，认知能力的发展是目标，而信息的处理和认知手段是多模态的，信息处理就是对语篇信息和非语篇信息进行认知加工的过程，包含输入信息、处理信息、输出信息。一般而言，人们用感觉器官如眼、耳、手等就能直接获取外界的各种信息，经过达到的分析、归纳、综合、比较、判断等处理后，能产生更有价值的信息，并且采用说话、写字、动作、表情等模态输出信息。
在这个教学模式中的师生角色可以交互，教师应多模态地教，学生需要多模态地学，师生合作进行多模态评估。将传统的教材权威型、知识获取型转向技能训练型，即把教学看作帮助学生掌握技能的程序；经历体验型即把教学看作一种经历，让学生参与时间和资源发展型即把教学看作是一种手段，帮助学生发展表意资源。
互动的本意是指相互作用的意思，我们也常常理解为交互，既指抽象意义上的双边的传播与反馈，也指具体意义上的相互作用。教学过程是师生交往、积极互动、共同发展的过程。随着信息技术的进步，互联网时代的到来，师生之间的互动可以表现为直接的互动与间接的互动，【王炤2010】12在其研究中提到所谓间接的互动是指教师-客体-学生之间的彼此的互动。【张佐成，陈瑜敏2011】20在其论文中提到在基于多模态话语分析理论基础下的多模态互动，则认为互动是通过言语、距离、身体姿势、头部动作、坐姿、手部动作、场景布局、印刷品、音乐等模态的各种协同使用进行的，每一种模态都是一套符号系统，在人类互动中言语模态并不总是起主导作用。
二、多模态教学互动
多模态理论从某种意义上说也包含着人类通过感 官跟外部环境之间的互动方式。在多媒体及网络环境中，不仅存在着教学主体之间的多模态互动，教学主客体之间也会产生多模态互动，学生与问题情境的互动，教师与网络环境的互动等，这种互动表现在它们之间进行交流，能给予评价、反馈，能共同促进教学过程的发展。
教师和学习内容、资源的互动不再停留在传统的备课上，而是更多地体现在教师创建和更新学习内容和设计教学活动中；学生和学习内容、资源的互动式任何教育情境中最基本的交互，也是学生有效学习的重要组成部分；网络环境不仅为学习者-学习者之间的多模态互动教学提供了教学平台，而且也为教师提供了多样化教学手段和大量的信息资源，网络环境拓宽了教学内容，提供了多种信息呈现方式，突出了资源共享，实现了友好的人机交互，不仅有利于教师主动探索和完成知识、能力的建构，而且教师可以通过播放与学习相关课件的方法，充分调动学生的多模态认知，并通过论坛、email的形式督促和检查学生的学习；学生与网络环境的互动的多模态包括视觉、听觉、触觉等，网络将文本、图形、动画、静态影像、动态影像、声音媒体有机结合在一起，在这样的综合的环境中，能激发学生的学习热情。多模态互动存在着各种交互互补的作用，最终形成以网络环境为中心，教师为主导，以学生为中心，充分体现学生的主体地位和学生之间互动的多维立体互动学习系统，调动不同层次学生学习的积极性和自觉性。
三、多模态互动实现-网络教学开源平台
随着信息化教学的开展，基于开源软件的教学平台是应用频率较多的平台，国内外主要是以MOODLE、SAKAI为代表，将开源软件引入到信息化教学环境中，构建网络教学平台，对于实现多模态的互动意义是重大的。
基于SAKA开源平台的主要教育教学互动应用表现为：
1.创建网络课程 网络课程的创建体现的是主体与客体之间的互动，用户跟随向导创建自己的站点，之后会提供一个所创建站点的列表，选定一个站点后，可以对其进行修改，包括设置站点基本信息，增加或者删除工具，变更访问权限等，用这个网站建设的工具，可以轻松实现站点的发布，复制和从其他站点导入素材，从而也可以实现客体与客体（站点与站点间），主体与主体（比如教师与教师）之间的互动。
2.发布通告信息
通告信息的发布主要可以实现师生之间、生生之间、师师之间的互动，通告工具可以用来向当前项目的参与者发布信息，如会议时间或地点的更改等，通知可以由多种附件，包括文档和URL。在正式发布通告前可以保存草稿。通告以一个列表的形式呈现，在每个课程或项目的主页上都可以看到，网站所有者或者教师可以通过设置，选择是否自动给所有参与者用电子邮件发送通告。
3.管理学习教学任务
学习教学任务的管理主要是实现了多模态互动中教师与学习内容、资源之间的互动。针对不同的课程，任务管理工具允许教师在线创建、发布、收集和批改作业，为了保证作业的独立性，不同的用户间是不可见的，任务管理工具里有等级、分数、标记、通过、不及格或不列级别等字母。任务不论经过评价与否都可以返回给用户，以便再次修改上传，通过此工具，我们可以用来评价学生所完成项目的结果或论文等，为了方便起见，老师还可以一次性把所有作业下载到其他电脑里，批改完成后，学生能够看到他们的等级或评语。
4.管理学习资源
教师或者管理者可以根据需要创建文件夹并上传资源，或者在平台上创建HTML文档，学生则可以查阅、下载各种学习资源，同时也可以上传资源到自己的工作站点，实现了教师-学习资源-学生彼此之间的互动。
5.网络协作共创
WIKI作为一个核心模块，可以让用户创建一个专用于特定课程或项目的WIKI站点，这个网站的成员可以监控、增加、更新和编辑站点内容，允许用户添加照片，链接其他WIKI页面和查看内容更改的历史记录等，这样学生可以在教师的指导下完成围绕某一主题的知识共建，发挥群体的优势，实现学习活动中的问题解决，并在问题解决的过程中学会协作，学会学习。
四、多模态互动实现-视频互动教学系统
视频互动教学系统是一个能够支持人们进行远距离实时交流信息，并能开展协同工作的应用系统。互动教学系统实施传输视音频信息，使得协作成员可以远距离地进行真实、直观的视音频交流。【Fre′de′ ric 2006】2在其论文中提到当用户通过屏幕上的视觉场景进行交互时，所得到的视觉感知、手势和语言就是在视觉环境、语言环境、听觉环境下相互作用的结合表现。另一方面，利用多媒体技术的支持，视频互动教学系统可以帮助用户处理工作中的各种信息，如共享数据、共享应用程序等，从而构造了一个多人共享的虚拟工作空间。
视频互动教学系统是把IP视频技术、视频和音频数据的压缩及解压处理技术、互联网应用技术相结合，把影视、图形、图像、声音、动画以及文字等各种多媒体信息及控制实时动态地引入教学过程的一种专用电脑网络教学平台，是利用计算机技术、网络技术、多媒体技术进行现代化教学活动的一个系统概念。有了它，教师可以通过电脑，利用图形、动画乃至声音、音乐、影带、VCD以及多媒体教学软件等先进手段在广域网上进行远程教学活动，具有多媒体广播教学，由教师对学生机进行屏幕监视、语音监听、单独对讲、讨论发言、转播示范及远端复位、遥控辅导、答题示范等多种教学功能，它不仅改变了传统的教学模式，将电脑教学的功能变得多样化，老师不必再花费很多时间写黑板，或是来回巡视教室，而且学生也不必再挤在一个教室或会议室，围在小小的屏幕前观看老师的示范，任何联网的计算机都可以成为互动的教学终端，实现了集体教学，分组练习与个别辅导的教学环境，使普通的电脑与高级演示、视听、语音教学融于一体。它较传统教学方式更加现代社会对教育的高效、方便、频繁交流的需要。随着如今网络的高速发展，视频会议教学系统将是人们学习的一种重要手段。