随着计算机的普及，越来越多的儿童开始使用计算机。无论是在课堂还是在家里，他们利用计算机玩游戏、学习知识，计算机正在逐渐改变儿童的生活、学习方式。讲故事在儿童的成长过程中也具有重要的作用，通过讲故事可以使儿童了解周围世界、认识自我、并融入文化。然而，传统的鼠标、键盘的交互方式并不适合儿童使用，并且两者的切换很不自然。多通道交互是近年来迅速发展起来的一种人机交互技术，它适应了“以人为中心”的自然交互准则，也被诸多研究证明是提高交互效率和自然性的有效途径。随着多通道用户界面的不断发展，多通道交互技术已经在一些面向儿童的交互系统中得到了应用。　　 本文主要在面向儿童的讲故事应用以及基于笔和语音的多通道融合方面提出了一些新的解决方法，设计并实现了多通道儿童讲故事系统，采用自然交互通道，增强儿童的想象力和创造力，进一步提高儿童的语言能力。本文的主要工作如下：　　 1.针对多通道交互模式在面向儿童这个用户群体的应用情况，分析总结了儿童语言的特点，结合受限的语言集合及其理解机制，分析儿童讲述故事时的上下文环境，将传统的多通道语义融合与上下文结合起来，提出基于上下文的多通道语义融合模型及其相关算法。　　 2.以儿童用户为目标群体，采用以用户为中心的场景设计方法，描述用户的交互操作；分析儿童讲故事的现实场景和需求，采用界面场景给出了原型系统的设计方案。　　 3.在上述研究工作的支持下，实现了采用笔和语音的多通道交互作为交互手段的三维的儿童讲故事系统；系统运用了基于上下文的多通道语义融合方法以及笔式三维交互技术，实现了包括多通道语义融合，交互式故事设计，三维动画生成，用户反馈修正在内的主要功能。　　 4.分析并评估了基于界面场景的评估方法在可用性评估过程中的优点；并应用该方法对儿童讲故事系统进行可用性评估，调查分析用户的使用习惯、对于软件的喜好程度、以及进一步的改进方案。