以清晰自然的合成语音,准确生动地传达语义信息是新一代语音合成系统所追求的目标。双模态情感语音合成的主要任务是,通过建立虚拟人脸模型,使计算机在合成语音的同时生成富有情感表现力的视觉信息。双模态语音合成和语音识别是人机语音交互所需的两项关键技术,在信息处理领域有着重要的应用价值。本文的主要研究内容有三维人脸建模和渲染、三维动画驱动方法、汉语情感韵律特征建模和基于基音同步叠加算法的语音合成。人脸建模方面,完成了VRML模型解析和基于OpenGL的渲染。所用模型由7个人脸部件组成,共包含6435个顶点和12280个面。该模型在同类相关研究中复杂度较高,对人脸细节的刻画更为逼真。对比研究了参数控制和数据驱动两种三维动画驱动方法。通过改进控制参数的采集方式,解决了齿、舌、喉等器官的运动问题。在基于MPEG-4标准的FAP参数控制法中,采用径向基函数和升余弦函数控制唇动和表情变化。在基于关键帧插值的数据驱动法中,使用三次多项式插值法,对视素帧和表情帧进行空间矢量加权,生成融合后的动画帧。结果表明,FAP参数法可以实现细微的表情和唇形变化；数据驱动法通过融合多个关键帧可以快速产生新的表情种类。为提高合成语音自然度,准确表达情感信息,对基于波形拼接的语音合成系统进行了改进。在系统前端加入基于人工神经网络的韵律预测模型,后端加入基于PSOLA算法的韵律修改模型。合成阶段使用基于决策树和代价函数相结合的基元选择法。仿真结果显示,合成的语音感情色彩明显,经过韵律修改的语音基元在拼接后自然度较高。本文实现的双模态情感语音合成系统,在三维模型数据量较大的情况下满足了实时性动画的要求。合成的语音在听觉和视觉上都能准确的表达情感信息。