随着机器智能化步伐的加快,越来越多的服务型机器人走进千家万户,人们已经不再满足于过去的“一问一答”式虚拟机器人,多功能、高要求的虚拟机器人成为研究的热点。人们在与虚拟机器人交流的过程中,希望得到虚拟机器人的反馈,尤其是情感上的反馈,而反映情感最重要的信息是面部表情。因此,如何给虚拟机器人一个逼真的外形并能够像人类那样自如的做各种表情动作是当前急需解决的问题。具体表现在:首先,如何对虚拟人的嘴唇、眼睛、眉毛、牙齿和舌头等部位进行精准建模并模拟动作。其次,怎样保证每个运动部位之间协调运动、互相关联,不会出现运动失调的情况。接着,如何保证三维虚拟说话人在说话过程中,语音信息、面部动作轨迹以及所要表达的内容三者之间的一致性。为了解决上述的问题,本文设计并实现了基于Dirichlet自由变形算法的人脸表情动画合成系统。该系统主要有两个部分组成:第一部分使用Facial Motion Capture(面部运动捕捉系统)采集真人表演者的面部运动数据,该部分主要包括面部运动数据的采集、分析及处理,以便将处理后的数据作为人脸表情动画合成系统的驱动数据。第二部分将DFFD(Dirichlet free-form deformations)算法应用于三维虚拟人脸变形上。通过以DFFD算法为基础,结合C++语言可移植性和OpenGL图形库的跨平台性,实现三维虚拟人脸表情动画合成系统。另外,通过将构建的3D说话人语音、视觉数据库,经长短期记忆-递归神经网络(LSTM-RNN)模型训练后的输出作为人脸表情动画合成系统的输入,可以实现语音驱动唇形动画。本文的主要研究工作如下:(1)使用C++语言设计并实现了DFFD算法,并将DFFD算法进行类的封装,对外提供了一个友好的调用接口,以便使用者调用。并提出改进型加权DFFD算法,实现了对变形强度的控制,使得变形效果更好。(2)利用DFFD算法并结合OpenGL图形处理库实现包括眼睛、眉毛、鼻子、嘴唇、牙齿和舌头等部位的动作模拟,结合各区域运动的关联性,使用真人动作数据同步驱动各部位的运动,实现面部各区域的协调、同步运动,使得动画效果更逼真。(3)利用LSTM-RNN模型作为训练模型,构建输入语音和输出唇部动作轨迹之间的映射关系,实现语音驱动唇部动画,增加了将语音数据作为系统驱动数据的功能,使得系统功能更加完善。(4)设计了系统的应用型实验。通过将系统合成的表情视频和与之对应的真人表情视频作为刺激材料,研究人在观察两种视频时观察模式的差异性,以便将系统用于后期的实验研究。经过实验对比和主观人工评估,结果证明本文中的人脸表情动画合成系统能够很逼真的模拟真人说话时的表情动作,并且该系统能够很好的保证三维虚拟说话人在说话过程中,视觉方面、听觉方面以及所要表达内容三者之间的一致性。