语音驱动的人脸动画生成项目是作者所在公司的实际项目,具体使用场景是在电器所搭载的语音助手上,例如5G时代下,搭载在电梯,洗衣机等设备上的语音助手和使用者进行“面对面”的对话。利用语音来合成面部动画是对声音进行处理,并且合成与语音对应的口型动画和面部表情,此研究方向是自然人机交互领域的重要内容,可以被看作是一种面向语音的翻译。通过相关心理学知识可以得知,和普通的听觉感受相比,视觉与听觉的共同输入可以更好的提高使用者的互动感受。通过接受听觉和视觉相互匹配的动画人脸人物,会让使用语音助手的用户对其听到的语音内容有更好的感受,减少用户因为单纯的语音输入而产生的不真实感和不确定感。从以上的目的出发,作者设计了语音驱动的人脸动画合成系统,旨在通过语音控制的方式来驱动人脸图片中的面部特征点运动,从而达到和语音相匹配的面部动画效果。一个真实的面部动画涉及眉毛、眼睛、嘴唇、牙齿等各个部位的移动。基于以上目的,作者设计了复合神经网络模型(CNN-LSTM),并与条件生成对抗网络结合来实现项目,通过神经网络的学习过程来将各个特征点所表示的部位进行合理的移动。本文的主要研究内容及创新点如下:(1)通过设计和实现CNN-LSTM网络模型,将音频的梅尔频谱图作为网络的训练数据,将面部特征点的68组二维坐标作为训练数据的标签,按照视频中的帧顺序共同输入到CNN-LSTM网络中进行训练。CNN网络将提取梅尔频谱图的特征进行有监督的学习,从而将梅尔频谱图和面部特征点进行联系。LSTM进行时序性输入数据的相关性学习。实现了向CNN-LSTM神经网络中输入数据集中的音频梅尔频谱图,输出结果为与音频相对应的面部特征点图片。(2)通过设计和实现条件生成对抗网络模型,将CNN-LSTM模型中输出的面部特征点图像还原为真实人脸图像,最后通过FFmepg多帧静态图像组合的方式将连续变化的面部图像合成为“动图”,并将音频与“动图”结合,从而形成视频。目前,本文基于实验得到了CNN-LSTM预测的可连续移动的面部特征点,模型的结果均值偏差较小,收敛速度快,连续输出之间的表情特征点变化明显。对于条件生成对抗网络产生的人脸面部图像来说,在训练轮次为200轮时,生成图像与真实图像的均方误差为0.1082,基本可以还原面部五官图像。目前作者设计的神经网络模型实现了仅需要一段音频,一张真实人脸图片,便可以生成一段语音与面部动作相匹配的视频动画。