论文部分内容阅读
表情运动捕捉是人体运动捕捉的重要分支。由于准确性高,操作简单,应用效率高等优点,基于视觉的运动捕捉系统在很多相关领域的研究中被使用。表情移植是运动捕捉的一个引申,也是最有魅力的分支之一,简而言之就是将同样的表情加载到不同的人脸模型上去,这样只要有一个演员在摄像头前录制视频,经过处理,该演员的表情就可以被移植到任何一个我们想看到人物的脸上。目前为止,这一方向的研究方法普遍需要昂贵的设备,如立体成像仪Cyberware等,而且需要加很多的标识点以及手动设定的工作,无论从应用角度还是研究普及的程度上都受到很大的限制。为了提高方便性,这篇论文做了相应的研究,实现了一个单摄像头的无标识点的表情捕捉系统。在运动捕捉模块中,本文实现了半自动化的运动数据提取。利用模式识别和图像处理中的方法,我们捕捉并追踪了18个面部特征点。检测结果比较理想而且仅仅需要很少的手动工作,在归一化处理后运动数据将被存储到我们预先定义好的数据结构中。在人脸建模模块中,因为表情动画和移植模块的算法要求,本文使用所有的模型必须具有相同的顶点数目和面数。这里我们利用已有的工具建立了拓扑结构相同几个人脸头部模型,生成的模型为OBJ格式。为了便于修改物理结构和动画驱动,我们自行设计了数据格式来载入和重新索引模型中的所有顶点。为了能够逼真的驱动模型,我们还设计了眼睛和嘴巴的弹性形变模型。这样在输入运动数据到特征点时,非特征点就会相应的跟随特征点的运动而移动起来。最后一个模块是表情移植。为了实现表情移植,我们对模板模型和特定模型的纹理间映射变化关系进行计算。利用二维morphing算法对不同纹理进行匹配,这样可免除三维模型之间直接三维morphing所需要的庞大的数据运算。除此之外,本文还对二维纹理曲面在正面的投影进行计算,找到纹理投影和三维模型间纹理的映射关系后,就会利用纹理反驱动模型,从而实现了将模板模型上的表情移植到特定模型。本文介绍并应用了很多图像处理和三维建模中的算法。系统的硬件要求很低,一个普通的摄像头和电脑即可实现。