伴随短视频应用的兴起,人脸3D表情特效被广泛关注,但业内通用的实现方式并没有考虑手部遮挡脸部（Hand-Over-Face）的场景,特效图覆盖手部从而影响了信息表达。本文深入分析了 Hand-Over-Face 场景,在具体实现中发现两项问题:（1）遮挡影响了人脸三维重建模型的重建效果;（2）由于手脸肤色相似影响了手部分割效果。围绕上述问题,本论文提出以下方法提升表情特效的实现效果,并设计了手部遮挡敏感场景下的虚拟形象控制系统。第一、提出基于三联孪生网络和差异回放的人脸3D重建模型。由于缺少3D数据监督,现有研究利用2D图片特征进行模型训练,实现遮挡鲁棒的人脸三维重建模型。然而,这一方法未关注人脸形状系数和人脸表情系数非线性相关的问题,从而导致预测人脸表情僵硬并且收敛过程较为缓慢。为此,模型引入三联孪生网络,利用正负样本解耦模型学习人脸形状系数和表情系数,提升模型的预测效果;设计形状基存储模块根据人脸形状向量的欧式距离选择正负训练样本加速模型收敛速度;训练过程中增加Hand-Over-Face数据,提升模型对该场景的鲁棒性。第二、提出联合手部关键点进行多分支多阶段训练的Hand-Over-Face 分割模型。由于 Hand-Over-Face场景中手脸肤色特征相似,导致目前主流的分割算法在这一场景中结果容易出现手指残缺、边缘不明确等问题。为此,模型引入手部关键点信息进行多任务多阶段训练优化手指残缺问题,同时边缘权重可关注手部边缘信息优化手指粘连、边缘毛刺等问题。第三、设计和实现手部遮挡敏感的虚拟形象控制系统。系统具备多平台上运行的客户端,通过简单直观的操作界面,允许用户体验手部遮挡敏感的虚拟形象控制效果,支持上传图片或摄像头捕获等方式实时进行特效展示。