面瘫是一种以单侧面部表情肌群无法进行正常的功能性运动为特征的一种常见病,给患者的身心健康带来不利影响。而对面瘫病症进行准确的诊断和评估将有助于治疗方案的制定以及后续疗效的评估。目前,对于面瘫的诊断和评估主要由医生根据自己的医疗经验和相关标准进行的,很大程度上会受主观因素的影响。因此,一系列基于计算机视觉技术的面瘫面瘫辅助诊断方法被提出,一定程度上提高了医生的诊断效率和准确性。在面瘫的临床诊断中,面瘫评估通常依据患者在做最大面部运动状态下的面部不对称程度和面部肌肉运动变化的不对称性这两个因素指标。而现有的大多数面瘫评估方法仅局限于考虑第一个因素,没有有效地利用面部肌肉运动变化的信息,导致其评估存在一定的缺陷。因此,本文利用深度学习的基本理论和方法,针对面瘫临床诊断的特点,提出基于视频分析的面瘫等级评估的新思路。并且,分别探索性提出两种面瘫等级评估方法:基于区域特征融合的面瘫等级评估方法以及基于局部运动关注的面瘫等级自动评估方法。基于区域特征融合的面瘫等级评估方法是一种基于三通道LSTM(Long Short Term Memory)的Triple-stream LSTM网络结构。该网络具有三个输入,依次对应三个面部不同区域的子视频帧序列,每个子视频序列由Faster-RCNN分割选取得到,并分别送入三个独立并行计算的LSTM网络提取得到对应的特征向量。然后采用一维卷积的方式分别对这些特征乘以相应的加权系数进行自适应加权并得到融合的特征向量。最后将其结合softmax层预测类标签,得到最终分级评判的结果。实验结果表明,该方法的平均评估准确率相比传统方法提高约13.59%,相比单通道的深度学习方法平均提高约5.47%。基于局部运动关注的面瘫等级自动评估方法基于三通道的双流3D CNN(3D Convolutional Neural Networks)。网络具有六个输入分支,每两个输入分支作为一个局部关注子区域的双流网络单元的输入,每个双流网络单元的输入分别由该关注区域的视频帧序列和对应光流特征图像序列所构成。对于单个双流网络单元来说每个分支都通过一个C3D网络模块单元提取特征,然后将两个C3D网络模块单元提取得到的特征进行特征融合以得到单个关注区域的提取特征。三个关注区域的输入数据分别经由三路独立并行计算的双流网络提取得到对应关注区域的特征向量,之后再将这三个特征进行融合输出得到最终的融合特征。实验结果表明,该方法的平均评估准确率相比Triple-stream LSTM又进一步提高4.49%。