本文主要阐述基于人脸多模态技术的视频情感分类算法的研究,人脸多模态即指人脸面部的多表情识别。本文通过对人脸检测与对齐、人脸识别、人脸表情识别的研究,得到基于视频片段的人脸多模态算法的实现,并将其应用到视频分类的算法中。目前人脸多模态以及视频分类技术,已经有了一定的研究进展。人脸识别目前在国际上已经达到较高的识别准确率,并广泛应用在安保、监控等领域。但人脸多模态技术目前的研究仍处于起步阶段,基准算法仅取得49.3%的准确率,虽然有较为成功的改进算法,如本文后续提到的HOLONET和C3D算法,但最高准确率仍处于相对较低的水平,算法实时性较差,且目前尚无经典的应用场景。对于视频分类算法而言,目前主要针对视频的空间颜色特征进行分类的算法较多,且均较为成功,但针对视频内涵尤其是人物行为等信息的分类,目前研究有所缺乏。故本文将进行利用人脸多模态识别技术对视频进行情感层面分类的研究。本文分别针对人脸多模态和视频分类的成熟算法展开研究。针对人脸多模态识别,首先从人脸检测、对齐技术入手,随后研究人脸识别的主流算法,最后重点探索人脸多模态识别的成熟算法。针对视频分析和分类,在研究视频的常规算法如关键帧定位算法后,深入研究现行的视频分类算法,并深入理解其算法的本质以及实现过程。经过研究后,发现当前的算法仍存在准确率较低和实时性较差以及识别信息不全面的问题。在上述研究的基础上,本文提出基于残差模型单元的人脸多模态算法,将残差网络单元和传统人脸识别VGG模型相结合,以期提高识别的准确率。同时结合视频关键场景选取算法提升在LSTM网络阶段的实时性,并在AFEW公开数据集进行实验并分析结果,以验证其有效性。在视频分类算法中,本文基于图像熵最大化的关键帧提取技术提出本文的视频关键场景选取的算法,以得到多模态识别的输入序列。随后针对本文的视频情感分类任务,本文通过对表情识别的结果与视频情感分类特点进行研究,得出视频情感分类架构,并进行实验和结果分析。本文分别在人脸识别和视频分类两个算法领域展开研究并提出改进算法,随后将两者相结合,实现了对视频内涵情感信息的识别,并将其应用到视频分类中,最终实现的视频分类算法准确率平均达到75%。最后实现了基于本文算法的视频分类系统。