随着多媒体时代的到来,移动互联网的蓬勃发展,越来越多的人选择通过拍摄上传视频的方式来记录分享生活的点点滴滴。而视频内容识别是计算机视觉领域的一个重要研究领域,工业界以及学术界也一直给予了广泛的关注,它是视频鉴别分类的基础。传统分类方法过分依靠专家的手动设计提取视频内容各部分特征。深度神经网络在语音识别,图像识别取得了杰出的贡献,目前已被推广至视频识别,也就是多帧连续输入的图像识别研究。本文选择了学术届公认的UCF101、HMDB51和Kinetics400数据集作为实验数据集,如何在单个视频中提取出不同模态的特征并充分利用是本次实验的重点,在获取视频特征后,如何在有限的特征范围内极大地提高视频分类精度是难点。本文实验研究内容主要是使用Pytorch框架实现一个基于注意力机制的多路视频分类模型,可以实现具有多模态特征输入,不同模态特征融合的视频分类。提取特征阶段主要提取包括RGB图像模态特征、光流模态特征、3D视频模态特征和音频模态特征在内的四类特征,针对不同的特征单独输入分类网络,获取视频内容标签概率分布。在分类阶段,本文将采用组合不同模态特征的方式做分类,在特征提取层面加入注意力机制,并且在最后的融合阶段采用了特征拼接融合,均值融合和结果融合的方式做了多组对比实验,最后建立了一个基于注意力机制的多路视频分类模型。完成分类任务的基础上,拓展了跨模态检索任务,通过将预先的标准化特征映射到同一语义空间,不断拉近视频模态特征和图片模态特征之间的距离,将两类特征类哈希化为64bit,进行相互检索。本实验主要基于神经网络进行分类和检索,区别于传统的分类网络就只是针对视频的文字标签进行分类,并不会深挖视频本身特征,过分依赖人工标签。而神经网络可以挖掘视频本质特征的相似性,通过对海量视频特征进行拟合运算,最终得到每个视频标签的概率分布。视频分类实验中,在三个实验数据集上均达到预期成果。跨模态检索实验中,在UCF101数据集中图片检索视频可以达到0.84的检索精度,超越了大多数算法。