行为识别是计算机视觉的一个基本问题,随着科技的发展,现在很多地方都要用到这一技术,例如智能视频监控、虚拟现实、互联网上的视频检索、人机交互等场景,具备广阔的前景。然而行为识别目前还存在包括如何提取强有力的特征、如何整合多种特征等诸多问题和难点。这些问题影响了行为识别技术在工程上的落地,所以本文将主要探讨如何提升行为识别算法的准确性和鲁棒性。随着2012年卷积神经网络在图像领域取得惊艳成果,近年来陆续出现了VGG、ResNet等新的网络结构,当前在视频领域有很多网络模型如双流神经网络和3D卷积。但是目前这些网络特征表达能力还不够强,而且动作识别的数据集和ImageNet数据集相比较小,在训练中容易产生过拟合。为了解决这个问题,本文基于两篇论文的研究成果将解耦算子扩展到深度架构的双流神经网络上,讨论能否提升特征表达能力。本文使用了UCF-101数据集,包含101个动作类别、13320个视频片段。采用了VGG16网络结构来构建时间流网络和空间流网络。在训练上,使用ImageNet预训练模型为网络做初始化,并且对数据做在线增强。由于使用了预训练,模型中使用了低学习率,时间流网络使用0.001的初始学习率,每隔100轮迭代衰减1/10,空间流网络使用0.001的起始学习率,从200轮迭代开始衰减1/10,之后每隔100轮衰减1/10。经过训练和测试,传统双流卷积网络,空间流网络的准确率为73.619%,时间流网络的准确率为67.962%,融合后的准确率为77.334%。使用解耦算子的双流卷积网络,空间流网络的准确率为:75.015%,时间流网络的准确率为68.214%,融合后的准确率为78.192%。