动物行为分析是生物学和计算机科学交叉的重要研究方向,其主要通过利用计算机视觉和人工智能技术来自动化地分析动物身体、关节等部位的行为。作为动物行为分析中的重点,动物视频行为识别需要提取出视频中的动作序列的关键视觉特征,然后通过机器学习和深度学习等算法来学习目标动作的时空信息,从而完成对目标动作的视觉内容理解和模式识别。本文面向视频信息中时空动作特征的理解和分析,主要研究其中涉及的视频行为识别算法。针对目前主流行为识别算法中,传统双流网络无法学习非局部时空依赖关系的缺陷以及单流网络在判别关键区域的识别能力的不足,分别提出了互相关融合网络和判别滤波网络。本文的主要研究和工作如下:1.针对传统双流网络无法进行非局部的特征融合的缺陷,提出了基于互相关双流融合网络的动作识别算法。双流网络通过学习图像静态信息和光流运动信息分别得到空间特征和时序特征,并使用后融合结合两者输出从而提高动作识别性能,然而后融合的方式无法学习到这两种特征的非局部依赖关系,即不同区域的“物体”和“动作”的特征关系。本文提出的互相关网络通过引入互相关矩阵来计算两种特征之间的全局响应值,从而可以捕获非局部的时空依赖关系,最后在UCF101人体数据集下取得了95.0%的准确率以及在大鼠行为数据集下取得了99.1%的准确率。2.针对全局平均池化层无法有效捕获到精细行为中判别性区域的缺陷,提出了基于判别滤波单流网络的动作识别算法。深度神经网络通过卷积层来提取视觉特征,并使用全局平均池化和全连接层来进行分类,然而这种方法无法考虑到目标中的判别区域。本文提出利用全局最大池化层和自适应注意力模块,用于检测视觉特征中的判别区域,从而增强网络泛化性,最后在大鼠行为数据集下取得了98.1%的准确率以及在果蝇幼虫行为数据集下取得79.4%的准确率。