人体行为识别的研究在最近十几年内取得了很大的进步，国内外研究者从特征提取和分类器设计这两方面提出了不少的改进方法，但在特征提取方面的研究尤其突出，包括全局特征（如MHI、MEI、STV等）、局部特征（如3D-HOG、cuboids、KLT等）以及两者的结合（如MHI+STIP等）。最近出现的基于稠密轨迹的行为识别方法较之前的方法取得了更好的识别效果，本文在稠密轨迹方法基础上做了一定的改进。基于稠密轨迹的行为识别方法，通过采样稠密光流场，提取稠密轨迹，沿着轨迹提取了包含局部运动模式信息的轨迹描述符、包含外形信息的方向梯度直方图、包含运动速度的光流直方图以及补充光流包含运动加速度的运动边界直方图，将这些特征向量用单词袋的方法进行量化编码，再送入分类器进行分类。本文主要在以下两方面做了改进：（1）在现实生活中，好多视频都存在相机运动（背景运动）的情况，MBH描述符虽然在一定程度上能够减少匀速相机运动的干扰，但对HOF的影响并不能去除。基于二值化赋范梯度的对象性感知方法具有计算高效、一般性对象检测能力强的优点，本文将此方法运用到行为识别中，先对前景目标进行位置感知，再对移除前景目标后的场景（背景）进行特征点提取，用提取的特征点估计相邻帧的单应性，用以调整相机运动对光流的影响，同时剔除背景的稠密轨迹，然后在调整的光流上提取特征描述符。（2）由于单词袋方法主要存在以下几个问题：①受限于聚类方法的弊端；②词典大小的选择问题；③相似性度量函数的选择问题；④量化造成空间特性分布信息的损失。针对单词袋量化编码方法的这些缺点，本文提出用Fisher向量代替单词袋对特征描述符进行量化编码。主要因为Fisher向量还考虑了1阶和2阶统计特性，使得Fisher向量比单词袋方法包含更多的图像特性，而且特征向量经过Fisher向量量化编码之后，使用计算复杂度更低的线性支持向量机就可以实现分类。本文使用5个数据集对改进方法进行了验证，实验结果表明，改进的方法获得了更好的效果，达到预期目的。