本文针对视频中人体动作识别和分类的需求，设计和实现了具有较高准确率的人体动作识别系统。在设计系统的过程中，我们分析和评估了近年来国内外流行的动作检测和识别方法，在此基础上提出了新的系统和处理实际应用问题的方法；同时我们也进行了系统配置优化和执行效率优化方面的研究，并在公开的理论数据集和实际数据集上对系统进行测试验证，以及和国际领先水平的研究成果进行了比较。本文主要工作包括以下几个方面：(1)设计并实现了模块化的动作识别系统，系统采用流水线结构，降低了各部分的耦合。低耦合设计使得各模块内部使用的算法可以进行任意调整和组合，方便对单个算法和算法间的适用性进行评估。同时保证了整个系统的设计具有可扩展性，使后续的算法改进和功能模块添加非常方便。(2)在算法设计方面，我们使用本系统评估了多种目前国际领先的领域成果，分析他们对动作建模的方法和思路，以及不同方法在不同应用场景下的优势和弊端。我们采用泛化能力较强的bag-of-words表示，对视频检测时-空兴趣点，即沿着时间和空间方向局部变化最为明显的点，在这些点周围提取局部时-空特征。时-空特征采用多种扩展到三维（X轴、Y轴和时间轴）的局部特征方法，并对特征向量作聚类从而数量化表示，由此形成视觉词汇，将一段视频变换为一组视觉单词的集合。形成bag-of-words表示之后，我们设计使用LDA主题模型提取每个视频中的隐含主题，将视频表示为主题上的分布。视频之间的距离通过Bhattacharyya距离衡量，对于目标视频采用判别方法实施最终的分类。(3)对视频的识别过程，我们将其分为单一视频动作分类和长视频动作检测两种需求，对于后者我们设计了基于滑动窗口的高效的分割方法，令其转化为第一类情况处理。(4)我们将系统应用于公开的人体动作视频集以检验其表现，实验表明在公开数据集上，我们的方法与当前国际上最新领先的研究成果相比具有竞争力：在简单数据集上我们的系统优于所有bag-of-words方法，复杂数据集上在比目前国际最佳准确率略低的情况下，执行速度比其快将近20倍。通过实验，我们研究了视觉字典的规模和隐含主题的个数对系统表现的影响，对于今后构建实际投入使用的系统设置方法起到指导性的作用。