视频已经成为大数据时代最重要的信息载体之一。相比静态图像,动态视频包含更多的视觉信息和听觉信息,更为复杂多义,所以对视频处理、分类、推荐等常见视频相关任务提出了更高的要求。人体动作识别一直以来是视频理解中最重要的课题之一。它可以应用到虚拟现实、人机互动、智能监控和视频检索等领域中,还可服务于短视频、直播平台、视频网站等相关应用,为视频个性化推荐、舆情监控、广告投放等业务提供技术基础。在视频中,人体是最重要也最频繁出现的主体。理解了人的运动模式也就理解了整个视频中最关键的信息。但是,现有的动作识别算法忽略了视频中人体自带的结构信息,只能够通过增加模型参数量的方法增强动作特征的表达能力;另一方面,增加模型参数量又会导致模型的计算复杂度更高、学习难度更大。针对以上两个主要研究问题,本文根据视频数据的不同模态,从增加模型对人体结构建模能力和模型加速角度出发,引入三维局部卷积神经网络、时空图卷积神经网络和继承探索模型蒸馏框架,增强模型特征的表达能力的同时提升模型的计算效率。本文的主要创新点可以概括为:（1）在视频动作识别任务中,为了更好地建模人体局部的动作特征,提出了三维局部神经网络。通过分析三维卷积的一般形式,引入三维局部卷积操作。该操作可以自适应地从不同三维局部领域中提取局部三维特征。在三维局部卷积的基础上提出一种三维卷积基础模块,可以自动定位不同的三维局部区域。不同区域对应不同的身体部位,每个区域的时空位置和尺度各不相同。该模块可以和任何现有的三维神经网络结合,显式地提取人体不同部位在动作进行过程中独特的运动特征,提升整体时空特征的表达能力。（2）在骨骼动作识别任务中,针对骨骼数据图结构信息缺失的问题,提出了时空图卷积模型。通过探究和分析骨骼序列中关节点之间的图结构信息,引入多尺度图卷积的概念,提出提取并融合不同尺度图特征的方法。在此基础上设计一个简单且高度模块化的图卷积网络结构。该网络可以克服现有方法在不同层从不同路径提取和合成不同尺度和变换信息的局限性,聚合来自空间和时间维度的多尺度信息。最后实验证明该方法不仅在多个数据集上有效性超越之前最先进的方法,而且参数量和计算量也大大减少,符合实际应用的需求。（3）为了进一步降低动作识别模型的训练和计算开销,提出了一种模型蒸馏算法,在保留高性能的基础上提升计算效率。针对模型蒸馏算法中教师模型对学生模型的一致性限制问题,提出一种全新的基于继承和探索机制的模型蒸馏框架。该框架一方面确保在学生模型可以继承教师模型已经学习到的、有效的知识;另一方面鼓励学生模型探索和继承部分不一样的新知识。该方法是一种通用的知识迁移框架,可以灵活地与现有的蒸馏算法或深度互学习方法相结合,提升知识迁移的效果。