作为人工智能领域的核心技术,深度神经网络（Deep Neural Networks,DNNs）近年来在人脸识别、视频处理、机器翻译、搜索推荐、生物医学等众多领域得到了广泛的应用。然而,在深度神经网络的性能不断提升的同时,其宽度和深度也在不断增加,甚至诞生了参数量在千亿量级的超大模型。深度神经网络的高存储占用和高计算负载问题给当前的硬件设备带来了巨大的压力,尤其是资源受限的移动设备和可穿戴设备。因此,如何有效地实现深度神经网络的压缩与加速成为学术界和工业界的研究热点。另一方面,众多研究表明深度神经网络中存在大量的参数冗余,且用于端侧推理的输入数据具有高时间冗余性,这在一定程度上表明了模型压缩与端侧加速的可行性。本文针对深度神经网络存在的参数冗余问题和端侧神经网络推理中存在的时间冗余问题,从模型压缩与推理加速两种不同任务出发,对深度神经网络的结构化剪枝和端侧推理加速问题展开了深入研究,特别是针对计算机视觉中卷积神经网络的压缩与推理加速。本文的主要研究工作与贡献总结如下:（1）提出了一种基于信息熵的网络剪枝方法。传统方法基于网络激活值或特征图均值向量制定剪枝决策,而忽略了特征图重要的空间信息,无法准确评估卷积滤波器的特征提取能力。针对此问题,本文提出了一种基于信息熵的滤波器剪枝方法,引入熵来评估特征图的全局信息量。首先,构建了特征选择模块以制定修剪决策。为充分考虑特征图空间信息且避免单个样本偶然性,特征选择模块将每个特征图通道列扁平化,并基于大量随机输入确定每个通道的平均熵权重。然后,考虑到不同层的信息分布差异,设置全局的熵比率为不同的层确定合适的修剪率。接下来,通过迭代式剪枝进一步提升压缩上限。最后,在多个常用深度神经网络和数据集上验证了所提出方法的有效性。其中,对于经典神经网络VGG-16,本文方法在CIFAR-10上实现了 92.9%的参数剪枝和76%的浮点运算量（FLOPs）压缩,且没有带来明显的精度损失。（2）提出了一种基于权重相关滤波器门的端到端网络剪枝方法。修剪指标、修剪率、效率约束是网络剪枝中的三个挑战性问题。传统修剪指标通常为手工设计或引入数据驱动的尺度因子,这些方法加入了人为干预或易受输入数据的影响。修剪率通常人工设定,无法充分考虑不同层的冗余差异。效率约束方面,传统约束指标（参数量、FLOPs）与实际推理耗时之间存在不一致问题。本文提出了一种新型的滤波器剪枝方法,旨在通过端到端的方式较好地解决上述三个挑战性问题。针对修剪指标问题,提出一种权重相关的滤波器门以直接学习滤波器权重到修剪决策的映射关系,避免了人工干预;针对效率约束问题,提出一种可切换的效率感知模块,以梯度的方式为剪枝过程提供硬件耗时或FLOPs约束;同时提出一种效率感知的损失函数,用于优化各层的修剪决策与修剪率,以获得符合“精度-效率”最佳权衡的轻量化模型。实验结果表明,本文方法在性能上显著优于以往的方法。例如,在ImageNet数据集上,相比于同FLOPs的ResNet-34、ResNet-50、MobileNet-V2等基线模型,本文的压缩结果在更低的硬件耗时下,精度分别提升了 1.33%、1.28%、1.1%。（3）提出了一种基于语义记忆的移动端卷积神经网络推理加速方法。生物学实验表明,人脑可以通过激活神经元上更快的记忆编码和访问来加快重复呈现对象的视觉识别。受到上述启发,本文首次提出语义记忆（semanticmemory,SMTM）,用于加速端侧卷积神经网络推理。SMTM采用分层记忆架构来利用移动视频中感兴趣对象的长尾分布和时间局部性,并进一步提出几种新的技术使其发挥作用:1)SMTM将高维特征图编码为低维语义向量,以执行低成本且准确的缓存和查找;2)考虑到不同网络层的固有特性,SMTM提出一种新的度量标准来确定退出推理的最佳时机;3)SMTM自适应地调整分层记忆区的缓存大小和语义中心以适应场景的动态变化。最终,SMTM在商业化卷积神经网络推理引擎上进行了原型设计,可以在移动端CPU和GPU上执行神经网络的推理加速。在大规模数据集和多个基准模型上的实验表明,SMTM可以显著加快模型的推理速度,相对于基线最高可实现2倍的加速,相对于先前的缓存设计方法最高达到1.5倍的加速,且精度损失在可接受范围。