迄今为止,人工神经网络已经经历了七十多年跌宕起伏的发展。得益于研究者们的探索与坚持,目前,深度神经网络（DNNs）在语音识别、自然语言处理、图像理解、视频分析等众多应用中均取得了突破性的成果。随着研究的不断深入,神经网络的层次不断加深,随之而来的是不断增加的计算复杂度和不断提高的计算和存储资源需求。如何把这些复杂的深度神经网络部署到资源有限的边缘设备（例如,移动电话、嵌入式设备和智能芯片）上成为一个难题。在庞大的应用市场需求的刺激下,深度神经网络的压缩与加速技术研究显得尤为重要。模型量化作为其中一项典型的技术,它可以将原来32位浮点数表示的数值转化成低比特的定点数,从而实现模型的压缩与计算加速。本文基于模型量化加速任务,以速度更快、精度更高、信息损失更小、模型更鲁棒、样本更少和异构加速等为目标开展以下研究,具体内容有:（1）针对多比特量化模型的加速问题,本文提出了基于{-1,+1}编码的量化模型分解与加速方法。该方法可以将任意多比特的量化模型分解为多分支的二值神经网络,在前向推理时每个分支可以利用二值神经网络的加速器来通过位操作实现计算加速,从而在保证模型精度的同时,又能充分地利用二值神经网络的加速效果。该方法具有训练简单、支持多种量化比特、适合硬件部署的特点。（2）针对利用混合精度量化的优化以提高量化模型性能的问题,本文提出了基于单支路序列化搜索的方法。在第三章中,我们将混合精度量化问题转化成神经网络结构搜索问题,并提出了一个可微分的神经网络结构搜索方法来对网络各层的量化精度进行搜索。在每次搜索时只对搜索空间的一个候选对象进行采样并使其参与到模型计算,从而减少计算复杂度和节约硬件资源。在搜索过程中,我们以选择确定性为指标按顺序地确定每层的量化精度,从而指数级的减少搜索空间,使搜索网络以更快的速度达到收敛。（3）为了缓解模型量化带来的信息损失问题,我们提出了基于多尺度小波表征的量化神经网络。该网络利用小波变换的多尺度特性将原始数据分解为多个频率域分量,然后对不同尺度下的分量进行量化,从而有效地缓解高频域的信息损失。多尺度小波量化具有保留更多信息、更强的表示能力、应用灵活和效果突出的优点。在实际使用时,我们可以根据实际结构在不同的层次上利用不同的小波基进行小波分解,然后根据不同的量化比特来选择恰当的量化器,以提高量化模型的效果。（4）针对量化比特或者量化策略发生调整时模型精度显著下降的问题,我们提出了一种支持热插拔位宽调整的鲁棒性神经网络。它可以在无需任何优化和微调的条件下实现在线的量化比特调整。我们利用小波分解与重构的特性,在引入少量模型参数的情况下提高模型表达的多样性,并对不同精度情况的超参进行优化学习。当进行量化比特调整时,模型会自动地选择对应的超参和支路进行计算,该过程不需要任何训练与精调,可以在秒级完成,从而达到用户无感知的热插拔调整的效果。（5）针对样本不足的情况下模型量化的需求,我们提出了基于双向误差重构的小样本训练方法。该方法是典型的后训练量化方法。经过理论分析,我们发现随着量化比特的降低,量化敏感度呈指数级增长,模型权值的分布成为量化敏感度的重要因素。基于此,我们提出了一种鲁棒性的后训练量化方法,能够在不损失模型精度的情况下,将权值参数的分布拉向对量化友好的均匀分布。然后,我们利用所提出的双向误差重构算法来进行逐块特征重构以实现对量化参数的学习,从而降低量化损失。该方法可以在低比特情况下实现目前最好的精度效果。（6）以上章节的内容均是对模型量化在不同关键问题上的理论方法研究,为了实际测试量化模型的加速效果,我们在Xilinx的异构平台上进行了验证。本章节以Xilinx的ZCU102开发板和Ultra96 v2开发板为硬件平台并且配置了一系列配套的系统。基于这些硬件平台和系统我们展开了对模型轻量化和硬件加速的实验。通过将预训练的模型进行量化、微调、交叉编译等操作,部署到异构硬件平台上测试其性能。实验表明,模型量化能显著的提高模型的推理速度,具有更高的能效比。