卷积神经网络在多种场景中成为了优秀的解决方案。在移动终端设备上部署卷积神经网络产品已具备现实需求,如短视频特效、智能无人机、智能相机和野外草本识别等场景。特别地,无网、弱网或禁网的隧道、洞穴和军工等场景也具有硬需求。卷积神经网络产品需要对大量的浮点数进行存储和计算,对存储器、算力、功耗等资源需求较高。因此,为了在移动终端上部署卷积神经网络产品,需要对资源消耗进行优化。本文内容是研究如何将卷积神经网络学术研究成果在移动终端设备上以更低成本、更高效的方式落地为工业产品,优化工作可以从两个层次进行:第一,通过剪枝和量化等手段压缩现有网络模型,降低硬件资源需求;第二,设计专用神经网络算力单元,针对性地对网络模型的前向推理运算进行加速。在压缩网络模型方面,本文考虑在量化时就减小误差,提出一种基于最小误差思想的L2Q模型量化方法,该方法会最小化量化引起的误差,使得量化后的模型参数分布与原分布近似。在设计AI算力单元方面,本文研究了卷积神经网络运算中的并行化和访存特点,并在Xilinx异构Soc上设计并实现了一种基于FPGA的卷积加速IP核,并将其作为ARM处理器的异构协同算力单元,共同完成卷积神经网络的前向推理运算。详细工作如下:1.为了减小量化网络模型引起的误差,本文基于最小化误差的思想,先使用L2范数表示模型量化前后的累计误差。然后使用迭代法和KL散度确定累计误差最小时的线性尺度变换因子。最后将网络模型中的浮点数参数集合进行定点化,以达到压缩网络模型和降低资源需求的目的。2.为了提高模型运算时的访存效率和并行计算效率,本文以BC4HW4格式的张量数据为基础,提出一种FPGA可实现的高效通用卷积算法,并基于该算法实现了一种通用卷积加速IP核。3.为提高网络模型的计算速度,本文将多颗通用卷积加速IP核组成加速阵列,与ARM处理器形成异构计算系统,共同提高整个加速器的数据吞吐量。与现有的FPGA加速器相比,本文设计的单颗卷积加速IP核的数据吞吐量较小,但工作频率更高。通过多核阵列提高并行化,提升了加速器系统的数据吞吐量。在ZCU102实验板上部署了4颗卷积加速IP核,以287MHz的频率运行,加速器的吞吐量达到1096.86 GOP/s,能效比是54.06,VGG-16的加速比是2.46。