受摩尔定律的影响,计算机系统的存储和计算能力在过去几十年里经历了跨越式的提升,从而为大数据和人工智能的发展提供了肥沃的土壤。特别是近年来,神经网络的快速发展及其在计算机视觉、自然语言处理、社交网络、知识图谱等领域的成功应用,真正推动了人工智能时代的繁荣,使人类的生产生活变得愈加高效便捷。随着神经网络的应用领域愈发广阔,神经网络模型变得越来越庞杂,处理的数据类型也从欧几里得图像和视频数据向非欧几里得图数据结构扩展。同时,随着制程工艺逼近物理极限,芯片的计算和存储能力的提升速度也在逐渐放缓。在后摩尔时代背景下,新兴神经网络应用对计算和存储能力需求的增长速度已经超过了计算芯片和存储芯片的发展速度。因此,新兴神经网络应用在传统计算机硬件系统上的计算和访存瓶颈愈加严重,导致应用在硬件平台上运行效率低下,限制了应用的实际部署范围。本文针对新兴神经网络在计算和存储方面的新挑战以及不同应用场景下的部署需求,分别从基于现场可编程门阵列（Field-Programmable Gate Array,FPGA）的硬件平台解决欧式空间的三维卷积神经网络（Three Dimensional Convolutional Neural Network,3D CNN）和非欧空间的图神经网络（Graph Neural Network,GNN）的加速需求,以及基于新兴的近内存计算（Near-Memory Processing,NMP）架构解决图神经网络应用在大规模数据集上的存储瓶颈三个方面开展研究工作。本文采用软硬件协同加速的方法,从神经网络算法执行优化、硬件加速架构创新设计、软硬件系统耦合优化等多个层面进行系统性地研究,提高了系统的计算和访存效率,从而实现了高能效的神经网络推理加速。本文的主要研究工作和创新点包括:（1）本文提出了一种基于FPGA的三维卷积神经网络加速器——3D-NPU（Neu-ral Processing Unit,神经处理单元）,采用软硬件协同加速的方法,探索了不同优化目标下的设计空间,实现了业界领先的性能和计算单元利用率。在软件层面,本文针对三维卷积神经网络的访存和计算特征,提出了粗粒度的数据分块方法和多种循环排序策略。在硬件层面,3D-NPU采用可扩展的计算单元阵列和可重构的片上缓存设计,实现了不同的循环排序策略,具备高度的灵活性、并行性和扩展性。在系统层面,本文提出了在不同优化目标下的设计空间探索方法,实现了每一层最优的循环排序策略。实验表明:相比基准模型,3D-NPU在最优的循环排序策略下可以减少84%的片外访存量和55%的能量消耗,并且在保证通用性的同时实现了同期最高的性能和计算效率。（2）本文提出了一种基于FPGA的图神经网络加速器——FP-GNN,采用软硬件协同加速的方法,实现了高灵活性且高能效的图神经网络加速。在软件层面,本文定量分析了图神经网络算法的执行顺序对性能的影响,并针对大规模图神经网络数据集处理需求提出了一种自适应层次化图数据划分方法,提高了存储子系统的效率并消除了层间重新划分图数据的开销。在硬件层面,FP-GNN采用统一的计算架构设计,实现了灵活的执行顺序和高效的片上资源利用。在系统层面,本文从图数据存取、负载均衡、稀疏性消除、混合执行等角度来优化存储和计算系统的效率。实验表明:FP-GNN在多种图神经网络模型和数据集上的平均性能达到了 GPU（Graphic Processing Unit,图形处理器）的24.9倍,能效比是GPU的138倍,并且相比业界最佳的硬件加速器实现了更高的吞吐效率和能效比。（3）本文提出了一种基于双列直插式存储模块（Dual In-line Memory Module,DIMM）的近内存计算加速器——G-NMP,针对图神经网络进行软硬件耦合设计和优化,实现了实用且高效的近内存计算加速。在软件层面,本文通过对多种图神经网络算法提取细粒度的基本算子,降低了近内存计算架构的设计复杂度。在硬件层面,G-NMP采用统一的计算模块来实现灵活的数据流,并利用秩级并行性来提高并行访存带宽。在系统层面,本文为G-NMP 设计了一套指令集——G-ISA（Instruction Set Architecture,指令集架构）,实现了图神经网络算法的高效部署。同时,本文提出了自适应数据分配策略和累加模式优化方法,提高了 G-NMP的访存和计算效率。此外,本文还提出了一种CPU与G-NMP加速器之间的通信策略,实现了低开销的内存控制权切换。实验表明:在相同的内存配置下,G-NMP加速器的平均性能达到了业界最佳方案的1.73倍,能效比分别达到了 CPU的31.6倍和GPU的1.78倍。