近年来,深度学习算法已经成为机器学习领域应用的主流模型,其中,卷积神经网络和循环神经网络在图像、视频、声音、文本等各种数据对象的智能分类、检测、识别应用中效果尤其突出,已经成为最主要的两类深度神经网络模型。随着精确感知和高精度识别任务需求的不断增长,大量智能应用在采用这两类深度网络模型时均使用层数更深的结构,需要高算力专用硬件的支持,这两大类深度学习网络的加速技术一直是研究的热点问题。同时,针对不同数据对象和不同精度要求,卷积神经网络和循环神经网络结构在具体的应用中有很多变形,模型设计和加速优化需结合具体应用领域进行才可取得良好效果。因此,本文针对卷积神经网络和循环神经网络加速优化问题,深入研究模型结构设计、模型轻型化、并行加速等软硬件优化技术,并面向FPGA平台,研究两类网络模型及应用任务的敏捷设计及实现技术,获得了最主流的两类深度神经网络应用任务的高能效实现。本文的创新点主要包括:·研究了基于层折叠流水模型的卷积神经网络加速器设计（第二章）研究了基于层折叠流水结构模型的卷积神经网络加速器。本文详细研究了当前针对卷积神经网络加速实现的全折叠结构和全流水结构,提出了一种层折叠流水结构模型。通过分析卷积神经网络中各层的结构和操作共性,提出加速器的折叠层结构,使得共性层可映射到一层计算单元上,与无共性层通过流水栈相连,形成整个网络的流水实现结构。这种结构模型可以根据不同的片上存储、访存带宽、片上计算资源等实现约束来平衡层折叠状态,充分利用给定FPGA硬件资源,获得最优吞吐率。层折叠结构模型统一了各类卷积神经网络流水结构,使得全折叠和全流水结构成为该模型的两个特例。基于层折叠流水结构模型,本文提出了一个通用的加速器结构框架,设计实现映射了面向不同卷积神经网络的加速器,提出了框架性能分析模型,最后,基于该框架结构在Xilinx VC709板上实现了Alex Net和VGG16两种加速器,分别获得了593.5GOP/s和638.9GOP/s的吞吐率,最佳性能超过当前最先进的卷积神经网络加速器实现。·提出了基于层折叠流水模型的卷积神经网络加速器自动生成模型（第三章）针对卷积神经网络层规模变化导致的层折叠流水结构适用性问题,提出了基于层折叠流水模型的卷积神经网络加速器自动生成模型,从计算资源、片上存储资源、访存带宽和吞吐率四个方面建立层折叠流水线结构的的分析模型,提出了一种多因素约束下层折叠结构模型实现的设计空间探索算法,可自动搜索和生成面向特定FPGA资源约束的最优逻辑实现。该自动生成模型有效降低了卷积神经网络的代码开发周期,极大提高了应用便捷性。本文在Xilinx VC709平台上具体生成并验证了三种主流卷积神经网络Alex Net、VGG-S、VGG16,实验表明,自动生成模型给出的加速器实现与手工实现相比资源占用量误差小于5%,验证了自动生成的有效性和高效性。·提出了面向序列型卷积神经网络的加速器设计（第四章）针对声音等序列型卷积神经网络在具体应用任务中的变形,面向声音数据智能识别应用,研究适用于具体任务的卷积神经网络应用加速器。首先通过分析单最大值池化卷积神经网络的多尺度卷积组的并行特点,设计实现了基于一维卷积器的单最大值卷积神经网络加速器,与传统卷积神经网络加速器相比,其在完成相同任务时,能够占用更少的资源获得更优的性能。第二,本文提出了面向声纹识别的频率维卷积网络模型,并针对硬件实现约束进行结构优化设计,降低该模型的计算复杂度。然后基于频率维卷积网络模型,设计实现金字塔式层折叠流水结构的应用加速器,通过软硬件联合优化获得应用任务的高吞吐率实现。·提出了面向循环神经网络的结构压缩加速器设计（第五章）我们基于块矩阵循环算法研究了以LSTM为代表的循环神经网络加速器,首先我们采用块矩阵循环算法,简化了LSTM模型,之后分析了双层双向LSTM的访存模式,提出了流水结构LSTM加速器。然后对流水结构LSTM加速器应用场景受限的缺陷,设计了一个能够计算不同规模单层LSTM层的折叠结构LSTM加速器,在折叠结构LSTM加速器中,设计了LSTM的访存结构,该结构能够适用于正向/反向以及多层情况,最后提出了一套指令系统,能够将所有LSTM层解析成指令在该折叠结构LSTM加速器上执行。我们将提出的两种加速器结构和Wang和Han等人的工作相比,性能优于两者,同时结构的完整性也强于两者。