神经网络是人工智能领域的核心研究内容之一。七十年发展历史中,神经网络经历了从浅层神经网络到深度神经网络的重要变革。深度神经网络通过增加模型深度来提高其特征提取和数据拟合的能力,在自然语言处理、自动驾驶、图像分析等问题上相较浅层模型具有显著优势。随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,并行化成为增强其应用时效性的迫切需求。近年来计算平台的硬件架构更新迭代和计算能力飞速提高,特别是多核众核以及分布式异构计算平台发展迅速,为深度神经网络的并行化提供了硬件基础;另一方面,日趋丰富的并行编程框架也为计算设备和深度神经网络的并行化架起了桥梁。本文首先介绍了深度神经网络发展背景和常用的计算模型,然后对多核处理器、众核处理器和异构计算设备分别从功耗、计算能力、并行算法的开发难度等角度进行对比分析,对并行编程框架分别从支持的编程语言和硬件设备、编程难度等角度进行阐述。然后以Alex Net为例简要说明了深度神经网络模型并行和数据并行两种方法的实施过程。接下来,从支持硬件、并行接口、并行模式等角度比较了常用的深度神经网络开源软件,并且实验比较和分析了卷积神经网络在多核CPU和GPU上的并行性能。最后,对并行深度神经网络的未来发展趋势和面临的挑战进行展望。