深度神经网络作为深度学习中的重要技术,在计算机视觉、自然语言处理、推荐系统等领域都取得了巨大的成功。近些年来,随着数据规模不断扩大、计算机硬件性能逐步提升,深度神经网络的规模也随之变大。对海量数据的学习过程离不开强大的算力和高效的优化算法支撑。因此,如何对模型进行快速且高效的优化成为了亟待解决的问题。一阶优化算法凭借简单的链式计算规则和较低的计算成本,成为目前主流的优化算法。然而,这类算法往往需要较为繁重的迭代轮数和较为精细的参数调整,在海量数据处理中,很难满足高性能的需求。近年来,随着算力的逐步提升,对算力需求较大的二阶优化算法展现出较强的研究价值。相比于一阶优化算法,其运用了参数互相关的预调节器来为模型提供更近准的参数更新方向,只需要少量迭代轮次就能快速收敛。然而,二阶优化算法由于对算力、存储空间等有较高的要求并没有被广泛应用。为了提高二阶优化算法的实用性和可行性,本文提出了三种改进方法,主要工作内容如下:（1）针对克罗内克积近似曲率（Kronecker-Factored Approximate Curvature,KFAC）二阶优化算法中,单层中大尺寸矩阵求逆运算量依旧过大的问题,进一步提出更精细的层分组近似策略。该算法根据通道维对网络的特征映射进行分组,假设各组间相互独立,将较大的因子矩阵分解成几组较小的矩阵,从而降低最耗时的矩阵求逆运算的时间成本。在多组实验表明该算法可以获得与KFAC相似的高性能精度,并且能缩短优化时间、减少空间成本。（2）针对GKFAC算法性能容易受到矩阵切分后的尺寸大小的影响问题,提出一种基于KFAC的降维优化算法。该方法利用克罗内克因子矩阵的低秩性和谢尔曼-莫里斯-伍德佰里（Sherman–Morrison–Woodbury,SMW）公式,对克罗内克因子矩阵进行更为细致的矩阵降维,针对不同类型的神经网络层,如:卷积层、全连接层、编码层等,提出不同的降维策略,更细致地近似费雪矩阵。该算法在没有损失较多的曲率信息的情况下,将二阶优化算法的计算成本大幅度降低至与一阶优化算法相近的水平。实验结果表明算法在多个真实数据集对比其余多种优化算法,计算成本都有明显的降低。（3）针对二阶优化算法收敛后最终的模型性能稍弱于精细调参的一阶优化算法的问题,提出一种一阶优化和二阶优化的联合优化算法。该方法使用球面方程,通过改变两者的权重,进行动态联合。在优化前中期,以收敛速度更快的二阶优化算法为主,训练后期过渡到以收敛性能更突出的一阶优化算法。在多个实验中,这种联合方法体现出兼具二阶优化的速度与一阶优化收敛性的良好效果。此外在该算法的基础上,结合上一章的低秩化加速技术,进一步提出一种轻量级算法,将矩阵降维至实数从而无需进行矩阵求逆运算,大幅度减少计算成本,对算力不足的设备表现出极强的兼容性。