近年来,深度学习在计算机视觉,语音识别和自然语言处理等众多方面得到了广泛应用.随着深度学习受欢迎程度的增加,神经网络也受到了各大智能研究公司的青睐.但是,由于深层神经网络模型的巨大参数量使得网络无论是在计算速度还是存储方面都面临很大困难.因此,神经网络很难植入到一些移动设备上计算.当我们面对高维高数据量时,常见的批量处理的方式已经显得力不从心.传统的神经网络稀疏化方法,都是在神经网络在训练之后将一些不重要的参数“去掉”,然后再对剩下的参数重新学习训练.这样,虽然在新的模型中,参数达到了稀疏的效果,但是仍然需要训练一个庞大的网络模型之后才能得到稀疏网络模型.本文中介绍的正则对偶平均化方法是一种在线优化算法,神经网络每次训练都经过反向传播算法将小于某一阈值的参数设置为0,也就是在训练过程中对神经网络参数稀疏化.当网络训练完成之后,神经网络随之达到稀疏效果,这样的稀疏模型可以直接在之后的预测分类任务中使用.其次,本文对比分析了正则对偶平均化方法与随机梯度下降法的收敛性和稀疏效果,对这两种方法的迭代公式进行了比对,从理论上证明了这两种方法具有相同的收敛性.这类梯度下降算法的优点是精度比较高,而正则对偶平均化的方法是从另一个方面来求解损失函数和正则项,并且更有效的提升了特征权重的稀疏性.最后,文章通过数值实验验证了正则对偶平均化方法的稀疏效果在随机梯度下降法的基础上得到了提升,并且具有较好的结果.