论文部分内容阅读
为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质。激活函数大体可分为“S型”激活函数、“ReLU型”激活函数、组合型激活函数、其他类型激活函数。在深度学习发展初期,“S型”激活函数得到了广泛应用。随着网络模型的加深,“S型”激活函数出现了“梯度消失”问题。ReLU激活函数的出现缓解了这一问题,但ReLU负半轴“置0”则引入了“神经元坏死”的问题。随后出现的改进激活函数大多基于ReLU负半轴进行改动,以缓