用于图像分类的卷积神经网络中激活函数的设计

来源 :浙江大学学报(工学版) | 被引量 : 0次 | 上传用户：waq

【摘要】

：

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下

【作者】

：

王红霞周家奇辜承昊林泓

【机构】

：

武汉理工大学计算机科学与技术学院

【出处】

：

浙江大学学报(工学版)

【发表日期】

：

2019年7期

【关键词】

：

图像分类卷积神经网络激活函数 relu 神经元坏死组合激活函数

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign.分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Cal

其他文献

高海拔地区云杉大树移植技术解析

大树移植是园林绿化中的一项基本作业工程,大树移植技术对于大树移植成活率具有重要影响。以高海拔地区为例,详细分析了高海拔地区云杉大树移植技术,全面概述了移植过程,以供

期刊

高海拔地区云杉大树移植技术

酒店经济可持续发展与区域经济发展间的关系

ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技

期刊

酒店经济经济可持续发展区域经济发展

拦河坝工程基础开挖爆破工艺及参数选择

在宁德市金溪一级水电站拦河坝工程中,根据工程岩石特性与实际施工特点,通过现场生产性试验,有针对性地提出相应的爆破施工参数和爆破方法,取得了理想的工程爆破效果。说明爆

期刊