深度卷积神经网络中激活函数的研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:lxf_0077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对深度卷积神经网络中经典的AlexNet网络模型中激活函数ReLU在网络模型训练时易产生神经元"死亡"和均值偏移的问题进行研究以及改进,通过结合反正切函数和对数函数的优势,在传统激活函数ReLU基础上提出了一种新的激活函数sArcReLU,并在后续训练过程中进一步调参。并将文中改进后的激活函数sArcReLU用于AlexNet网络模型训练,将使用新激活函数训练的深度卷积神经网络模型应用于公开数据集进行分类实验以验证其性能。实验结果表明:利用sArcReLU激活函数训练的深度卷积神经网络比利用ReL
其他文献
介绍了几种典型挤压铸造件在汽车制造中的应用实例.通过对典型零件的研究,证明挤压铸造是提高铸件性能的有效工艺方法之一,可部分替代那些性能要求高而用其他铸造方法性能无
网络购物这一领域的迅猛发展带来了海量的在线评论数据,挖掘评论数据中所蕴藏的语义以及情感信息对用户以及商家都有着莫大的价值。在这样的应用需求背景下,出现了针对文本的情感分析(sentiment analysis)技术。但由于中文语言表达的多样性与复杂性,用户会在评论中含蓄地提到评价属性与观点。而现有研究对包含显式特征评论文本的情感分析已趋渐成熟,针对隐式评论句进行特征识别的却较少。因此,文中面向隐式特征识别这一研究难点,提出一种基于领域特征指示词的隐式特征识别方法。该方法首先利用构建的多词型的主题情感联合模
在未来作战战场中,不同视点的应用相对单一视点具有更好的灵活性,对战争走向的获取、分析更为全面。文中提出一种针对未来作战战场,不同视点下单兵进行目标分辨的方法,分析了该场景下的主要问题和难点,设计了采用光电感知系统采集视点中的目标,利用Haar-like算法提取视点中目标的ROI区域坐标,将此提取结果作为目标特征算子的计算范围并利用LBP(local binary pattern,局部二值模式)特征
传统的推荐算法由于存在数据稀疏性和冷启动问题,导致在线学习平台在资源推荐上不能满足学习用户的个性化需求。为此,构建一个基于协同过滤算法的学习资源推荐模型,在推荐过程中融入学习用户的属性特征信息,进行学习资源个性化推荐。首先,在给出学习资源推荐模型的基础上分别构建了学习用户模型和资源模型;其次,在构建学习用户-学习资源评分矩阵的基础上采用基于修正的余弦相似度的改进算法结合学习用户的行为信息进行相似度计算和预测评分;最后,将学习用户模型和学习资源模型的特征信息融入推荐过程并实现学习资源的个性化推荐。通过对模型
路由算法是车载自组织网络的通信基础。然而现有的路由算法存在高时延、通信性能不稳定等缺陷,难以适应车辆变道预警、超车预警、碰撞预警和车载网络安全预警需求。基于此,文中采用IEEE802.11p通信标准基于经典的曼哈顿街区提出了基于遗传特征的分簇路由(genetic-characteristics-based clustering routing,GCCR)算法。该算法在分簇算法基础上,采取选择、交叉、变异操作对服务节点进行筛选,利用遗传算法自适应、择优等特性对分簇路由算法进行优化,既达到对服务节点优化的目的
以某量产车型的钢制下控制臂为研究对象,通过轻量化设计,开发了以铝合金铸件为核心的钢铝混合结构控制臂,通过挤压铸造得到铝合金铸件,实现了减重25%的设定目标。设计和试验结果表明,以铝合金铸件为核心的钢铝混合结构控制臂能够满足控制臂的使用需求,满足整车轻量化的需求。
光电血容积脉搏波(photo plethysmo graph,PPG)信号作为人体的一种固有的生理信号,包含了人体大量的病理、生理信息,不同个体之间的PPG信号存在着很大的差异,具有很好的保密性和唯一性。文中基于个体间PPG信号的特异性,利用改进的匹配追踪(matching pursuit,MP)稀疏分解算法对不同个体的PPG信号进行分解表示,以此来提取个体PPG信号20个特征值,然后结合PPG信号的1个时域特征值,组成21个融合特征,最后利用决策树分类算法建立分类模型进行分类识别。该方法直接以PPG信号
针对无人机网络资源短缺的问题,提出一种基于改进海鸥优化算法(improved seagull optimization algorithm, ISOA)的认知无人机网络频谱分配方案。对海鸥优化算法的解进行克隆操作,实现个体空间的扩张,增强对解空间的搜索力度。对克隆的个体进行变异操作,并将变异个体与原个体比较,保留较优的个体,以提高在当前最优个体附近的局部搜索能力。采用人工免疫算子计算选择概率,使适
直线特征蕴含图像中重要的几何信息,进行精确直线检测至关重要。针对场景复杂、纹理重复对象的直线检测中存在断线多、误检测率高的问题,提出一种基于基本块分组与渐进式融合的特征直线检测方法(BPC_GF)。该方法首先采用改进的自适应Canny边缘检测算法检测图像边缘点的属性;其次从边缘像素点中确定瞄点,引入基本块概念,结合贪心算法生成不同类型的基本块;然后对同一类型的基本块依据相邻基本块间主方向角度偏差和
为了提高目标检测模型对遥感图像中排列密集、尺度不一的目标,特别是小目标的检测性能,提出了融合特征的深度学习遥感图像目标检测模型和方法。模型采用小规模的网络结构,以应对标记样本较少的情况,并提出了融合多级特征的策略获取更为有效的特征,使模型在不增加检测时间的同时,提高遥感图像中较为密集且大小不一的目标的检测精度。模型中提出了一种新的后处理算法——分组融合剔除检测框算法,在剔除冗余检测框的同时微调检测