鲁棒极限学习机的分类方法研究及应用

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:liarcher
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
极限学习机(Extreme Learning Machine,ELM)作为一种高效的前馈神经网络方法,在机器学习领域的发展非常迅速。与传统的单隐藏层前馈神经网络相比,ELM训练速度更快、泛化能力更强。在训练过程中,连接输入层和隐藏层的输入权重被随机初始化,唯一需要调整的参数是隐藏层与输出层之间的输出权重,且该参数可以通过求解一个岭回归问题得到。因此,ELM在近几年被广泛应用于各种监督学习和无监督学习任务中。然而,传统的ELM方法在设计过程中没有考虑算法的鲁棒性,当数据中包含噪声或者异常值时,方法的性能容易受到干扰;其次,传统的ELM方法不能充分学习原始数据的表示信息,探索数据间高阶几何结构信息的能力不足。针对上述问题,本文对传统的ELM方法进行了研究和改进,并将改进后的方法应用到了真实数据的分类问题中,相比于现存的一些方法,改进后的方法具有更加理想的分类表现。具体的研究内容主要包括以下四部分:(1)提出了基于L2,1范数的鲁棒极限学习机方法(L2,1-ELM,L2,1-Extreme Learning Machine)。传统的极限学习机方法的损失函数是平方损失,它会放大数据集中噪声和异常值带来的负面干扰。针对这一问题,本文提出将L2,1范数作为损失函数引入到极限学习机中,避免在计算总残差时使用平方误差,以此来弱化极限学习机对噪声和异常值的敏感性。(2)提出了基于相关熵诱导损失的稀疏鲁棒图正则极限学习机方法(CSRGELM,Correntropy Induced Loss Based Sparse Robust Graph Regularized Extreme Learning Machine)。与L2,1范数相比,相关熵诱导损失不仅可以处理数据集中的高斯噪声,还可以处理非高斯噪声。该方法将相关熵诱导损失引入到原始的极限学习机方法中,可以进一步提高方法的鲁棒性。另外,传统的极限学习机方法使用L2范数来约束输出权重矩阵,没有考虑矩阵的结构化稀疏。因此,本文使用L2,1范数来约束输出权重矩阵,可以实现隐藏层节点的特征选择,简化神经网络模型。同时,图正则化约束的引入可以提高极限学习机学习数据间流形结构信息的能力,有助于提高实验性能。(3)提出了基于核风险敏感损失的超图正则化鲁棒极限学习机方法(KRSL-HRELM,Kernel Risk-Sensitive Loss based Hyper-graph Regularized Robust Extreme Learning Machine)。该方法在极限学习机的误差函数中使用了核风险敏感损失。与相关熵诱导损失相比,核风险敏感损失的收敛速度更快,鲁棒性更强。另外,与图正则化相比,超图正则化可以考虑多个样本点之间的关系,能够增强极限学习机学习样本点之间高阶几何结构信息的能力。为了探究新方法的数据挖掘能力,本研究将KRSL-HRELM扩展到了半监督学习领域,提出了基于核风险敏感损失的半监督超图正则化鲁棒极限学习机方法(SS-KRSL-HRELM)。两个方法分别被应用到了监督学习和半监督学习任务中。(4)提出了基于核风险敏感平均p次幂损失的鲁棒极限学习机方法(KRPELM,Kernel Risk-Sensitive Mean p-Power Error Based Robust Extreme Learning Machine)。通过将平均p次幂误差引入到核风险敏感损失中,原始的核风险敏感损失可以被扩展到一个更通用的形式,称为核风险敏感平均p次幂误差。将该损失函数引入到极限学习机中,不仅可以提高算法的鲁棒性,还可以增强ELM学习数据集中高阶表示信息的能力。通过分析得到的各项实验结果,可以发现本文所提出的4个方法能够有效地提高极限学习机方法的鲁棒性。而且与现有的一些方法相比,新提出的方法有更好的分类效果和泛化能力。
其他文献
青头潜鸭(Aythya baeri)成年个体的数量已不足1000只,其种群数量受到严重威胁,是世界最濒危的鸟类之一。主要组织相容性复合体(Major histocompatibility complex,MHC)是脊椎动物最具多态性的基因家族之一,在对病原体的免疫防御中发挥重要作用,其能反应一个物种对环境的适应能力。为了调查维持青头潜鸭、斑背潜鸭、凤头潜鸭和红头潜鸭MHC I类基因多态性的机制,我
随着科学技术的进步,智能机器人产业得到了快速发展,并逐渐应用于各大行业。机械臂是机器人的重要执行机构,机器人取代人工完成的各项任务均由机械臂完成,因此机器人的发展,可以说是取决于机械臂的发展。为解决六自由度机械臂系统逆向运动学求解复杂、路径规划算法耗时、精准动力学模型未知、运动过程中存在较多干扰等问题。本文基于瑞士生产的Personal Robotics(P-Rob)六自由度机械臂进行了系统的理论
非线性系统的控制设计和稳定性分析广泛应用于实际工业系统,如电力系统、航天系统、机器人系统和生物化学系统等,并且一直是控制理论领域研究的热点和难点.磁悬浮系统作为一类典型的非线性系统,因其良好的性能在发电机、卫星姿态控制等领域得到了广泛的应用.系统运行的稳定性和安全性是首要考虑的重要因素,有限时间稳定较渐近稳定具有更好的鲁棒性和抗干扰性能.此外,受到外界条件及系统本身结构的限制,磁悬浮系统在运行过程
随着经济转型升级和城市化进程的加快,我国城市发展模式已由蔓延式的增量扩充向内涵式的存量发展转化,早期批建于城郊的工业建筑已成为各级城市的中心构成,如何正确对待这些低效使用甚至早已废弃的工业资源,已成为判定城市经济、文化、社会、环境综合协调发展与全面复兴的关键。论文以枣庄市天鹅地毯厂的保护与再利用设计为研究课题,以枣庄市城市规划、文创产业发展等上位法规决策为设计指导,通过文献查阅、案例分析、问卷调查
在实际生产生活中,时滞现象广泛存在,如网络中信号的传输和处理产生时延,弹性力学中物理变化产生滞后,生物学中传染病存在潜伏期等.另一方面,系统经常遭受来自外界环境的干扰.时滞现象和外部扰动的存在,不仅使系统的分析和综合变得复杂和困难,而且是导致实际控制系统品质恶化和不稳定的重要因素.因此,时滞系统的鲁棒控制器设计成为控制领域一项重要的研究课题,近年来涌现了大量的研究成果,其中,基于时滞Hamilto
随着计算机和通信技术的发展,一种新型的大规模资源受限的无线嵌入式控制系统出现在人们的视野.在经典的样本数据控制框架中,无论系统控制是否需要更新,控制器的输出都可以随即应用于系统.然而当网络资源有限问题突出时,这可能并不是最优解决方案.在上述系统中,控制器与传感器之间的信息在必要时进行传递的这一思路促使了事件触发控制的出现.此外,由于事件触发控制不仅可以满足系统性能要求,而且在一定程度上能够节约资源
随着大数据时代的到来,数据存储量已从常见的TB上升为NB,1NB为260TB,在大数据商业价值备受关注的今天,海量数据的挖掘、分析、存储等问题都给计算机系统性能带来巨大挑战。Map Reduce系统的出现为大数据快速处理带来了可能,它是一种面向大规模数据处理的并行运算模型和方法。本文研究了Map Reduce同顺序作业排序极小化最大完工时间问题,全文共分四章。第1章简单介绍了经典排序问题的基本知识
无线通信技术和微电子技术的不断进步促进了无线传感网络(Wireless Sensor Networks,WSNs)的发展,WSNs广泛应用到生活、军事和工农业生产中的方方面面。但是,WSNs中的结点通常部署在无人值守或者环境恶劣甚至危险的环境中,同时,这些结点通常只有有限的电池、存储、计算和通信资源。因此,在不降低网络性能的情况下确保WSNs安全是一项挑战,结合安全机制的数据聚合可以为解决上述问题
随着计算机技术、无线通信和控制科学的迅猛发展和相互融合,网络化系统在航空航天、工业自动化、智能交通和国防等领域有着广泛的应用.与此同时,由于通信信道自身的消耗与受到的随机干扰、信号幅值的变化,信号在传输过程中会发生信道衰减现象,这会导致系统性能下降和不稳定.近年来,对于信道衰减环境下非线性系统的控制问题研究已取得了一系列重要成果,其中基于端口受控Hamiltonian(PCH)系统的控制和稳定性问
随着全民阅读工作的深入推进,全社会正在逐渐形成爱读书、读好书、善读书的良好氛围,全民阅读理念渐入人心。为了更好地引领校园阅读风尚,曲阜师范大学图书馆创建阅读推广小组,为大学生们构建阅读分享交流的平台。目前阅读推广小组虽然能够开展书香文化活动,但是仍然存在问题:第一,时间地点等因素限制了活动的开展,尤其此次新冠疫情期间,组员不在校,活动难以组织好;第二,小组活动管理不够集中,任务、通知、活动成果等需