基于自适应损失函数的鲁棒最小二乘支持向量机

来源 :河北大学 | 被引量 : 0次 | 上传用户:lwl45789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统的支持向量机(support vector machine,SVM)在分类问题中取得了较优的性能,得到了工业界和学术界的关注,研究者们陆续提出了SVM的多种变体。作为SVM的改进模型,最小二乘孪生支持向量机(least squares twin support vector machine,LSTSVM)比SVM的训练速度更快,分类准确率更高。除了上述用于解决两类分类问题的模型,单类支持向量机(one-class support vector machine,OCSVM)被成功地应用于解决单类分类问题,作为OCSVM的改进模型,最小二乘单类支持向量机(least squares one-class support vector machine,LS-OCSVM)比OCSVM的学习速度更快,检测性能更高。然而,在LS-OCSVM和LSTSVM的优化问题中,均使用了平方损失函数,因此使得它们对离群点或噪声非常敏感,即使训练集中存在少量的离群点或噪声,也会使LS-OCSVM和LSTSVM的分离超平面严重偏离最优的分类边界。近年来,研究者们为了提升LS-OCSVM抗离群点性能和LSTSVM的抗噪声能力,使用多种损失函数代替平方损失函数。本文中所使用的自适应损失函数能够退化成多种特殊的鲁棒损失函数,能有效提升LS-OCSVM的抗离群点性能和LSTSVM的抗噪声能力,本文的主要贡献包含以下两个方面:第一方面:提出了基于自适应损失函数的最小二乘单类支持向量机(adaptive loss function based LS-OCSVM,ALFLS-OCSVM)。LS-OCSVM能够准确描述新样本与训练集之间的相似性。然而,LS-OCSVM对训练样本中的离群点非常敏感,这意味着即使含有少量的离群点,LS-OCSVM的分离超平面也会偏离正常数据。为了提高LSOCSVM的抗离群点性能,ALFLS-OCSVM利用自适应损失函数替代LS-OCSVM目标函数中的平方损失函数。从理论角度证明了自适应损失函数的Fisher一致性。采用迭代重加权最小二乘(iteratively reweighted least squares,IRLS)方法对ALFLS-OCSVM的优化问题进行求解。与9种相关方法相比,所提方法在人工数据集和基准数据集上具有更优的抗离群点和泛化能力。第二方面:提出了基于自适应pinball损失函数的最小二乘孪生支持向量机(robust LSTSVM with adaptive pinball loss,APL-RLSTSVM)。与孪生支持向量机(twin support vector machine,TSVM)相比,LSTSVM具有更快的训练速度和更强的泛化能力。然而,由于在LSTSVM的优化问题中使用了平方损失函数,使得其对训练样本中存在的噪声非常敏感,因此泛化性能较差。为了提高LSTSVM的抗噪声能力和泛化性能,提出了一种新的自适应pinball损失函数,讨论并证明了其数学性质。通过调节其形状参数,可以得到该损失函数的特殊形式:pinball损失函数和光滑pinball损失函数。此外,使用自适应pinball损失函数替换LSTSVM中的平方损失函数,提出了APL-RLSTSVM,使用IRLS方法求解APL-RLSTSVM的优化问题。从理论角度证明了APL-RLSTSVM对分布于分类边界处的噪声不敏感。在19个UCI基准数据集上的实验结果表明,与5种相关方法相比,APL-RLSTSVM具有更好的抗噪声能力和泛化性能。
其他文献
随着科学技术与社会经济的不断发展与提高,我国越来越重视中医药文化与文创产业交叉融合的发展模式。河北省安国市作为全国最大的中药材市场,依托悠久的中医药文化历史和丰富的自然资源,建立了中医药康养旅游项目,开发了各类中医药文创衍生品。但就目前安国中医药文创产品设计而言仍存在许多不足,主要体现在缺乏地域文化内涵的融入等。所以本文以安国中医药地域文化为研究对象,地域性符号理论为指导,探究如何将安国中医药地域
学位
本文研究一类具有双稳态特征的旋转摆系统,其模型特征为经典单摆模型和斜置弹簧构型耦合连接;数学特征为含三角函数项、分式项和无理项的二阶常微分方程;呈现出单摆和SD振子耦合的非线性动力学行为,即旋转运动规律和双阱动力学行为;随几何参数连续变化,该旋转摆系统表现出光滑双阱动力学行为向非光滑双阱动力学行为转迁.主要研究内容如下:(1)发展Melnikov函数计算方法,半解析给出在线性阻尼和周期激励作用下双
学位
恐惧是生物与生俱来的心理反应,会影响生物的生理状态、觅食行为以及栖息地的变迁等,从而影响其繁殖率.同时,恐惧也可以帮助生物提高警惕性和反应能力,进一步降低被捕食的风险,这为维护生态平衡或控制某种生物种群的数量提供了很好的解决思路.考虑到捕食者和食饵之间的动力学行为的研究至今仍是一个热点课题,我们在传统的捕食者-食饵模型中加入食饵对捕食者的恐惧效应,可以为人类对生物种群进行保护、开发和利用等都能提供
学位
最优化与我们的生产生活息息相关,比如运输问题、资源分配、通信系统、电子工程等一系列实际问题均能处理为优化问题,在解决无约束优化问题中,信赖域算法扮演着重要的角色.不断发展的非单调技术被众多学者应用于信赖域算法中,大大提升了算法的性能.目前提出的非单调信赖域算法在一定程度上提高了算法的性能.受此启发,本文提出几种新的非单调信赖域算法.首先,将信赖域半径的自适应更新策略与三种当前流行的非单调技术相结合
学位
生鲜产品两级供应链网络设计问题在整个生鲜产品供应管理中,占有十分重要的地位.目前,中国生鲜产品市场的交易规模很大,但是基于现有的配送网络,部分生鲜产品还未送到顾客手中就发生了损坏、变质,这给企业乃至国家带来了巨大的损失.合理地设计配送中心到零售超市的两级供应网络可有效缓解上述情况.对于决策者而言,如何在不确定需求条件下合理地设计该两级供应链网络是一个难题.为此,本文使用鲁棒优化方法帮助决策者设计能
学位
1991年,Korte等在研究组合优化问题时提出拟阵的一种拓广结构―广义拟阵.广义拟阵一方面拥有拟阵的许多性质,另一方面还解决了利用拟阵结构所不能解决的很多问题,由于广义拟阵的提出,使得拟阵理论的应用被拓展.三支决策作为二支决策的拓广形式,是由Yao于2009年基于粗糙集提出的,到目前为止,三支决策在许多方面都发挥了重要作用,特别是对于知识提取方面,发挥着不可忽视的作用.将广义拟阵中的可行集视为已
学位
趋化性是指因受到外界环境中化学物质的作用,微生物或细胞向着有利于自己的方向运动.不管是微观世界还是宏观世界,都可以发现生物细胞或有机体因周围环境中化学物质的分布情况而出现趋向运动.一些无脊椎动物具有独特的授精策略,雄性和雌性分别将精子和卵子释放到周围的水流中,这一现象被称为广播产卵.一些实验数据表明,趋化性在珊瑚的产卵问题中发挥了作用:精子会被卵子释放的物质吸引.由此,众多数学学者提出了有关趋化系
学位
经典批量模型在库存管理中有着广泛的应用,主要解决独立需求的库存管理问题,该模型的需求往往是确定的.但因为现实生活中市场环境复杂,市场竞争激烈,很难满足需求不变的条件.此外,随着企业低碳意识的增强,在低碳政策的基础上研究批量模型同样引起了大量学者的关注.本文运用鲁棒优化理论和滤子方法,对不同碳排放政策下需求波动的库存定价模型进行求解,数值结果为决策者提供了指导性的意见.本文内容包括三个方面.首先修正
学位
如何构造3-李代数与3-pre-李代数是n-李代数研究中的重要问题.本文利用3-李代数Aw上权为1的齐性Rota-B axter算子,Ri(1 ≤i ≤34)与权为0的齐性Rota-B axter算子Si(1 ≤i ≤4),分别构造了 7类两两不同构的无限维3-李代数Ci(1≤i≤7),与3类两两不同构的无限维3-pre-李代数Di(1≤i≤ 3).并对所得到的3-李代数与3-pre-李代数的结构
学位
信息粒化是一种将复杂问题简单化,将抽象问题具体化的思维方法.形式概念分析、三支决策、粒计算是当今知识发现与信息提取领域中的三个重要的信息粒化方法.在工程施工的质量评判中有十分重要的两大类,一类对工程复合材料质量评判;另一类对天然岩体质量评判.由于水泥混凝土是当代最主要的工程复合材料之一,地下工程岩体是当代桥梁、隧道等地下工程中重点研究的天然岩体之一,所以两者在现代建筑当中都扮演着十分重要的角色.而
学位