支持向量机鲁棒性模型与算法研究

被引量 : 0次 | 上传用户:OsWorkFlow
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机是基于统计学习理论,以结构风险最小化为原则的一种针对小样本情况的新型机器学习方法,具有结构简单、全局最优解和泛化能力强等优点.支持向量机目前已成为机器学习领域解决分类问题和回归问题的有效工具.然而,在现实问题中,由于受到各种因素的影响,样本数据通常含有噪声和异常值,这些数据使支持向量机的学习能力受到影响,表现在对异常值较敏感、鲁棒性较差等.本文拟从损失函数的角度出发,应用最优化理论与方法,研究具有鲁棒性的支持向量机改进模型与求解算法,使其能更有效地解决实际问题.本文的研究工作包括以下几部分内容:1.针对支持向量机对噪声和异常值较敏感的问题,提出一个斜率可变、间隔可变的非凸广义线性损失函数抑制异常值的影响,并在此基础上建立鲁棒支持向量回归机模型.该鲁棒模型能够更灵活地处理回归估计问题,同时对异常值具有较强的抑制作用.由于非凸广义不敏感损失函数是不可微的,提出两个可微的huber损失函数对其逼近,将鲁棒模型对应的优化问题改写为一个DC (Difference of Convex functions)规划,并利用牛顿算法进行求解.同时,分析了算法的计算复杂度和收敛性.利用公开的标准数据集、金融时间序列数据和排序学习数据进行数值实验验证该模型和求解算法的有效性.2.在二次不敏感损失函数的基础上,提出一个系数可变、间隔可变的非凸广义二次不敏感损失函数.通过限定该损失函数的上界为常数来抑制异常值的影响,并建立基于该损失函数的鲁棒支持向量回归机模型,设计模型的求解算法.标准数据集实验表明提出的模型对异常值不敏感,而且具有一定的稀疏性.3.为了克服最小二乘支持向量机对异常值较敏感的缺陷,构造一个非凸二次损失函数限制异常值的负面影响,提出基于非凸二次损失函数的鲁棒最小二乘支持向量回归机模型.非凸二次损失函数可表达为两个凸函数的差,因此提出的鲁棒模型可改写为一个DC规划.根据凹凸过程和最优性条件,鲁棒模型的优化问题的最优解可通过迭代实现,每一步迭代只需求解一个线性方程组.利用模拟数据和真实数据集实验验证了模型的有效性.4.针对最小二乘支持向量机对异常值较敏感,鲁棒性差等问题,采用Laplace损失函数削弱异常值在最小二乘支持向量回归机模型中的影响,建立了基于Laplace损失函数的鲁棒最小二乘支持向量机模型.由于Laplace损失函数不可微,对应的优化问题存在求解上的困难.我们用Huber损失函数去近似Laplace损失函数,并利用牛顿法求解相应的鲁棒模型.模拟数据和标准公开数据的数值实验结果表明,对比标准的最小二乘支持向量机,我们提出的模型能够获得更好的鲁棒性.
其他文献
随着我国近年来高职院校教学改革的逐步开展,学校的招生规模也在不断扩大,高职院校毕业人数急剧增加,进一步加剧了专业人才就业困难的形势,并且已经受到了社会广泛的关注。本
目的:通过对比穴位埋线和常规针刺对脾虚湿阻型单纯性肥胖症患者的肥胖指标[包括体重、肥胖度、体质指数(BMI)]、体围[包括腰围、臀围、腰臀比(WHR)]、血脂[包括甘油三酯(TG)
化妆造型是服装表演的重要组成部分,它与服装表演的内容、主题等有很大关系。化妆造型的设计是千变万化的,造型材料的运用是随需所取的,通过对模特的外形塑造满足表演的要求,
随着信息技术的发展,安全型继电器作为铁路信号系统中的主要器件,其在运用中的安全可靠日益成为各种信号设备的必要条件。在长期基层继电器检修实践的基础上,笔者发现安全型
赫尔巴特在教育史上尤其在教育学研究史上第一次明确地提出“明了—联想—系统—方法”的思维程序,注重学生的“主动学习”和“自由想象”,建立了科学的思维的雏形。20世纪初
汉语教学是高等教育过程中最重要的一门课程,对于学生的综合能力素养的培养具有重要作用。音乐作为一门艺术性的学科,与语言之间有一定的联系,在汉语教学过程中加强音乐应用,
目的:观察软肝方联合恩替卡韦分散片治疗肝脾血瘀证乙肝肝硬化代偿期患者的临床疗效和用药的安全性。方法:临床选择符合纳入标准的慢性乙型肝炎肝硬化代偿期患者60例,随机分
本文首先以高速滚动轴承为研究对象,建立了高速滚动轴承的拟静力学模型,并以某型非标航空发动机主轴轴承试验机支承轴承B7010C/P4为研究对象,利用Newton-Raphson迭代法进行了
提供了建立安全管理组织机构,以及明确机构内各部门分工与职责的方法,分析了校园网安全管理的对象,以及对紧急事件的处理。 Provided the establishment of safety manageme
服装设计保护与服装设计“山寨”(Knockoff)的法律问题,是近年来美国时尚法中非常具有争议的话题,也是中国学者与业界实践者逐渐开始考虑的问题。随着人们对时装认识的改变,