支持向量机多类分类算法的研究

来源 :中国农业大学 | 被引量 : 0次 | 上传用户:erywwb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关于支持向量机多类分类问题的模型和算法的研究是当今研究的热点之一。无论是最近提出的"一对一对余"结构的算法,还是通常用的"一一对一"结构的算法,对于K类分类问题,都需要解决K(K-1)/2个二次规划问题,使得支持向量机在求解大规模问题中就会产生速度很慢的缺陷。因此,研究高效的求解算法是很有意义并且急需解决的问题。本文主要研究多类分类问题,从最优化理论和算法的角度研究支持向量的最优化问题,并建立了高效的求解算法。 本文所做的主要研究工作如下: 1.构造了基于线性规划的"一对一"三类结构支持向量分类器。由Chih-wei H等人将几个常用的算法,如:"一对多"算法, "一对一"算法,"有向无环图"算法,"纠错输出编码"算法以及两种聚集算法进行了数据试验的比较,试验结果表明"一对一"算法更适合于解决多类分类问题。但其也存在一定的缺点,由于在构造子分类器的时候,只有两类数据参与训练,容易造成由其它数据的信息缺失而带来的错误分类的问题。由Cecilio A等人提出的基于二次规划的"一对一"三类结构支持向量机,与传统的"一对一"结构相比较,其优势在于在分解的过程中,除了需要计算被区分的两类训练点外。其它类别中训练点的信息也被充分利用,在一定程度上可以防止由信息的不完全带来的分类误差,同时,也减少了参数的个数。但由于增加了模型的复杂性,限制了其应用。本文构造了基于线性规划的"一对一"三类结构支持向量分类器,可以直接利用比较成熟的线性规划算法-预测-校正原对偶内点法,并在此基础上提出了基于预测-校正原对偶内点法的支持向量机的多类分类学习算法,这种算法可用于比较庞大的多类别识别问题。数值试验表明,本文提出的算法训练速度快,而且保持良好的分类精度。 2.在K-SVCR算法结构的基础上,构造了新的模型。由Angulo C等人提出的K-SVCR算法,作者只给出了K-SVCR模型,并没有提供相应的求解算法,在一定程度上限制了K-SVCR算法的推广使用,并且其对偶目标函数为凸函数,而不是严格凸函数。本文构造了新模型,该模型的特点是它的一阶最优化条件可以转化为一个线性互补问题,通过Lagrangian隐函数,可以将其进一步转化成一个严格凸的无约束优化问题。利用Sherman-Moodbury-identity等式减小相应优化问题的规模。并在此基础上利用了快速的Annijo步长的有限牛顿法和解决大型问题的共轭梯度法来求解无约束优化问题,理论和数值试验都表明有限牛顿法、共轭梯度法速度快、容易实现。另外,支持向量机的模型中含有多个参数,参数的取值直接影响分类的精确度,针对支持向量机结构参数的选取在没有理论支持的情况下,本文利用基本的遗传算法来解决优化问题,并有效估计未知参数。将上述算法应用于benchmark数据集的测试,实验表明了此算法的有效性。
其他文献
龙口人王树枫是《战斗英雄任常伦》连环画的作者,招远籍的杨悦浦是国内著名的美术评论家。二人自20世纪80年代起结下了深厚的友情,留下一段佳话。20世纪80年代末的一年春天,
在“互联网+”时代下,消费者观念的转变、自助游等新型旅游方式的兴起、在线旅游商的发展以及行业法律法规的完善都给传统旅行社带来了巨大挑战。为此,传统旅行社应当引进更
管理育人是高校教学管理的重要任务。在当前我国高度重视综合型人才培养的情况下,良好的落实教学管理工作,利于规范学生的言行举止,强化学生的思想品德,使学生逐渐成为祖国需要的
通信设备制造业是电子信息领域的基础核心产业。本文根据UN Comtrade数据库,对我国通信设备制造业在全球贸易中的空间分布和GL指数进行了测度,并计算了我国通信设备制造业的
随着中国经济社会的不断发展,国家对各种类型职业技术人才需求也越来越多,大力发展职业教育是中国实施的一大战略,中职教育是中国职业教育的重要组成部分,但参加中职教育的学生与
学生像花儿一样,虽然花的颜色、大小不尽相同,但每朵花都想盛开,那就小心呵护,让他们充满阳光,美丽绽放。——题记我从事教师这个行业已有十几年了,我有时快乐,有时郁闷,有时
江苏省是国家循环经济第一批试点省份。南京市是全国建立再生资源回收体系的4个试点城市之一。由南京市发改委牵头,南京市供销社负责起草的《南京市再生资源管理办法》(讨论
主要利用主理想整环D上的分块矩阵,得到了一种直接求多个无挠自由子模的交模的理论方法一初等变换法;并在此基础上,给出了多个无挠有限生成子模的秩之间的关系公式. 第一部分
“诗言志”诗歌积淀着深厚的生命底蕴和浓烈的人文色彩,最能体现语文教学的本源——心灵的唤醒与启迪。近几年中考中诗歌的内容在增加,本文着眼于2003~2009年7年的苏州市中考
本文处理了一类带有非线性源和非线性边界条件多重耦合的抛物方程系统,得到了四个不同的爆破速率估计.特别地,此类系统的爆破速率与边界吸收项无关. 本文前言中主要介绍了非线