精确增量式支持向量机的研究与应用

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:yufengdetianxia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自20世纪90年代中期由Vapnik等人提出支持向量机(SVMs),由于其具有通用性、鲁棒性以及良好推广性等特点,已经成为解决分类、回归等统计学习问题一种流行的技术,并广泛应用于数据挖掘、模式识别以及生物信息学等领域。然而在实际应用中,数据通常是在线环境下增量提供的(例如信息检索、协同过滤、航班延误预警等),这时批处理算法由于不具有实时性而通常会失效,增量式算法为解决该类问题提供了一种可行的途径。   2001年,Cauwenberghs和Poggio首次提出了一个精确有效的增量式支持向量机算法(C&P算法),本文将以C&P算法为研究对象展开深入的研究,致力于完善C&P算法在理论分析与算法扩展方面(v支持向量机,排列支持向量机)的工作,并应用C&P算法思想解决v支持向量回归机的解路径问题。本文取得的创新研究成果如下:   (1)对于标准的C&P算法,探讨了算法每次迭代的可行性,并证明了经过有限步迭代后该算法必将收敛于最优解。   (2)对于标准的v支持向量分类机,首先给出了一种修改了的问题表示形式,在此基础上,提出一种新的增量式算法。在标准数据集上的实验说明了该算法能够尽量避开不可行的更新路径,并且在有限步迭代后成功地收敛到最优解,在高斯核上获得更快的收敛速度,比批处理算法效率更高。   (3)在根据最大化间隔原则得出的一个排列问题表达形式的基础上,提出了一个新的增量式算法。该增量式算法包括两个步骤:第一步为松弛的绝缘增量调整;第二步为严格的恢复调整。理论分析可以证明通过这两个步骤,该增量式算法尽可能地避开不可行更新路径,并且在有限步后收敛到问题的最优解。在标准数据集上的实验也说明了本文提出的问题表达形式和由Shashua和Levin提出的两个问题表达形式有相似的预测精度,而该增量式算法在高斯核上有较快的收敛速度。   (4)对于标准的v支持向量回归机,首先给出了一种修改了的问题表示形式,在此基础上,提出了一种新的v解路径算法,该算法能针对参数v刻画出所有对应的解。实验和理论分析说明了该算法能尽可能地避开不可更新路径,并在有限步内拟合出所有的v解路径。
其他文献
SIFT(Scale Invariant Feature Transform)特征在物体检测和识别、图像配准与融合、纹理识别、场景分类、人脸检测、图像检索、三维重建、数字水印、影像追踪等领域具有广泛
自1998年XML诞生之日起,XML这种特殊的半结构化标记语言就被广泛地应用于很多领域之中,如今,XML也已经成为Internet上的数据表示和交换的一种标准格式。随着XML技术的日益普
基于统计学习理论而产生的新方法-支持向量机(Support Vector Machines,SVMs),它较好地解决了学习方法中的小样本、过学习、非线性、高维数、局部极小等问题,具有很强的推广
对大中型城市,如何帮助人们在数以千条的公交线路中迅速查询到自己所需要公交出行路径信息是亟待解决的问题。用手机等手持无线移动设备上网可以随时随地查询公交路径信息是
随着无线接入技术的发展,移动性成为下一代因特网不可缺少的特征,在IP层引入移动性通过融合不同的无线接入技术,可以为各种应用提供统一的传输平台。当移动用户频繁的进行区
随着各种无线网络技术的发展,以及市场需求和竞争的变革,下一代无线通信网络将是各种无线接入技术并存并协同工作的全IP融合的异构网络。而各种无线网络的融合必然会带来许多
在物联网迅速普及的今天,心电图(Electrocardiogram,ECG)信号身份识别在可穿戴设备上的应用有巨大的前景。由于可移动设备的特点,要求ECG信号采集设备的集成度较高,采集的数
象棋在博弈时变化万千,无能是中国象棋还是国际象棋,都经历了几千年而经久不衰。随着现代计算机技术的飞速发展,各种象棋软件的出现,但到目前还没有人能开发出一套必胜的象棋
随着超大规模集成电路(VLSI)设计技术和集成工艺的不断发展,芯片上的处理单元的集成度越来越高。这些被集成的处理单元以网状连接形式形成阵列。对于数量众多的处理单元来说,如
本文提出一种基于GUI操作的通用增强现实开发模型-GPDMAR,并以此模型为指导,在Windows平台上开发了面向非专业人员的易用型开发工具EasyAR系统。另外,作者还利用EasyAR实现了