支持向量机的快速优化算法

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:ytw2001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自上世纪九十年代以来,建立在结构风险最小化基础上的支持向量机(Support Vector Machine, SVM)已经成功地应用于各种实际问题中,如粒子识别、文本分类、生物信息学和金融应用等。SVM通过求解对偶空间中的二次优化问题(Quadratic Programming Problem, QPP)来寻找两类数据样本间的最佳分类超平面,常见的SVM的优化算法包括分解算法、几何算法和序列最小化算法等。这些算法虽然保证了其具有唯一的最优解,但在求解大规模QPP过程时它们的速度较慢,会影响SVM在大规模应用问题中的应用。本论文讨论SVM的对偶坐标下降(Dual Coordinate Descent, DCD)算法。该算法通过优化一系列随机排序地单变量子问题来直接求解SVM的对偶QPP,其迭代过程分为内部迭代和外部迭代。由于DCD算法的内部迭代仅仅是随机选择子问题进行优化,所以其目标函数值不能有效地下降,这导致DCD算法具有较慢的学习速度。本论文讨论了一种新的DCD算法,即修剪对偶坐标下降(Clipping Dual Coordinate Descent, clipDCD)算法。clipDCD算法仅仅具有一层迭代,每次迭代通过最大可能下降准则选取一个乘子变量并对其进行更新。与DCD算法相比,该算法不仅具有简单的迭代格式,而且更易于实现。注意到当训练数据较大时,clipDCD算法的每一步迭代需要耗费较多的时间用于确定将进行更新的乘子变量。本论文进一步讨论了一种概率加速clipDCD算法。该算法基于概率基础,将选择乘子变量的范围限制在大小为mm(|A|,[log(0.025)/log(0.975)])的A随机子集中,其中A为备择索引集。为验证clipDCD算法和其加速算法的有效性,本论文采用DCD、clipDCD口加速clipDCD算法对SVM、双支持向量机(Twin Support Vector Machine, TWSVM)、双参数间隔支持向量机(Twin Parametric-margin Support Vector Machine, TPMSVM)和投影双支持向量机(Projection Twin Support Vector Machine, PTSVM)在不同数据集上进行学习。实验结果表明本文提出的clipDCD和加速clipDCD算法能大幅降低DCD算法所需的训练时间和核计算量,同时,其分类精度不受任何影响。
其他文献
传统意义上,安全防御局限在常规的网关级别(防火墙等)、网络边界(漏洞扫描、安全审计、防病毒、IDS)的防御,重要的安全设施大致集中于机房、网络入口处。在这些设备的严密监控下,来
逆向物流兴起于20世纪90年代,在可持续发展战略和循环经济理论的影响下,其相关理论研究不断产生、发展,纵观目前关于逆向物流网络设计的研究,大多数的研究成果集中于确定环境
现实中,捕食者与被捕食者的关系不一定永远是猎杀关系,在一定的条件下他们可以合作共存的。在种内竞争的Lotka—Volterra捕食系统基础上,我们建立了一类具合作关系捕食系统的模
随着人类社会的不断进步,科学技术的不断发展,生产和生活的控制和管理问题得到了广大学者的普遍关注。本文主要研究控制理论中的一致性问题。一致性问题(consensus problem)的研
竞争性选址问题是选址问题中具有重要意义和引起广泛关注的一类实际问题.近年来,随着经济的快速增长和人民生活水平的逐步提高,物流配送产业飞速发展.物流配送中心作为物流网
本文对6维近凯勒流形中典型子流形的刚性及分类问题进行了研究。6维近凯勒流形是一类重要的几何对象,对其各种典型子流形的研究是十分自然而重要的课题。本文研究6维近凯勒流
Sturmian序列是定义在二元字母表上的具有最小复杂度的非最终周期序列。   这类序列有许多等价的定义和性质,他们在许多领域内有重要的应用,例如:组合论、数论、动力系统论等
在本文中,我们研究了一类带非光滑核的多线性奇异积分算子的极大算子的有界性,加权模不等式。同时,在齐型乘积空间以及C2n的区域边界上研究了乘积型的Hardy空间和BMO空间理论以
数论是一门研究整数性质的学科,在数学中占有非常重要的地位,而数论问题中,关于一些特殊序列及函数的均值性质的研究一直备受数论工作者和学者的关注,数论中的很多猜想和难题都与
学位