求解大规模支持向量机问题的并行算法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:h725bin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机(SVM)是在统计学习理论基础上发展起来的新一代学习方法,有着完备的理论基础和卓越的学习性能,被广泛应用于模式识别、图像处理、机器学习等领域。然而,随着信息时代的到来,训练集的规模不断增大,支持向量机表现出训练速度缓慢、内存占用过多、执行效率低的问题。针对这一情况,本文展开了对并行支持向量机算法的相关研究工作,引入并行技术减少SVM训练过程对计算机过大的内存和存储需求,并加快SVM的训练速度及满足实时性要求。通过对支持向量机背景知识和模型的深入研究,本文提出了一种基于罚函数的并行求解方法。该算法通过一种灵活的惩罚形式,把支持向量机问题转化成一系列光滑的无约束优化子问题求解,然后引入并行变量分配算法求解各个子问题,并证明了该算法的收敛性。同时,我们的理论成果可以推广到一般的混合整数非线性约束优化问题上,证明了它与混合整数、非整数无约束优化问题的等价性,故该算法同样适用于混合整数问题、整数规划、约束优化问题的并行求解。为了加快支持向量机的训练速度,本文研究了一种改进的广义鞍点定理,并在这个理论基础上提出了一种新的支持向量机并行求解方法。这个算法较之一般的罚函数方法有着明显的优势,如罚参数不必趋向于无穷、在整个样本集上进行训练避免带来过多的误差,并通过并行求解大大节省了求解时间和对计算机存储空间的需求。此外,我们的理论和算法还可以应用到一般的凸规划情形,具有很好的推广能力。
其他文献
非线性抛物方程(组)涉及的大量问题来自于物理、化学、生物和经济等领域的数学模型,具有强烈的实际背景;另一方面,在非线性抛物方程(组)的研究中,对数学也提出许多挑战性的问
粉末注射成形的充模过程可以看作是由粉末和粘结剂相结合的两相流复杂流动系统。本文通过对充模过程的ANSYS CFX数值模拟,得到了速度场、压力场的分布图。从充模过程的速度场所反映的混沌状态出发,把两相流与混沌理论相结合来研究充模过程的非线性动力系统特征。首先,基于混沌时间序列的相空间重构理论,本文对充模过程一个截面上的速度时间序列进行了相空间重构。通过C—C算法选取了最佳延迟时间和嵌入维数,构造出了
分数阶微分方程组是由含有分数阶导数构成的一类方程。近年来,随着分数阶微分方程越来越多的被用来描述热力学、粘弹性力学、声学、电化学、流变学、分形等众多领域。从分数阶
迄今为止,静止目标的最优搜索理论已经取得了丰富的理论和应用成果。但是,对于连续搜索空间中的离散力搜索问题,虽然根据现有的理论,可以确定各区域的探测器数量,却无法确定
本文建立基于遗传算法的广义模糊时间序列模型。该模型在论域上定义7个模糊集,通过遗传算法实现对论域的划分,使用隶属函数实现样本数据的模糊化。依据隶属度的不同,得到样本数
近几十年来,国内外很多学者致力于研究随机生物数学模型(随机微分方程和随机差分方程所描述的生态模型)的性质,并且取得了一些很好的研究成果,从而使得随机生物数学模型性质的研究
本文在活动轮廓模型的基础上引入了图像的显著性分析,提出了一种基于显著性分析的初始活动轮廓方法。由于活动轮廓模型中初始轮廓的选取在整个演化过程中的作用是重要的的,尤