论文部分内容阅读
支持向量机(SVM)是在统计学习理论基础上发展起来的新一代学习方法,有着完备的理论基础和卓越的学习性能,被广泛应用于模式识别、图像处理、机器学习等领域。然而,随着信息时代的到来,训练集的规模不断增大,支持向量机表现出训练速度缓慢、内存占用过多、执行效率低的问题。针对这一情况,本文展开了对并行支持向量机算法的相关研究工作,引入并行技术减少SVM训练过程对计算机过大的内存和存储需求,并加快SVM的训练速度及满足实时性要求。通过对支持向量机背景知识和模型的深入研究,本文提出了一种基于罚函数的并行求解方法。该算法通过一种灵活的惩罚形式,把支持向量机问题转化成一系列光滑的无约束优化子问题求解,然后引入并行变量分配算法求解各个子问题,并证明了该算法的收敛性。同时,我们的理论成果可以推广到一般的混合整数非线性约束优化问题上,证明了它与混合整数、非整数无约束优化问题的等价性,故该算法同样适用于混合整数问题、整数规划、约束优化问题的并行求解。为了加快支持向量机的训练速度,本文研究了一种改进的广义鞍点定理,并在这个理论基础上提出了一种新的支持向量机并行求解方法。这个算法较之一般的罚函数方法有着明显的优势,如罚参数不必趋向于无穷、在整个样本集上进行训练避免带来过多的误差,并通过并行求解大大节省了求解时间和对计算机存储空间的需求。此外,我们的理论和算法还可以应用到一般的凸规划情形,具有很好的推广能力。