论文部分内容阅读
支持向量机是基于统计学习理论，借助最优化方法来解决机器学习问题的新工具。它将机器学习问题转化为求解最优化问题，并应用最优化理论构造算法来解决问题，本文主要是从最优化理论和算法的角度对支持向量机中的最优化问题进行研究。 在理论上，本文首先详细地论述了支持向量机的基本思想和各种常用的支持向量机方法，然后通过深入分析，指出现有方法中存在的问题。针对这些问题，应用最优化理论进行深入研究，主要工作如下： 1．在作为支持向量机基础的原始问题解和对偶问题解的关系上，当时研究存在逻辑缺陷。本文发现并弥补了这一缺陷，第一次在完整严密的逻辑基础上完善了各种支持向量机中最优化问题的理论体系。 2．在部分情况下，支持向量机无法利用现有的公式计算决策函数的阈值。本文给出了所有可能情况下，支持向量机中决策函数阈值的求解公式。 3．Mangasarian提出广义支持向量机，但不包含标准的支持向量机：前者研究一般的严格凸规划问题，而后者针对的是特定的凸规划问题。本文推广了Mangasarian提出的广义支持向量机，使之适用于标准的支持向量机，从而完善了广义支持向量机的理论体系。 4．支持向量机中有一类重要的变形方法，虽然很有效，但缺乏相应的统计学习理论基础。本文从统计学习理论出发，对其进行深入研究。 在算法方面，本文在将支持向量机中的最优化问题转化为无约束问题的前提下，研究了Newton-PCG算法。Newton-PCG算法是解决无约束问题的有效方法，在该算法中需要求解一个一维整数最优化问题，并且算法的效率也依赖于它的最优值。本文建立了简单有效的算法来求解该问题，并通过估计它的最优值，对Newton-PcG算法的有效性给出数量上的估计。 目前，对支持向量机的研究主要是针对统计学习理论以及各种应用领域的研究，而从最优化理论的角度出发的研究工作甚少。因此本文的研究无论对支持向量机的理论还是实践应用，都具有很重要的意义。