支持向量机(Support Vector Machines,简称SVM)是Vapnik等人提出的一类新型机器学习方法。由于其出色的学习性能,该技术已成为机器学习界的研究热点,并在很多领域都得到了成功的应用,如人脸检测、手写体数字识别、文本自动分类等。但是作为一种新兴技术,支持向量机在很多应用领域的研究还有待探索和完善。支持向量机的训练算法在对大规模的数据集进行训练时,训练时间往往过长、算法复杂而难以实现。 本文主要对支持向量机训练算法进行了探讨。首先对支持向量机的基本理论进行了介绍。然后对支持向量机训练算法的演进进行了回顾。接下来重点讨论了两种非常成功的训练算法:SVMliglat与SMO。这两种算法都很大地提高了大规模训练集的训练速度。尤其是SVMlight,采用了收缩和核缓存的策略,极大地提高了训练速度。 针对大规模训练集,为了克服训练算法速度慢的缺点,本文结合SVMlight和SMO的优点,并根据试验的观察结果,提出了一种训练速度更快的支持向量机训练算法——基于集合划分的SMO算法(Set-Division-Based SMO,简称SSMO)。该算法根据样本违反最优化条件的厉害程度将训练集划分为多个集合。在每次迭代完成后,利用这些集合信息快速地对工作集和相关参数进行更新,使得每次迭代的开销减少,从而加快了训练速度。 最后用两大训练数据集对SSMO算法进行了测试。试验证明:SSMO算法能够很好地提高支持向量机的训练速度,尤其适合于解决大规模的学习问题。