统计学习理论中的支持向量机方法具有全局最优、结构简单、推广能力强等优点,是目前机器学习和模式识别领域的研究热点之一。但是,支持向量机算法自身复杂性成为其处理数据时的“瓶颈”问题。本文针对支持向量机时间复杂度和空间复杂度等问题,分别就支持向量机的增量学习算法和多类分类算法进行了研究。首先概述了本文研究内容的基础—统计学习理论与支持向量机方法,为本文后续的研究方向和内容进行了铺垫。支持向量机的训练算法需要解决一个大的二次规划最优化问题,传统的二次规划数学算法在求解大数据的二次规划问题时,尤其是针对大规模数据集的分类时,需要巨大的内存空间,所以并不能支持向量机的训练。因此设计适于大量样本的训练算法成为支持向量机研究中的重要内容。目前,出现了比较有效的训练算法和实用软件。本文首先对这些算法进行分析和研究的基础上,给出了一种新的增量学习算法—基于密度的SBA算法,该算法主要引入密度函数来计算样本密度,根据密度选择合适的初始集和新的SBA点,加快了算法的收敛速度。另外,本文针对现有的基于支持向量机的多类分类方法存在的问题以及缺点,如一对多训练速度慢、一对一分类速度慢,给出了一种基于SBA和KNN的多类分类算法,主要是将改进的SBA算法融入到基于二叉树的多分类算法,并对多类分类的初始集的选择进行了改进,可以缩短训练时间,同时在分类过程融入了KNN算法,能够提高分类精度。本文将支持向量机和其他算法相结合,利用其自身的一些特性并结合其他算法的优势,给出了基于密度的SBA算法以及基于SBA和KNN的多类分类方法,并在Matlab 7.0软件平台下进行了实验仿真,对实验结果进行了分析和总结。