传统的统计学研究的是假定样本数目趋于无穷大时的渐近理论，现有的机器学习方法大多是基于这个假设。然而在实际的问题中，样本数往往是有限的。现有的基于传统统计学的学习方法在有限样本的情况下难以取得理想的效果。基于统计学习理论的支撑向量机算法具有坚实的数学理论基础和严格的理论分析，具有理论完备、全局优化、适应性强、推广能力好等优点，较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的推广能力，是机器学习中的一种新方法和研究新热点。目前，统计学习理论和支撑向量机作为小样本学习的最佳理论，开始受到越来越广泛的重视，正在成为人工智能和机器学习领域新的研究热点。 本文分析和总结了现有的几种典型支撑向量机算法，在系统研究分析最小二乘支撑向量机的基础上，提出了基于块增量学习的在线最小二乘支撑向量机算法、自适应迭代支撑向量机算法和自适应迭代支撑向量回归算法，对其算法性能和应用作了深入研究。主要工作包括： 1．系统地研究了支撑向量机的求解方法。主要有支撑向量机的梯度上升求解法、块与分解算法、贯序最小优化方法、基于Lagrange函数的迭代求解方法即Lagrange支撑向量机、在线支撑向量分类器(OSVC)求解方法、最小二乘支撑向量机(LS-SVM)算法。这些方法是通过求解凸二次规划问题或将大规模问题转化成若干子问题再求解凸二次规划问题，或者是转化为无约束最优化问题再利用比较成熟的最优化方法求解。通过对它们的分析，为提出新的支撑向量机算法提供了理论基础。 2．在重点研究最小二乘支撑向量机及在线学习的基础上，设计了一种新的块增量在线最小二乘支撑向量机算法。以块增量学习的方式对LS-SVM进行训练，避免大矩阵的逆运算操作，同时保持与LS-SVM完全一致的训练精度和测试精度。该在线算法适用于大数据集问题和需要对样本顺序处理的实际应用问题。与LS-SVM比较的实验结果表明，我们的算法在保持精度的同时有效减少了计算的花费。 3．为了用支撑向量机解决大数据集分类这一挑战性的问题，提出了一种新的自适应迭代支撑向量机。基于迭代的交替执行增量学习过程和减量逆学习过程策略，自适应形成能够覆盖整个训练集信息小规模工作集，并由此构造支撑向量分类器。分析了算法的收敛性、通用性和泛化能力。实验结果显示，该算法克服了LS—SVM损失稀疏性的主要缺点，对大规模分类问题，其速度大大快过LS-SVM算法且不损失精度，并达到与后者相当的泛化性能。 4．基于最小二乘支撑向量机回归和自适应迭代支撑向量机，提出了一种新的自适应迭代支撑向量机回归算法。给出了矩阵降阶求逆公式的一种证明。实验结果表明，算法可以自适应地确定支撑向量的数目，保留了QP方法训练SVM时支撑向量的稀疏性，在相近的回归精度下，该算法极大地提高了LS-SVR学习的速度。 5．将LS-SVM应用到实际的医学临床统计分析中，提出了基于支撑向量机的鼻咽癌患者治疗后5年生存状态预测模型，与传统的Logistic回归模型比较取得更好的预测结果；结合相关反馈技术和在线LS-SVM，设计了一种新的CBIR检索算法。