对于统计学习中的优化算法,一直吸引着许多学者进行研究.本文主要针对统计学习,对于二分类数据集进行分类时,提出了两种新的优化算法分别求解最小二乘支持向量机和正则化逻辑回归模型,在适当的假设条件下对于算法搜索方向的下降性和算法的收敛性进行了讨论,并通过一系列的实验验证了这两种新算法的有效性和可行性.其主要研究工作如下:第一、将最小二乘支持向量机的训练转化成一个线性系统的求解,再将该线性系统的求解转化为无约束优化问题的求解.对于此,在经典的共轭梯度方法的基础上提出一种新的共轭梯度法.理论上在一定的假设条件下,分析了所提的算法具有充分下降性和全局收敛性,最后的数值实验也说明了新算法是有效可行的.第二、对于二分类问题中的逻辑回归模型,在求解逻辑损失函数最小值时采用极大似然估计法得到最优参数,在这个损失函数的项上添加一个2l范数为正则化逻辑回归.用信赖域谱共轭梯度算法来对2l范数逻辑回归模型进行求解.在合适的假设条件下,理论上给出了新的算法的充分下降性和收敛性证明.在数值实验中,对于二分类问题,给出了新算法和随机梯度算法对一些数据集进行分类时的数值计算结果,并对其进行比较,验证了新算法的有效性和可行性.