双支持向量机(TSVM)是基于支持向量机(SVM)上提出的一种新型机器学习方法,具有良好的学习性能,目前已成为机器学习领域的研究热点。TSVM常用于解决分类和回归问题。对分类问题而言,双支持向量分类机(TSVC)目的是寻找一对非平行的分类超平面;对回归问题而言,双支持向量回归机(TSVR)旨在训练样本点的两侧产生一对非平行的回归超平面,用于分别确定回归函数的不敏感上下界函数。为了简化TSVR的计算,通过采用最小二乘损失函数替代TSVR中的不敏感损失函数的最小二乘双支持向量回归机(LSTSVR),将求解二次规划问题简化为求解线性方程组问题,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险,易导致以下不足:(1)“过学习”问题;(2)模型的解缺乏稀疏性,难以训练大规模数据。本文针对LSTSVR在训练阶段容易造成“过学习”和缺乏稀疏性做出了理论分析,并对如何解决LSTSVR的两个问题展开研究:对于问题(1),本文基于结构风险最小化原则,在LSTSVR中加入控制模型复杂度的正则项,提出了一种结构化最小二乘双支持向量回归机(S-LSTSVR)以提升模型的泛化能力;针对问题(2),首先推导S-LSTSVR的对偶模型Dual S-LSTSVR,并分析该模型的不具有稀疏性的原因;其次利用表示定理给出原始S-LSTSVR(PS-LSTSVR),进一步证明了PS-LSTSVR和Dual S-LSTSVR在回归问题中的等价性;最后基于不完全Choesky分解给出求解PS-LSTSVR的稀疏算法(SS-LSTSVR),将其推广到大规模数据的应用。本文通过人工数据上的实验分析证明S-LSTSVR模型的泛化能力;通过UCI中四个中等规模数据集的实验,验证SS-LSTSVR算法的稀疏性;进一步将SS-LSTSVR算法推广至大规模数据集上,并通过两个大规模数据集以验证SS-LSTSVR算法处理大规模数据集的能力。