随着大数据时代的到来,数据的类型也越来越多。多元响应变量问题的应用场景不断增加。目前有越来越多的学者开始对多元响应变量问题的进行研究,而且也取得了很大的进展。而减秩回归是多元响应变量回归中的重要工具。而当数据维数较高,响应变量之间存在除协变量之外的相依性,或当在观测数据中存在异常值时有很多对应的方法被提出。然而却没有一个统一框架和算法来解决。而多标签分类也是一种多元响应变量问题。只是其响应变量都是二分类变量而已。虽然已经有很多算法来解决多标签分类的问题,但总会存在不同的问题,本文提出了一个新的研究多标签分类的框架。变量选择是近些年一直被大家广泛研究也应用广泛的统计方法。有许多统计学家提出了多种不同的惩罚函数来得到更好的统计性质,针对各种惩罚函数有许多不同的算法被提出,而近两年提出的正交EM算法是一种新的且很有创新型的算法,可以用它来解决带惩罚的线性模型。而我们尝试着将这种想法推广到带惩罚的一般损失函数上去,并将其称为变量分离算法。另外零一膨胀泊松回归模型也被提出和研究,并且基于变量分离算法的想法提出了一种广义EM算法（GEM）来求解.主要内容如下:（1）使用变量分离算法加速求解带非凸惩罚函数的最优化问题。从一个新的角度对OEM算法进行了回顾。针对线性回归模型的最小二乘以外的一类更一般的函数,提出了一种新的算法。证明了生成序列的收敛性并使用Barzilai-Borwein（BB）准则和Nesterov’s方法来加速我们的算法。通过模拟和真实数据分析,以证明该方法的有效性。（2）研究了带有协方差估计的稀疏稳健减秩回归。减秩回归是多元响应变量线性回归模型中的一个非常重要的方法。针对具体不同的情况许多统计学家提出了对减秩回归的改进,而没有一个统一的框架,本文就是考虑了多种不同情况同时发生时减秩回归的建模和估计问题。且应用了区块坐标下降的算法来求解目标函数并且在这一步中用到了变量分离算法。实例和模拟都表明了新方法的有效性。（3）研究了一个新框架下对多标签分类问题的研究.我们考虑用非凸稳健损失函数来减少标签错标的影响。其次我们使用了一种附加的超参数化方法来捕获任何损失函数的标签之间的相依性。然后通过惩罚函数和减秩回归的方法来处理特征矩阵维数较高的问题。最后,统计模拟数据和实际数据分析表明了我们方法的有效性。（4）零和一膨胀泊松回归模型。我们针对零和一同时过多的计数数据提出了零和一膨胀泊松回归模型。然后得到了零和一膨胀泊松回归模型的最大似然估计和贝叶斯估计。而且基于变量分离算法的想法提出了一种新的广义EM算法来求解零一膨胀泊松回归模型。通过模拟研究对各种方法进行了比较。最后通过一个实际数据分析,表明了该方法的实用性。