求解约束最优化问题的增广拉格朗日法,也就是最初的乘子法,以及与之相关的交替方向乘子法,在最近几年里受到了较为广泛的认可和重视。这不仅仅是因为它们在求解一些来自于产业及工程中的实际问题时所表现出来的适用性,也因为以它们为基础的一些实用算法具有相当高的效率。经典的增广拉格朗日法以及经典的交替方向乘子法的产生已经过去了40多年,相关的工作也逐渐地被完善。但即便如此,作为增广拉格朗日法和交替方向乘子法的核心组成部分的增广拉格朗日函数所蕴含的创造优秀的算法的潜力至今还未被完全的发掘。因此,本篇博士论文致力于研究一些求解约束最优化问题的基于增广拉格朗日函数的方法的算法设计,理论分析以及数值试验。首先,本文提出一种二阶的增广拉格朗日函数法,用于求解带等式和不等式约束的非线性规划问题、非线性二阶锥规划问题以及非线性半定规划问题。在该方法中,本文引入一种特殊设计的广义牛顿法来解决问题中约束所导致的非光滑性,从而产生二阶的乘子更新步。紧接着,本文给出该方法的相关理论分析。本文的结论表明在约束非退化(或线性独立约束品性)和强二阶充分条件成立的情况下,本文中设计的方法对于本文所考虑的几类问题是局部收敛的,并具有超线性的收敛速度。此外,这些结论是在惩罚参数固定和严格互补条件不一定成立的情况下成立的。其次,本文给出了一种非精确的多块交替方向乘子法类型的一阶算法,用于求解一类高维数多块合成的凸锥规划问题。该方法的设计结合了一种非精确的两块Majorized半邻近交替方向乘子法以及用来求解多块的且目标函数中仅关于第一块变量的部分包含一个非光滑函数的凸合成二次规划的非精确对称高斯赛德尔迭代的最新进展。该方法的最大的特点是它在求解每一个相关的子问题的时候仅仅需要一圈非精确的对称高斯赛德尔迭代。在一些简单而且易行的误差容许条件下,求解每一个子问题的时间将会大大的缩短。除此以外,对称高斯赛德尔迭代中的很多向前迭代经常可以省略掉,这更加增强了算法的执行效率。本文对所提出算法的全局收敛性和非遍历的迭代复杂度进行了分析。接着,本文使用该方法求解了一些大规模的带有大量等式和不等式约束线性和二次凸半定规划问题。数值试验的结果表明该方法在求解大部分测试问题时候所耗的时间与步长为1:618的直接推广的多块交替方向乘子法相比,能够节约百分之五十至百分之七十。所需强调的是,尽管直接推广的多块交替方向乘子法的收敛性是未知的,它在当前仍是求解多块线性和二次凸半定规划问题的一阶算法的一个基准。再次,本文澄清了人们对交替方向乘子法收敛性质的一些误解。本文中构造了一个反例表明一篇非常有影响力的文章中的关于交替方向乘子法的收敛性的结论在没有预先假设子问题的解存在的情况下是不正确的。鉴于这种情况,本文给出了相当弱的充分条件来保证每个子问题的解的存在性。紧接着,本文在一种更广的算法框架,也就是半邻近交替方向乘子算法中,通过严格分析给出了一些交替方向乘子法的收敛性质。此外,本文还并提出一个使用起来非常简单且不增加运算量的充分条件,使得在数值计算中能够让步长大于黄金分割率1:618,进而加强算法的数值表现。最后,本文给出了一种求解两块的线性约束凸优化问题的广义半邻近交替方向乘子法的收敛性分析。该方在一种非常自然的方式下同时在区间(0;2)中松弛了原始和对偶的变量,从而有着提高经典交替方向乘子法的计算效率的可能性。更重要的是,该方法能够通过对称高斯赛德尔迭代等技术来选取合适的半邻近项,从而可以用来求解多块的合成凸优化问题。通过求解420个双非负半定规划问题的数值结果表明,本文所提出的该方法是可行的,而且本文引进的松弛步能够提高算法的效率。