论文部分内容阅读
本论文主要研究了一类正则化牛顿类方法及其在等式约束优化问题中的应用,提出了两种求解无约束优化问题的正则化牛顿类方法和三种求解等式约束优化问题的正则化牛顿类方法.对于每一种方法,我们分析了算法的收敛性,并通过数值试验验证了算法的有效性.本文共分为七章.在第一和第二章中,主要介绍了本论文的研究背景和意义、论文涉及的预备知识、相关算法的研究现状.第三章到第六章是本文的主要研究内容,在第三和第四章,我们提出并分析了两种求解无约束优化问题的正则化牛顿类方法;在第五和第六章,我们提出并分析了三种求解等式约束优化问题的正则化牛顿类方法.在最后一章中,我们对本文进行了总结.本文对求解无约束优化问题自适应正则化牛顿法进行了推广,提出了两种更一般化的正则化牛顿类方法,在比现有方法更弱的假设下、在更大的参数范围内证明了算法具有全局收敛性和局部超线性收敛性.在这两种算法中,每一次迭代通过求解一个无约束正则化子问题来求解试探步.算法通过调整正则化参数来调节步长,进而保证全局收敛性.第一种算法依据目标函数的实际下降量和正则化子问题的预测下降量之间的比值来调节正则化参数;基于子问题的近似解(迭代点的函数值满足柯西下降条件),在目标函数一阶连续可微,并且迭代序列的函数值有下界的假设下,我们证明了算法具有全局收敛性;基于子问题的最优解,我们证明了算法具有局部超线性收敛性.第二种算法用来求解大规模无约束优化问题,该算法在正则化子问题中使用了有限存储拟牛顿矩阵,借助这种矩阵的特殊结构,正则化子问题可以被更高效地求解,从而使算法可以更适用于大规模无约束优化问题;为了尽可能地利用正则化子问题提供的搜索方向的信息,我们先通过非单调Armijo线搜索获得下一个迭代点,然后依据线搜索的步长来调节正则化参数;在梯度Lipschitz连续、目标函数值有下界的条件下,算法具有全局收敛性;在迭代序列有界、目标函数二阶连续可微的条件下算法具有全局收敛性和局部超线性收敛性.数值试验表明,本文提出的两种正则化牛顿类算法对于无约束优化问题是有效的.本文还考虑了将正则化牛顿类方法应用于求解等式约束优化问题,提出了两种正则化增广拉格朗日算法.通过对增广拉格朗日函数进行二次近似,并添加一个二次正则项来构造了一个易于求解的无约束子问题,在每一步迭代中,我们通过求解这个无约束子问题来计算试探步.在第一种算法中,我们将求解无约束优化问题的正则化方法直接嵌入到经典的增广拉格朗日方法框架中.在第二种算法中,每一次试探步只求解一个无约束子问题,然后利用增广拉格朗日函数作为价值函数来决定试探步能否被接受,同时调节正则化参数;在RCPLD约束规范成立时,算法得到的拉格朗日乘子序列具有有界性;算法全局收敛到一个KKT点或者不可行稳定点.本文还提出了一种正则化序列二次规划算法来求解等式约束优化问题.在每一步迭代中,我们通过求解两个二次子问题来计算试探步;第一个子问题是根据约束违反度函数构造了一个无约束正则化子问题,其目的是用来降低约束违反度;第二个子问题根据目标函数构造了一个带有线性等式约束的二次规划问题,其目的是用来下降目标函数;我们建立了一系列条件对两个子问题的解进行判断,试探步由两个子问题的解中的一个或者两个构成;该方法不使用罚函数或者滤子;算法全局收敛到一个KKT点或者不可行稳定点.数值试验表明本文提出的算法能有效求解等式约束优化问题.