论文部分内容阅读
本文寻求并研究了能够有效求解大规模优化问题的梯度型方法.
第一章综述了梯度型方法的发展历史和现状,其中着重介绍引领梯度法热潮的Barzilai-Borwein(BB)方法。
第二章,针对二次极小化问题,我们提出了两种根据局部迭代信息自适应地选择步长的梯度方法,也即自适应的最速下降(SD)法和自适应的BB方法.数值实验的结果表明这两种方法通常要好于数值表现优异的BB方法.此外,在这一章我们也给出了一种利用三个迭代点的信息来计算步长的梯度方法。
第三章,我们研究了求解一般无约束优化问题的几种梯度方法.首先,我们从数值例子和理论分析两个方面研究了Raydan提出的GBB方法,发现其中使用的非单调线搜索有时候会带来四步锯齿现象.为此,我们给出了一种稳健的线搜索算法,它不仅可以避免锯齿现象,也通常能减少GBB方法的整体计算量.其次,我们通过数值实验比较了现有的几种GBB方法,研究了两种不同非单调线搜索准则对这些方法的影响.最后,我们提出了几种求解一般无约束优化问题的自适应BB方法,并与GBB方法和非线性共轭梯度法作了大量的数值比较,结果显示我们给出的新方法具有非常良好的数值性态。
第四章,针对凸约束优化问题尤其是带边界约束的二次规划问题,我们提出了自适应的SD方法的投影算法,并通过数值实验展示了这一算法的优势所在.由于自适应的SD方法仍然是一种单调算法,我们在推广这一算法的同时,也给出了一般单调投影梯度法的一个框架性算法,找到了此类方法的一些重要特点.针对一般凸约束优化问题,我们严格地证明了框架算法的收敛性.基于这个框架算法,我们也给出了其他一些有效的单调投影梯度法。
第五章总结了本文的工作,提出了一些遗留的问题,并展望了今后可以继续研究的方向。