求解大规模优化问题的梯度型方法

来源 :北京大学 | 被引量 : 0次 | 上传用户:caozhi7963
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文寻求并研究了能够有效求解大规模优化问题的梯度型方法. 第一章综述了梯度型方法的发展历史和现状,其中着重介绍引领梯度法热潮的Barzilai-Borwein(BB)方法。 第二章,针对二次极小化问题,我们提出了两种根据局部迭代信息自适应地选择步长的梯度方法,也即自适应的最速下降(SD)法和自适应的BB方法.数值实验的结果表明这两种方法通常要好于数值表现优异的BB方法.此外,在这一章我们也给出了一种利用三个迭代点的信息来计算步长的梯度方法。 第三章,我们研究了求解一般无约束优化问题的几种梯度方法.首先,我们从数值例子和理论分析两个方面研究了Raydan提出的GBB方法,发现其中使用的非单调线搜索有时候会带来四步锯齿现象.为此,我们给出了一种稳健的线搜索算法,它不仅可以避免锯齿现象,也通常能减少GBB方法的整体计算量.其次,我们通过数值实验比较了现有的几种GBB方法,研究了两种不同非单调线搜索准则对这些方法的影响.最后,我们提出了几种求解一般无约束优化问题的自适应BB方法,并与GBB方法和非线性共轭梯度法作了大量的数值比较,结果显示我们给出的新方法具有非常良好的数值性态。 第四章,针对凸约束优化问题尤其是带边界约束的二次规划问题,我们提出了自适应的SD方法的投影算法,并通过数值实验展示了这一算法的优势所在.由于自适应的SD方法仍然是一种单调算法,我们在推广这一算法的同时,也给出了一般单调投影梯度法的一个框架性算法,找到了此类方法的一些重要特点.针对一般凸约束优化问题,我们严格地证明了框架算法的收敛性.基于这个框架算法,我们也给出了其他一些有效的单调投影梯度法。 第五章总结了本文的工作,提出了一些遗留的问题,并展望了今后可以继续研究的方向。
其他文献
本文主要讨论了两部分的内容,第一部分中作者给出了矩阵群逆的微分,并将之应用于统计学。主要结论如下: 设X是n×n秩为p的矩阵,结构如下[X11p×pX12p×(n-q)]X=X21(n-p)×pX22
函数逼近论起源于1852年,其开创性结果之一是1885年 Weierstrass建立的关于连续函数可由多项式逼近的著名定理。1912年Bernstein给出了该定理的构造性的证明,并提供了Bernstein
本文分为三部分.首先运用权函数平均技巧研究一类偶数阶中立型微分方程的振动性,结论推广了文[19]的主要结果:在第二部分中,利用Kranoselskii不动点定理,得到一类高阶中立型差分
地震波全波形反演是勘探地球物理中的重要问题之一,也是目前国际上研究的热点问题。随着并行计算机性能的飞速发展及各类数值算法日趋成熟完善,全波形反演在石油勘探工业中也正
日本教育家多湖辉曾说过:“草稿纸是思考过程的履历表。”草稿对学生形成解题策略,培养分析能力和提高学习效率有很大的帮助。科学地打好草稿、运用草稿对学好初中科学其作用
本文研究了资产清算价格服从一般分布的风险中性内部交易模型。首先,考虑了资产清算价格服从椭圆分布的线性策略型风险中性内部交易模型。在资产清算价格与噪声交易量都具有有
本文通过对荣华二采区10
一、职业教育物理教学中培养创新精神的实在意义长期以来,传统的教育主要采用“讲解加联系”的教学模式。它强调的是基础知识的积累与落实,却忽视了学生对生活的体验与实践,
请下载后查看,本文暂不支持在线获取查看简介。
期刊
同伦论的本质是利用比同胚关系更广泛的等价关系—同伦关系来对拓扑空间进行研究,这也是代数拓扑研究中一种自然的考虑,因为传统的代数不变量(基本群、同调群等)不仅在同胚的空