论文部分内容阅读
以最小的付出获得最大的收益,这是研究任何事或者对某些事做决策时所追求的目标,而数学理论的研究往往都是将问题在合理的假设下建立相应的数学模型,将之转化为无约束最优化问题的求解。经过几十年的理论发展研究,解决这类问题最有效的方法就是拟牛顿法中的BFGS算法,本文在众多学者研究成果的基础上对该算法进行了改进,并取得较好的收敛速度与数值效果,具体研究内容如下:首先,在Biggs和Yuan所提kB校正公式的基础上,引入参数??[0,1]将两者相结合,提出一个改进的kB校正公式,当参数取两端点时退化为两位学者所提公式,并根据文献思路对本文所提校正公式做进一步必要说明以确保合理性,并根据改进公式给出改进的BFGS算法(MBFGS)。其次,将本文所提的kB校正公式与新拟牛顿方程相结合,提出一个基于新拟牛顿方程改进的BFGS算法(RMBFGS),并给出算法的收敛性证明,包括全局收敛性和局部超线性收敛性,同时进行数值实验证明算法要优于标准BFGS算法和同等改进的BFGS算法。最后,考虑到数据维度有不断增大的趋势,本文参照标准L-BFGS算法的思路,将MBFGS算法做进一步扩展,推导出适用于求解大规模无约束最优化问题的改进的L-BFGS算法(L-RMBFGS)。