求解随机复合优化问题的随机邻近随机次梯度算法

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:zk0529
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在求解复合优化问题时,当已知问题结构中的一个函数的随机梯度或次梯度信息,并且另一个函数(称之为正则项)的邻近算子是容易计算的,我们常利用随机邻近(次)梯度算法解决此类问题.然而,很少有工作考虑正则项难以直接处理的情况.本文,我们在只可以获得目标函数的随机信息的情况下,提出利用随机邻近随机次梯度算法求解随机的凸复合优化问题,并建立了算法的渐近和非渐近收敛性.首先,在温和的条件下,我们证明了该算法的几乎必然收敛性,并在此基础上建立了算法的渐近有效性.我们还得到了目标函数为凸和强凸情况下的随机邻近随机次梯度算法的非渐近收敛速度.最后,我们通过一些数值实验验证了该算法的收敛性,收敛速度和渐近有效性.
其他文献
本文主要研究了一类二阶常微分方程在Neumann边界条件下的分歧现象.通过构造全连续线性算子,联系线性化方程的本征值,证明分歧点的存在性.进而研究分歧分支的结构问题,建立该方程的全局分歧定理及单边全局分歧定理.最后解决了9种情况下该方程结点解的存在性问题.
数值积分算法是解决结构动力学在时间上离散的运动微分方程的有效方法。大量学者已经提出了各种显式积分算法,这些算法具有无条件稳定性和可控的数值耗散的理想特性。但是,涉及积分算法数值漂移特性的研究是有限的。本文基于控制理论,基于极点映射法运用高精度的预修正双线性变换将连续域的传递函数映射到离散域,开发了一族新的结构相关的显式积分算法,称为TL-φ算法。与现有算法相比,该方法的优点在于它可以通过与结构的关
在工业生产过程中会采集到大量的时间序列数据,对其关键过程变量进行准确预测可为工业系统的调度决策提供重要参考。然而工业时间序列数据普遍具有强非线性、非平稳和高噪声等特点,传统单模型方法难以对其实现有效预测,故当前研究集中于基于信号分解的组合预测模型。变分模态分解作为一种准正交的完全非递归的分解方法,有效解决了模态混叠问题且抗噪声能力更强。本文针对当前方法参数优化耗时长且组合模型输入特征不足等缺点,提
杨志青教授[20]在2018年构造了一种新的多拆解关系式不变量,并证明是Homfly多项式和Kauffman多项式的推广。本文受此启发,并结合Kauffman bracket多项式的构造方法,构造了新的拆解关系式,进而定义了一种新的正规不变量。我们构造的正规不变量相较于以往的一些多项式不变量有以下不同之处:1)我们定义的多拆解关系式不变量是一种正规的纽结不变量,并且只针对分支数小于等于2的链环定义
本文研究了addition-min算子模糊关系不等式约束规划问题的求解。该类问题是非光滑的,目前已有一些光滑化的求解方法。但已有的算法多为非保守近似,因此不能保证求得的近似解的可行性。本文利用sigmoid函数的一个变形,构造了该问题约束的一个新的光滑化近似,进而构造了新的光滑化近似算法。本文证明了新算法产生的解序列的任何聚点都是原问题的最优解。同时得到了最优值的收敛性,从理论上得到了算法的有效性
马齿苋肥美多汁,碧意凝然欲滴,出身微贱而样貌娇贵,如同穿绿裙子的唐代宫廷仕女。其叶形如马齿,吾乡谓之"蚂蚱汉"。"汉"是汉菜,也就是苋菜;"蚂蚱"则不知其来何自处,或许因其也似绿蚂蚱,或者是谐音,还有可能是马齿与蚂蚱的以讹传讹。从江南到中原再到漠北,有土处就有马齿苋。此草耐旱又耐涝,尤喜肥沃土壤,且狂野,见露发棵,见雨滋茂,见风疯长。吾乡随处可见,山溪、菜园、田垄边沿以及密林深处腐殖质厚厚覆
期刊
本文研究了二阶连续线性时不变系统的稳定性、正实性和负虚性.分别研究了双端固定、单端固定和首尾相连的弹簧模型.首先,刻画了能使系统状态收敛的的初值条件,描述了双端固定和单端固定模型系统在边值条件的限制下不同初值条件下的运动轨迹、首尾相连的弹簧模型在不同初值条件下的运动轨迹.进而,针对三种模型分别举了具体的例子,并用MATLAB画出运动轨迹图像.最后,研究了二阶无阻尼弹簧模型的正实和负虚性质,给出了可
本文研究了Minkowski平面上的曲线理论.本文给出了在p-范数和Randers范数下的曲率表示.通过使用变分方法,证明了最短线的法曲率为零.除此之外,还证明了当赋范平面的范数为‖(x,y)‖=|x|+|y|时,在定端点的变分曲线中,最短的曲线是连接这两点的单调的曲线.本文的安排如下.第一章简短地介绍了本文要用到的一些概念,包括Minkowski平面,Birkhoff正交,行列式形式和反范数等,
小学音乐欣赏教学环节,教师有意识渗透立德树人教育内容,能够为学科教学带来更多亮点,对促进学生学习素养成长有积极意义。整合音乐欣赏资源、创设欣赏教学情境、组织多种欣赏活动、适时传授欣赏方法、延伸欣赏训练设计,都能够为学生提供针对性学习契机,教师适时推出立德树人教育内容,不仅能够满足学生欣赏学习需要,还能够促进其思想成长,可谓是一举多得。
有限群的表示可以根据群G阶数和域F特征数之间的关系分为模表示与非模表示,模表示与非模表示在不变式的研究中具有很大不同.在非模表示的情况下,不变式环是多项式环当且仅当群是由伪反射生成的,但在模表示下就不一定了.有限群在非模表示下的不变式环是C-M的,但在模表示下也不一定成立,即在非模表示下成立的特殊形式的不变式问题在模表示下往往不成立.本文主要研究了有限群U6p的模表示以及在这种表示下的Transf