求解非线性优化问题的一阶随机算法及应用

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:liongliong547
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的到来,使得越来越多的领域面临着海量数据的最优化处理,如生物统计、模式识别、金融分析和智慧医疗等。由于传统非线性优化方法需精确采用所有数据,在实际应用中的计算代价巨大,随机采用部分数据信息的优化方法的发展显得必然而重要。鉴于一阶随机梯度算法格式简单、易于实现等特点被广泛应用于大数据挖掘,也吸引了数学规划领域众多研究者的关注。一阶随机梯度算法的迭代步长选择对收敛性和收敛速度至关重要,常用的步长有最速下降步长,Barzilai-Borwein(BB)步长等。本文基于Dai和Yuan等人的改进两点步长梯度公式,结合随机方差缩减梯度技巧,提出了具有两点插值信息步长的随机梯度算法,并证明了该算法在强凸条件下的线性收敛性。在公开的机器学习大数据集上的测试结果表明,具有改进步长的随机梯度算法有效提高了收敛速度。本文进一步研究了随机梯度算法中步长的随机程度对算法收敛效率的影响。在每次迭代中使用不同“随机频率”的改进的Barzilai-Borwein步长,得到了两个进一步改进的随机BB步长梯度算法,同时证明了新算法在期望上的线性收敛性。大数据集上的多次数值实验结果表明,两个改进的随机BB步长梯度算法的收敛效率明显提高。本文还探讨了具有完全随机化的改进Barzilai-Borwein步长的随机梯度算法的数值表现,即每经过一次内循环迭代都更新一次随机步长。实验结果表明,一阶随机梯度算法的收敛效果并非和步长的随机频率成正比,完全动态的随机步长不仅增加了算法计算量,还降低了收敛速度。
其他文献
我国井下瓦斯钻机的自动化、智能化程度不高,人工干预多、工人劳动量大、安全性不高一直是瓦斯钻机面临的难题。更加自动化、更高效、更安全的瓦斯钻探设备呼之欲出。瓦斯钻机自动接续装置是瓦斯钻机中的核心模块,它在钻杆的自动装卸中起着重要作用,钻杆的自动装卸可大大减少工人的工作量,在实现自动化的同时也提高钻进的效率,提高工人工作的安全性。本文首先研究了两款典型的煤矿瓦斯钻机,重点分析了钻杆(自动)续接装置在每
复杂网络研究涉及社交网络、学术网络、万维网、蛋白质作用网络等很多领域中的抽象网络。社区结构挖掘是研究复杂系统的关键工具。探索和发现网络社区结构对于了解复杂网络内在规律,开发其功能,预测其行为具有十分重要的意义和作用,特别是在大型复杂网络中进行社区划分,具有重要的实际意义。本文对社区划分算法进行了研究,主要工作和贡献包括以下几个方面:(1)针对局部社区划分算法中存在的初始节点依赖和候选节点判定难等问
充气式减速器是时下新兴的再入气动减速装置,其展开后呈倒锥形,能有效的进行气动减速,不同于传统的刚性返回器,充气式减速器的柔性材料受环境影响易发生变形,为探究其再入及入水过程中的工作性能,本文对充气式减速器的流固耦合数值模拟展开研究。首先,本文基于ANSYS Workbench平台确立单向流固耦合的数值计算方案,对柔性结构的流固耦合模型进行建立,并以充气翼为模型开展了流固耦合数值模拟,数值结果与文献
微藻作为水体中的初级生产者,能够有效地进行光合作用,并将氨氮、亚硝酸盐、硫化氢等有害物质转化为有机化合物,改善水环境;微藻中富含的多种营养物质,为水产经济动物提供优质的生物饵料,对水产养殖有至关重要的作用。本研究利用单因素试验、Plackett-Burman试验和Box-Behnken试验对普通小球藻(Chlorella vulgaris)、椭圆卵囊藻(Oocystis elliptica)和谷皮
渤海湾位于渤海西部,水体交换能力较差,水体内的污染物质不容易转移和扩散。2000年以来,随着环渤海地区经济的发展,大量工业、农业污水排放入湾,导致近岸海域水质不断恶化,水
自然界中的昆虫与鸟类都具备高超的飞行技巧,经历亿万年演化后,昆虫与大部分小型鸟类一般通过扑动进行飞行,而大型鸟类则采用了将扑动与滑翔相结合的飞行方式。结合大型鸟类的飞行方式,本文设计了一款将扑翼与固定翼飞行方式结合的复合飞行器,并且对其结构设计、动力学建模与控制系统设计进行了研究,最后完成了样机制作与飞行试验。本文首先根据设计要求确定了扑翼/固定翼复合飞行器的设计方案,并分别对其驱动机构、机身结构
糖基化是蛋白质翻译后修饰之一,在细胞生命活动的调控中发挥着重要的作用。糖基化过程中合成不同类型的寡糖链与蛋白质骨架连接,包括与丝氨酸或苏氨酸残基连接的O-糖链和与Asn-X-Ser/Thr序列中天冬酰胺残基连接的N-糖链。糖链通过与糖结合蛋白之间的相互作用来实现其生物学功能,要进行糖链结构与功能之间关系的研究则需要获得大量的结构明确、结构多样的糖链单体。目前,N-糖链的释放方法主要有酶解法和化学法
本文所涉及的图都是简单、无向的连通图.对于连通图G,它的Wiener指数是图G中所有顶点对的距离和,有(?).Wiener指数的复杂度是不同传输的顶点个数,CW(G)=|{TrG(v):v∈V(G)}|.图G的离心率复杂度是不同离心率的顶点个数,有Cec(G)=diafn(G)-rad(G)+1.在本文第二章,我们比较了这2个复杂度,给出了CW(G)和Cec(G)在笛卡尔乘积图上的关系,并证明了几
多孔陶瓷膜是一种典型的膜分离材料,兼备分离、浓缩、提纯、净化等功能。TiO_2超滤陶瓷膜由于其耐腐蚀性强、防污性好、抗菌、可与光催化耦合等特点,在工业废水处理、生物医药生产及海水淡化等方面具有广阔的应用前景。目前TiO_2超滤膜及纳滤膜的制备存在膜层完整性差、工艺复杂等问题。进一步完善TiO_2超滤膜及纳滤膜的制备和孔径调控工艺,推进TiO_2陶瓷膜的实际应用和功能化受到了广泛的关注。本文通过溶胶
复杂网络作为研究复杂系统的重要工具成为了科学研究的热点,链接预测作为其中的子问题,吸引着越来越多研究人员的关注。基于节点间相似性的链接预测算法是链接预测领域比较流行的研究方向之一,该算法的主要思想就是两个节点有越高的相似性,则这两个节点存在链接的可能性就越高。基于网络拓扑信息的链路预测算法作为其研究方向之一,由于网络拓扑易获得性逐渐成为研究热点。基于网络节点表示的方法也可以利用到链接预测中,这里的