基于共轭梯度法的分布式算法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:zxj3510
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据环境下,由于单台计算机的存储、计算能力和安全隐私等问题,传统的集中式优化方法可能不再可行,因此可以利用多台机器的优势对大型数据集进行存储、计算和分析.在分布式环境下,为了降低计算复杂度和通信成本、提高算法收敛速度,本文基于共轭梯度法提出了两种分布式优化算法,分别用于求解线性回归模型和Logistic回归模型的优化问题.具体地,包括以下两部分:(1)针对大型线性回归模型的优化问题,在分布式环境下,提出了一种分布式共轭梯度算法,其关键在于步长公式的分布式近似计算.基于共轭梯度法设计了通信有效的算法流程,其中每次迭代进行两次通信,且机器之间仅传输标量和向量,通信成本较低.从理论上证明了当数据满足一定条件时,分布式共轭梯度算法具有线性收敛性.通过模拟数值实验发现,分布式共轭梯度算法在一定迭代次数后能匹配于集中式算法的性能,且该算法比分布式交替方向乘子法的收敛性能更好.最后在真实数据实验中验证了分布式共轭梯度算法的可行性和有效性.(2)针对大型Logistic回归模型的优化问题,在分布式环境下,提出了一种分布式再开始共轭梯度算法,该算法与分布式共轭梯度算法的主要区别有两点:一是在分布式共轭梯度算法的基础上添加再开始技术,提高算法的效率;二是每次迭代的步长不能再利用精确线性搜索计算所得,而是使用Armijo准则计算步长因子.我们在模拟数值实验中,将分布式再开始共轭梯度算法的误差结果与集中式算法相比较,发现该算法与集中式算法的性能一样好,此外分析了该算法的误差与样本总量的关系.本文针对线性回归模型和Logistic回归模型分别提出分布式共轭梯度算法和分布式再开始共轭梯度算法来解决其损失函数的分布式优化问题,为使用这两种模型进行大数据分析提供了一些理论上的方法,因此本文的研究有着重要的现实意义和理论意义.目前在分布式系统中使用共轭梯度法求解优化问题的文献较少,本文的研究在一定程度上扩大了共轭梯度法的应用范围和领域,具有一定的实用价值.
其他文献
欧拉多面体公式,可以理解为多面体的拓扑特性,是关于多面体顶点、棱和面的数量的关系V-E(10)F(28)2。多面体的第一个拓扑性质是由笛卡尔在1630年左右发现的。同样的性质被欧拉在1750年重新发现,现在被称为欧拉多面体公式。本文通过对笛卡尔、欧拉、勒让德、柯西、施陶特、潘索、吕里尔、赫塞尔、庞加莱等人原始文献的研究,重点讨论这几位数学家的工作和相互之间的影响,以及多面体定义和反例的历史线索等相
学位
随着经济和数字化技术的不断发展,以优化消费者体验为核心的“新零售”模式应运而生,同时国家也针对新发展的这种模式出台了一系列的利好政策,在新冠肺炎疫情发生以后,零售行业迎来新的发展机遇。由于居民消费水平的提高,其对消费类产品及服务的多元化、个性化、品质化、品牌化以及便捷化等消费需求也在不断提升,在茶饮行业出现了与传统茶饮不同的新式茶饮,新式茶饮在近十年内凭借着多种驱动因素,迅速发展并具备了自己的行业
学位
集外字在古籍文献的重要性,不仅体现在文字自身的学术研究价值,而且在古籍文本的信息处理中有至关重要的作用。这些集外字不论是对于汉字规范进程或是特定时期的历史研究都具有非常重要的研究价值。相比较现代汉语和传世文献语料库,出土文献语料库中的集外字所占比重较大。利用数字人文手段对出土文献文本进行处理时,集外字在语料库中的存在形式及参与方式将直接影响其文本信息处理。本文进行的统计包括现已出土并释读出版的全部
学位
国有企业“接棒”民营企业成为2020年信用债违约潮主体,此次密集违约风波进一步戳破我国“刚兑”预期,令“国企信仰”边际恶化。尤其是河南省3A级“免险”国企永城煤电控股集团有限公司(以下简称“永煤控股”)在当年11月突发大规模超预期违约,令本次风波的负面影响上升至“极点”,我国信用债市场遭受到巨大冲击。因此,笔者认为有必要对导致地方国企债券违约密集上升的原因、违约事件所带来的后续影响以及市场参与各方
学位
步五星术是中国传统历法中的重要内容,行星视位置的计算精度更是检测历法优劣的重要标准之一。《崇天历》是宋朝行用时间最长的官方历法,该历中的步五星术将中国古代行星理论推向了一个全新的高度,而《崇天历》之前的《应天历》《乾元历》和《仪天历》是行星理论走向成熟的过渡阶段的历法,对宋初四历中的步五星术研究有助于厘清步中国古代五星术的发展历程。本文具体工作如下:1.对宋初四历的天文常数进行解读校勘,分析这四部
学位
2020年9月以来,发展绿色经济,建设绿色社会,逐步实现“碳中和”已经成为我国未来发展的重要议题;在各行业奋力实现双碳目标的情况下,零能耗建筑是大势所趋,“绿色”逐渐成为房地产企业新主题,不少房地产企业都将“绿色产品研发、绿色地产运营、绿色生态打造”写入发展战略中。2021年8月,六部门联合发布的《关于推动公司信用类债券市场改革开放高质量发展的指导意见》指出房地产企业要寻找信用债融资新渠道,鼓励企
学位
一直以来,房地产企业普遍存在着高杠杆经营的问题,随着近年针对房地产行业的监管愈加严格,一些抵御风险能力较差的房地产企业陆续暴露出问题,房地产企业债务违约案例在2018年后开始快速增加,2021年房地产行业发生违约的债券共计51支,违约本金及利息共计453.70亿元。产业地产作为房地产行业的细分领域之一,近年发展迅速,但由于产业地产在我国的起步较晚,尚未形成成熟稳定的盈利模式,目前发展过程中仍存在着
学位
2020年,由于受新冠肺炎影响中小微企业面临着更多的融资困难。小微企业在促进我国经济平稳快速发展、为科技创新创造源源不断的获利、以及提高就业率以保持社会和谐稳定中具有举足轻重的地位,因此,如何解决小微企业融资难的问题,如何更好地为小微企业提供优质的服务在当前复杂的经济形势下有着举足轻重的急迫性与重要性。商业银行小微信用贷款在小微企业融资的选择上占主要地位,同时小微企业的一些固有特点使得小微信贷的过
学位
近年来,随着健康中国和深化医疗卫生体制改革等战略的提出,探索医保支付方式成为改革的重点研究内容。国家医保局已于2021年底正式启动DRG支付方式改革三年行动计划,旨在帮助公立医院提升成本管控意识,助力公立医院进行精细化运营管理。DRG(Diagnosis Related Groups)是指按照住院病人疾病严重程度、治疗方法复杂程度和实际资源消耗水平等对病种进行分组,同一组内的患者病情相近,费用相似
学位
心肌梗死(Myocardial Infarction,MI)是由心脏冠状动脉供血区急性或持续性缺血缺氧所导致的一种严重的心血管疾病。若未能得到及时诊治,会造成患者心肌细胞大面积死亡,从而引发不可逆的损伤,严重者甚至导致死亡。因此,MI及时准确的诊断是至关重要的。心电图(Electrocardiogram,ECG)是临床上诊断心肌梗死常用的辅助工具之一,MI发作时在心电图上的主要表现为ST段异常、T
学位