【摘 要】
：
机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加
【机 构】
：
中国科学院软件研究所软件工程技术研发中心,中国科学院大学,计算机科学国家重点实验室（中国科学院软件研究所）
【基金项目】
：
国家自然科学基金(U1435220);北京市科技重大项目(D171100003417002);民航科技重大专项(MHRD20160109)~~
论文部分内容阅读
机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法这5类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每种算法进行详细对比.随后,对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时,对所介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.
其他文献
在脱贫攻坚进入决胜期的关键时期,寻求全方位、多层次的脱贫手段至关重要,生态脱贫作为共同推进生态文明建设和脱贫攻坚的重要手段,对其研究亦十分重要。祁连山自然保护区作
利用非线性弹塑性有限元法，建立了冷轧平整过程仿真模型。运用该模型对平整轧制多组工况进行模拟，得到了薄带平整时轧制压力分布规律，与经典板带轧制理论中轧制压力具有单一峰值
通过Gleeble-1500上的室温压缩实验、微观组织分析、X-射线衍射分析、磁性测量等手段，系统研究了302HQA钢的冷变形规律。结果表明，302HQA钢冷变形过程的冷作硬化是位错塞积和形
<正> 临床资料1.一般资料:203例患者中,男136例,女67例;年龄最小者28岁,最大者83岁,40～60岁者居多(88例);病程最短者半个月,最长者7年。2.诊断标准:患者从第十二肋骨下缘至髂
随着我国经济的快速发展以及国家综合国力的不断增强,技术人才越来越成为我国社会发展的重要支撑,而高职院校作为技术人才的重要培养基地,使得我国对于高职院校的教育工作越
酸性水罐区是炼油厂储存含硫生产污水的主要场所,排放气中含有较高浓度的轻烃、氨气、硫化氢及有机硫化物等,是炼油厂主要的非甲烷总烃及恶臭气体排放源。为符合GB31570-2015
目的 比较剖宫产术中子宫切口连续单层缝合与连续套锁缝合的临床效果.方法 回顾性分析2015年1~12月期间三亚市妇幼保健院妇产科收治的100例剖宫产术产妇的临床资料,按照子宫
利用单向热拉伸实验和金相显微镜研究了AZ31B镁合金薄板热变形过程及其动态再结晶组织变化规律。结果表明,在变形温度为160℃、应变速率为1×10^-3s^-1时,拉伸变形后得到
<正>浙政办发〔2013〕141号各市、县(市、区)人民政府,省政府直属各单位:为体现对劳动模范和先进工作者的关心和爱护,让他们享受到更多的经济社会发展成果,经省政府同意,在贯
文章提出了轿车转向节精密成形新工艺。针对挤压带式闭塞挤压精密预制坯的成形过程，以DEFORM软件为工具，研究了冲头形状、挤压带长度、模具工作温度、润滑等条件对成形工艺的影