【摘 要】
：
随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型
【机 构】
：
浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室,广东浪潮大数据研究有限公司
【基金项目】
：
山东省重点研发计划(重大科技创新工程)(2019JZZY011101),山东省自然科学基金(ZR2018BF011)
论文部分内容阅读
随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高。数据并行(DP)是应用最广泛的并行化策略,但是如果数据并行训练中的设备数量不断增加,设备之间的通信开销就会成为瓶颈。此外,每个步骤因设备性能差异处理的批总量不同会导致精度损失,即需要更长的训练周期以收敛到期望的精度。这些因素会影响整体训练时间,并且会影响某些设备的运行效率。除了数据并行(DP),每个训练步骤都可以通过模型并行(
其他文献
［摘要］少数民族学生能否接受高等教育以及接受怎样的高等教育不是智力或经济的单一因素决定，更受到社会因素的影响。在布迪厄的文化资本理论中，关于阶层文化、家庭文化和个体（由于文化）选择学业上的自我淘汰的渐变过程对于分析少数民族高等教育机会问题具有独特的视角。中国的特殊国情对于少数民族的高等教育机会问题既可以有潜隐的文化建构的影响，也可以通过经济支持和政策扶助来促使有益文化资本积累的行动以减少不足。
受疫情所困,国内跨省游恢复后的首个国庆黄金周,王雁平的手机差点被打爆了。“各种咨询电话打来,不停协调购票、乘坐电梯、换乘电梯等等事情。”4个月前,他是重庆“联合国际
陶冶青少年儿童美感,培养审美感受力,是中小学语文教学不容忽视的重要内容。在中小学语文教材中,无论是语言文字的表述,还是从内涵意义的阐明都充满了美的因素。面对这样的教材,作为语文教师,其本身具有双重任务:不仅自己需要从教材中领悟美,而且还得教会学生从课本中寻找美、学到美,并能创造美。 一、用心体会,寻找文学作品中的美的真谛 1.中小学语文教材中的文学作品语言美 中小学语文教材中的文学作
本文所研究的RFID技术在行政事业单位资产管理中的应用,通过对RFID技术原理以及固定资产管理模式进行了分析,并设计了一套系统架构,依此架构介绍了一套资产管理系统应用案例,实现了资产RFID智能化及可视化管理。
［摘要］高职院校特殊教育专业语文教学法课程长期以来存在着教学模式陈旧、单一，重理论讲解、轻教学能力培养等问题。文 章在总结多年教学经验的基础上，逐步探索出一个能充分体现我国教育方针，符合我国高职院校特殊教育专业培养目标的语文教 学法课程的新模式。 ［关键词］高职院校特殊教育专业语文教学法教学模式 ［作者简介］汪飞雪（1967-），女，辽宁营口人，营口职业技术学院，副教授，主要从事语文教学法
“以年轻的名义，以志愿者的身份，用一年的时间，做一件终身难忘的事情，我无怨无悔!”这是清华大学第十一届支教团团长、西藏支队志愿者许吴的真情独白。
日本生鲜蔬菜进口数量激增的原因很多，本文侧重于从日本市场蔬菜供求品种结构发生变化的角度分析其所带来的“供给不足”。在日本开展的一项调查表明：日本无论一般消费者，还是加
国庆"旅游黄金周"自1999年以来我们所经历的第十一个了.它给我国的旅游业注入了新的活力."假日旅游"一年比一年火爆,引起了一个又一个的旅游热潮,并带动交通、住宿、餐饮、娱
高职教育培养目标决定了高职教师不但要具备系统的专业理论知识，更要有较强的实践操作技能。文章从高职院校沿用普通高校教师职称评审入手，分析了目前高职院校职称评审体系下“