【摘 要】
：
对梯度数据进行压缩,是一种减少多机间通信开销的有效方法,如MXNet系统中的2Bit方法等。但这类方法存在一个突出的问题,即过高的压缩比会导致精度及收敛速度下降,尤其是对规
【机 构】
：
华中科技大学计算机科学与技术学院大数据技术与系统国家工程研究中心
【基金项目】
：
国家自然科学基金(61672250)
论文部分内容阅读
对梯度数据进行压缩,是一种减少多机间通信开销的有效方法,如MXNet系统中的2Bit方法等。但这类方法存在一个突出的问题,即过高的压缩比会导致精度及收敛速度下降,尤其是对规模较大的深度神经网络模型。针对上述问题,提出了一种新的4Bit梯度压缩策略。该方法采用4个比特位表示一个具体的梯度值(通常为32位的浮点数)。相对于2Bit,该方法能够对梯度值进行更细粒度的近似,从而提高训练结果的准确率和收敛性。进一步地,根据网络模型每一层梯度特性的不同,选择不同的近似阈值,使得压缩后的数值更合理,从而进一步加快模型的
其他文献
近年来建筑工程中的桩基础施工技术已经成为了社会广泛关注的焦点问题。加强桩基础施工技术在建筑工程中的应用研究对保证工程质量,促进社会经济发展和社会和谐建设具有十分
<正>知识性课文的教学,仅限在课内是不够的,教师要创造一定条件,引导学生参与实践。在实践活动中,学生通过完成一定量的实践活动（观察、讨论、辨析、习作、口语交际等）达到释疑
本文通过对浅埋暗挖施工方式的地铁车站的分析，以双侧壁导坑法的传统做法为基础，创新性的将中隔柱法应用到相关施工中去。通过荷载结构法分析了中隔柱的外部荷载，同时在支撑构件
目的分析与急性脑梗死患者血清微小RNA-181c（miR-181c）水平与认知功能受损的关系。方法收集158例急性脑梗死患者,其中梗死后存在认知功能受损67例（受损组）,认知功能正常91例（正常
目的探讨吉西他滨联合顺铂治疗晚期非小细胞肺癌的临床疗效。方法评价分析72例晚期非小细胞肺癌患者在吉西他滨联合顺铂治疗2～3个周期后的临床疗效及毒副作用。结果72例中，总有
交通领域的异常事件检测对于预防和及时处理交通事故有着重要作用。当前大多数交通异常事件检测都是通过人工完成的,耗费了大量的人力,同时实时性也较差。文中针对高速公路的交通场景特点,利用深度学习中的目标检测算法,对视频中的车辆目标进行提取,提出了结合运动特征和表观特征的多目标追踪算法;在此基础上,又提出了一种基于车辆轨迹特征的异常事件检测方法,其中的追踪算法减少了轨迹提取过程对背景环境变化的依赖。在异常