论文部分内容阅读
轨迹预测技术在现实中应用广泛。特别是随着大数据时代的到来,利用分布式数据训练轨迹预测模型已经成为了轨迹预测技术的研究重点。当前一般采用分布式神经网络框架训练轨迹预测模型,然而,分布式神经网络框架存在诸如通信效率低下、模型准确率不理想等问题,使得基于分布式数据的轨迹预测算法不能达到理想的训练速度和模型准确率。本文针对在分布式环境下,轨迹预测模型训练收敛效率及准确率偏低的问题,重点攻关基于分布式神经网络的轨迹预测模型框架性能瓶颈,提高轨迹预测模型的收敛速度和准确率。重点工作及创新点如下:(1)提出自适应梯度压缩算法。神经网络在分布式环境训练中,各计算节点间需要传输大量的中间梯度,随着计算节点单机优化效率的提高,网络传输成为了影响分布式神经网络训练效率的主要因素。因此,需要对传输的梯度进行压缩以缩短分布式神经网络训练的时间。但是,传统的梯度压缩算法通常不能有效的动态调节压缩比,因此无法同时兼顾模型准确率与训练效率两个维度的平衡。因此,本文针对神经网络模型训练的特点,动态感知模型收敛的进程,对梯度压缩率进行自适应调整,在最小的准确率降低代价下,尽可能提高模型的收敛速度。通过实验证明,该算法在网络通信代价较大的环境中,有较高的可行性。(2)提出自组织分组动态混合同步算法。不同计算节点间的通信步调直接影响模型训练的精度和速度。目前的通信算法主要有同步通信、异步通信和混合通信三种,其中同步通信算法拥有最高的模型准确率,异步通信算法拥有最高的模型训练速度。在保证准确率的基础上,如何高效利用所有计算节点的计算性能是通信算法的重点研究方向。本文在传统通信算法的基础上,结合自适应梯度压缩算法提出自组织分组动态混合同步算法,通过感知模型训练时集群状态,动态调节通信方案,提高模型的收敛速度。(3)搭建高性能分布式轨迹预测模型系统。在上述两种算法的基础上,搭建高性能分布式轨迹预测模型系统,该系统集成了计算节点管理、任务管理、模型预测等多种功能,通过可视化的方式与系统使用者交互,对节点运行情况、任务完成情况和模型性能等信息进行可视化展示。