视频直播服务广泛进入到人们的日常生活中,拥塞控制算法承担着根据网络状况及时调整速率的任务,对于保证用户体验起到了重要作用。但是面对复杂多变的网络环境,拥塞控制算法面临着巨大考验。学术界对此引入了机器学习等方案解决此问题,但基于仿真器的设计,与真实环境仍然存在难以适配、表现差的问题。本课题依托合作方直播平台数据,通过结合线上实际表现,使用线上真实数据,验证了基于规则的GCC拥塞控制算法和由仿真训练的模型在实际中存在问题的现象,通过数据分析和实际实验,证实了在实际环境中进行训练的必要性。针对以上发现,本课题以在线训练为背景进行了研究,设计并实现了基于WebRTC的在线学习算法。在视频业务实际运行过程中,将WebRTC端的网络数据计算整合传输至实时训练服务端,在不干扰正常视频业务的情况下,完成了拥塞控制算法的在线训练,从而使得视频业务算法训练可以摆脱仿真器的限制。针对在视频应用中强化学习算法表现不佳的原因进行了分析研究,并改进了方案,针对同一种算法,使预测比特率与实际带宽的平均差值缩小了 28.70%,RTT降低了 40.46ms,丢包率降低了19.97%。