速度预测模型在速度变异，即短时间、大幅度的速度变化场景中会出现模型失准的现象，为了获得更好的预测精度和对速度变异的鲁棒性，本研究建立了多尺度时空残差网络。时间上，通过提出的去趋势方法将速度分为趋势项和残差项，预测速度是预测残差和对应趋势项的直接加和。空间上，同时考虑了预测路段所在的局部路网和整体路网对预测的影响，构建了基于路段速度相关性的前馈神经网络模块和基于AlexNet的图像识别技术分别提取两种不同尺度的空间特征。预测路段的速度趋势、速度残差、局部路网特征和整体路网特征作为构建的编码器-解码器结构的输入以计算最终的预测速度。本研究提出了误差差异率指标来描述速度变异导致的模型失准程度。基于北京市路网浮动车数据，分析路段速度的日间和日内变化特征，选取具有不同速度变化特性的路段进行数据实验和模型验证。结果表明，模型不仅在整体测试集上具有出色的预测精度，在速度变异场景下具有更显著的性能优势。模型具有更好的鲁棒性，误差差异率相比于对照模型平均下降了约30%。