当前,体育运动日益引起人们的兴趣和重视,通过监控视频分析赛事中的运动员的表现是评价运动员最为直观的方式。由于体育视频常采用中、远距离视角进行拍摄,视频中运动人员姿态各异,面部模糊不清以及遮挡现象时有发生,这给运动人员的识别带来了困难。本文通过研究深度学习网络,实现运动场景中运动人员服装上号码的检测和识别,以达到对运动人员运动行为分析的目的,因此开展基于视频的高效号码检测和识别研究具有重要理论意义和实际价值。由于目前还没有运动人员服装号码的公开数据集,本文首先通过半自动标记的方法,制备了运动人员号码识别的数据集,为深度网络的训练和算法性能的测试提供数据的保障;其次对号码区域的精确定位算法进行了研究,主要在Faster R-CNN目标检测框架之上进行优化,对于模型中锚盒的设定、RPN层训练细节、损失函数等方面进行改进,提升了对号码区域定位的精确度;最后在号码区域精确定位的基础之上,对运动人员的号码识别算法进行了研究,简要介绍了目前主流的号码识别方法并分析各自的优、缺点,针对运动人员的号码具有旋转、不易分割等提点,设计并实现了一种自适应仿射变换的号码识别网络,利用制备的数据集进行测试,测试结果表明了本文所设计的深度学习网络能够有效地对运动人员的号码进行识别。