针对当前YOLOv5s的颈部特征提取网络PANET的特征提取不足，常规卷积Conv消耗了大量的参数量和计算量的问题，提出一种轻量化目标检测算法（RFBG-YOLO）。首先为了提升检测器识别效果，提出多分支空洞卷积结构RFB-Bottleneck来提升PANET的特征提取能力，提高模型检测精度；然后，为了使模型更加轻量化，引入GhostConv卷积减少模型参数量，提高检测速度；在PASCAL VOC数据集的结果表明，在检测速度影响很小的情况下，RFBG-YOLO 算法的mAP@0.5为80.3%，与YOLOv5s算法相比提高了2.2个百分点，mAP@0.5:0.95为55.1%，与YOLOv5s算法相比提高了4.2个百分点，模型参数量为5.2m，与YOLOv5s算法相比降低了2.0m，因此本文的RFBG-YOLO算法在保证模型轻量化的同时，具有足够高的检测精度，可以满足在轻量化目标检测场景下的检测准确度的要求。