手术器械视觉检测与跟踪是手术机器人的核心技术之一,其可以辅助临床医生或使用手术机器人完成临床手术。早在上个世纪八十年代,基于硬件方法的手术器械检测与跟踪就已经被应用于临床和手术机器人当中。基于硬件的方法较为简单,但昂贵的硬件设备以及额外需要的标记和无菌处理等措施,使得实际操作更加繁琐。因此基于视觉的手术器械检测与跟踪算法逐渐被重视起来,其主要分为特征提取算法和深度学习算法。简单的特征提取算法不能满足准确性以及鲁棒性的要求。深度学习方法容易受手术过程中模糊、遮挡、光照等干扰因素的影响,但在性能与效果上还是要优于特征提取等传统方法,所以其是现在的主要研究方向。基于深度学习的各种卷积神经网络算法对于手术器械的检测与跟踪效果在实时性、准确性和鲁棒性上具有很大的提升空间。因此,本文基于实际的应用课题,对手术器械检测与跟踪任务展开研究,基于深度学习技术提出一种实时准确的检测与跟踪算法。论文的主要研究内容如下:1.通过查阅文献,对近年来手术器械视觉检测与跟踪技术的理论基础和相关算法进行了全面综述,比较并分析了各种基于深度学习算法的性能差异。分析得出,未来该技术在准确性和实时性提升方面将具有很大的发展前景。2.分析了手术器械检测与跟踪的基础理论与项目难点。阐述了卷积神经网络的结构与基本原理及其训练策略,论述了目标检测与跟踪基础,包括检测与跟踪的类型和流程。此外,对本课题使用的公开数据集作了详细分析。3.提出一种适用于手术器械检测的深度学习算法SI-YOLO。在原始目标检测YOLOv5网络模型的主干网络中加入Sim AM注意力机制以提升模型对手术器械在干扰环境下的特征提取能力,在颈部网络Neck中使用Bi FPN结替换原有PANet以改进特征融合策略解决不同手术器械尺度特征不一致问题,最后使用最新的α-Io U Loss替换掉原有损失函数以提升检测框回归速度与精度。所提出的SI-YOLO算法在公开数据集m2cai16-tool-locations上训练并进行测试,与经典手术器械检测算法进行对比,结果表明本课题提出的SI-YOLO算法性能最优。4.提出一种基于SI-YOLO结合Deep Sort的手术器械跟踪算法。针对器械消失和被遮挡场景下目标ID发生变换的问题,在Deep Sort跟踪算法原有的外观特征提取网络Cosine的基础上,引入Inception-Res Net-v2结构以替换原始的Res Net残差网络,不同的特征图尺度包含更丰富的语义信息。实验结果表明,本课题提出的手术器械跟踪算法在跟踪准确度与精度等方面都有明显提升,器械消失或遮挡情况下的目标ID变换频率明显降低。5.为实现基于深度学习的手术器械检测与跟踪算法的初步应用,我们搭建了模拟手术实验平台并自建数据集,将训练好的模型部署在真实实验环境中进行实时检测与跟踪,达到了良好的效果。