人们对于金属材料的应用随着科技的发展、生活水平的提高也越来越广泛,金属材料的表面瑕疵与产品性能和美观性的关系密不可分,因此,在实际的工业生产生活中将有瑕疵的材料辨别出来显得至关重要。传统的检测手段主要有人工识别和基于计算机视觉的机器视觉识别,这些常规的检测手段在面对实际生产中复杂多变的表面瑕疵时无法应对。因此,本文从机器学习的角度出发,将铝型材作为研究对象,探索深度学习方法在铝型材表面瑕疵分类、检测以及定位的研究。本文的主要研究内容包括:（1）提出了一种基于Inception-Res Net模型的铝型材表面瑕疵分类网络。针对铝材表面瑕疵数据集缺陷种类单一的问题,利用数据增强策略对数据集进行数据扩展;针对数据集中瑕疵图像标签数据少的问题,创新性的将迁移学习（Transfer Learning）的方法加入到分类网络的改进和设计中,增强了模型的鲁棒性,并且通过分析网络的训练精度、损失曲线、卷积核、特征图来证明模型分类的有效性,本文设计的瑕疵分类网络准确率高达98%,与其它算法的比较结果表明,本方法是适用于实际瑕疵分类的最佳模型。（2）提出了一种具有自适应特点的基于MFRCNN卷积神经网络的铝材表面瑕疵检测网络。针对数据集中缺陷种类不平衡的问题,运用翻转、裁剪、滤波等方法进行解决;针对数据集中缺陷尺度大、缺陷小的特点,将特征金字塔网络融入可变形卷积网络中进行缺陷特征提取;针对部分瑕疵过小且不规则的特点,加入可变形卷积来加强不规则瑕疵的特征提取效果,仿真实验表明,本文提出算法的瑕疵检测平均准确率（m AP）达到了90.1%,高于其他主流的目标缺陷检测算法。（3）构建了一个基于多摄像头协作的铝材表面缺陷检测系统,该系统基于MFRCNN目标检测算法和多任务分步迁移学习的瑕疵分类算法,并且可将缺陷检测算法和瑕疵属性分类识别算法应用到实际工厂流水线生产检测中。