产品的表面瑕疵不仅会影响其美观性和使用性,严重地还可能造成人员伤亡,因此产品的瑕疵识别意义重大。当前,工业领域瑕疵识别仍以人工识别和机器视觉识别为主,人工识别方法不仅工作强度大、还存在漏检率高的问题,基于图像处理的机器识别方法提取的特征缺乏鲁棒性导致无法应对复杂多变的瑕疵。如何对表面瑕疵进行快速、准确识别成为研究重点和热点之一。近几年,深度学习迅速发展,其卷积神经网络在视觉领域相比传统方法展现出了巨大优势,且随着现代成像技术的发展可以得到的图像质量越来越好,因此基于卷积神经网络解决瑕疵识别问题成为一种很有潜力的方法。本文通过深入分析瑕疵识别的国内外研究现状,以铝材瑕疵为数据集,基于卷积神经网络对铝材瑕疵识别中的分类及检测两个方面进行研究:首先,分析了卷积神经网络的基本原理,并按照卷积神经网络的层次结构,深入研究了它的主要模块。同时对神经网络的训练过程进行了分析。还引入了迁移学习的思想,解决数据量不足的问题。其次,针对分类网络中较为主流的Inceptionv3和Densenet169两种网络各自的优缺点,提出了一种多模型融合的分类网络。将该多模型融合网络应用到铝材瑕疵的分类识别上,通过实验,相比主流的两种网络,该网络在铝材瑕疵预测查准率、查全率、准确率等方面有了显著提升,为铝材瑕疵分类自动化提供更好的支撑。此外,对铝材瑕疵分类网络的卷积核、特征图、类激活进行可视化研究,进一步验证该铝材瑕疵分类的有效性。最后,研究了基于卷积神经网络的目标检测算法,分析比较了各算法的优缺点,综合考虑检测速度与检测精度,选择SSD网络作为瑕疵检测的基础网络。并针对SSD网络默认框设置对不同数据集缺乏针对性的问题,采用kmeans聚类算法优化了默认框的设置,优化后的SSD网络模型在瑕疵的检测速度及检测精度上都有了提高。