我国是工业铝型材制造大国,铝型材生产企业众多,生产质量检测意义重大。目前,大多数生产企业仍采用传统的人工目测方法来检测铝型材表面缺陷。该方法不仅检测效率低下,而且稳定性相对较弱。随着我国工业制造产业不断转型升级,生产企业对产品的质量,检测精准度以及检测速度要求越来越高,传统的人工目测方法越来越不能满足检测要求。虽然红外识别、超声波探伤、涡流探伤、漏磁识别等单一机理识别技术也应用于产品表面缺陷检测,但其检测速度慢,成本较高。随着科学技术的蓬勃发展,基于机器视觉、深度学习的表面缺陷检测方法应运而生,但是也存在一些问题,机器视觉方法鲁棒性不强、适用面较窄;单一深度学习方法特征提取不够突出,检测精度相对有限。针对以上问题,本课题基于YOLOv3目标检测模型和Mask R-CNN实例分割框架,提出了一种基于图像融合与深度学习的铝型材表面缺陷检测方法。首先利用灰度变换增强、空域滤波的方法对原始图像进行预处理得到处理图像;然后借鉴SLAM中特征提取与匹配的思想对原始图像和处理图像进行特征提取与匹配;之后进行图像融合得到最终的处理后图像;再通过K-means算法聚类和调参优化,最后利用单阶段物体检测模型YOLOv3对铝型材表面缺陷进行检测,通过一个end-to-end的全卷积神经网络完成从原始图像的输入到bounding box和box中物体类别和置信度的输出。同时利用Mask R-CNN框架进行实例分割实验,对表面缺陷种类和位置使用掩模更加具体准确地定位与表示。另外,将本课题生成的YOLOv3模型进行剪枝压缩,移植嵌入到Jetson TX2模块中,利用Qt生成检测界面,最后进行图像与视频的检测,实现铝型材表面缺陷检测模型的封装应用。实验结果表明,本课题提出的图像融合与深度学习的方法对表面缺陷分类检出的平均成功率为98.33%,比单一深度学习方法提高了3.75%;验证集m AP值为88.81%,提高了4.18%。具有更强的特征提取能力和泛化能力,能精确检测表面缺陷,进行分类和定位。