论文 / 2024 / WTAYOLO: A Detection Model for Weak Scratches on Metal Surfaces

WTAYOLO: A Detection Model for Weak Scratches on Metal Surfaces

WTAYOLO:金属表面微弱划痕检测模型
Weijin Xie, Wei Pan, Simi Li, Qi Zeng, Huayong Li
Proceedings of the 2024 7th International Conference on Sensors, Signal and Image Processing, 22-28

一句话看懂WTAYOLO 用于发现反光锂电池表面上的微弱划痕:光度立体成像降低表面反射带来的干扰,WTAConv 模块强化划痕特征,在不增加参数量的情况下 mAP50 达到 86.8%。

问题背景

锂电池表面的划痕会影响电池的电化学性能和运行安全,必须在质检中发现。在高反光金属上,这件事很难:铝合金反光强烈,对光照极其敏感;浅划痕深度小、轮廓模糊,与周围表面的对比度极低。划痕的位置随机、形状不规则,很多与表面本身看起来非常相似。

三块方形铝合金板在普通光照下的照片,红框标出微弱划痕;在拉丝反光的表面上几乎看不出划痕。
普通图像中铝合金板上的微弱划痕(红框标出)。论文图 1。

光度立体在多个方向的光照下对表面成像,无需复杂的激光设备即可获得细致的表面形貌信息,适合检测反光金属上的细小划痕。算法方面,U-Net 类网络广泛用于缺陷分割,YOLO 网络速度快、精度高。作者指出,把 YOLO 分割用于金属划痕的研究很少,而在精度、模型大小和实时性之间取得平衡仍有困难。本文以 YOLOv11n 为基线,构建划痕分割模型 WTAYOLO,输入为光度立体图像。

方法原理

WTAYOLO 保留 YOLOv11n 的结构,把其中的 C3K2 模块替换为 C3K2-WTAConv。每个瓶颈结构中加入一种新的卷积 WTAConv,它将小波变换卷积(WTConv)与 CBAM 注意力模块结合起来。

  1. 光度立体图像。 用光度立体系统对金属表面成像,降低表面反射的干扰,使划痕显现出来。
  2. 小波卷积扩大感受野。 WTConv 用二维 Haar 小波变换把输入分解为一个低频分量和三个高频分量,对各分量施加小卷积核,再用逆变换重建输出。按两级重复,就能在参数仅按对数增长的情况下获得大感受野,避免大卷积核带来的参数激增。
  3. 通道与空间注意力(CBAM)。 小波卷积的输出经过 CBAM。通道注意力对特征图做全局平均池化和最大池化,两个描述子经共享 MLP 后为每个通道加权;空间注意力沿通道轴池化,经 7×7 卷积后为每个位置加权。这样强化重要特征、抑制背景。
  4. 分割。 改进后的主干和颈部网络接 YOLOv11 的分割头,输出划痕掩膜。
分为三个虚线区域的网络结构图:主干由 Conv 和 C3K2_WTAConv 模块组成,末端为 SPPF 和 C2PSA;颈部由上采样、拼接、Conv 和 C3K2_WTAConv 模块组成;头部为 Proto 和三个 Segment 输出。右上角为改进的瓶颈结构:Conv 后接 WTAConv,可选的捷径分支相加。
WTAYOLO:将 YOLOv11n 中的所有 C3K2 模块替换为 C3K2_WTAConv,其瓶颈结构中包含 WTAConv 层(右上)。论文图 2。
模块框图:输入分别进入 Conv 和小波变换 WT;WT 输出进入 Conv 和第二级 WT,第二级经 Conv 和逆变换 IWT 后与第一级相加,再经 IWT;结果与输入的 Conv 分支相加后送入 CBAM,得到输出。
两级小波变换的 WTAConv,后接 CBAM。论文图 3。

实验结果

实验平台是一套光度立体系统,由 OPT 相机(IMX183 传感器,5472×3648)、35 mm OPT 镜头和 OPT 环形光源组成(表 1)。作者用它采集了 566 张带划痕的金属板图像,分辨率 1200×1200,由专家进行像素级标注,其中 510 张用于训练、56 张用于验证。所有模型使用相同的训练参数。

左:实验装置照片,支架上的相机和镜头位于环形光源上方,旁边是相机、镜头和光源的小图。中:分别从 135°、45°、225° 和 315° 照亮的四个亮球。右:四张灰色的金属表面图像,上面有细划痕线。
(a) 光度立体系统;(b) 四个方向的光源标定;(c) 通过光度立体检测到的划痕示例。论文图 5。

对比方法包括 Otsu 阈值法、U-Net、YOLOv5n、YOLOv8n 和 YOLOv11n。在作者给出的示例中,Otsu 法无法抑制背景噪声,划痕被噪声淹没;U-Net 部分克服了背景干扰,但会漏检低对比度划痕,结果不完整;YOLO 网络能抑制背景并利用多尺度信息,而 WTAYOLO 对微弱划痕的分割效果最好。WTAYOLO 的精确率(0.942)和召回率(0.736)也都最高。

五行划痕示例,每行八列:灰色输入图像,随后是 Otsu、U-Net、YOLOv5、YOLOv8、YOLOv11、WTAYOLO 和真值的黑底白色掩膜;Otsu 和 U-Net 的掩膜断断续续,WTAYOLO 的掩膜连续。
分割示例:(a) 输入,(b) Otsu,(c) U-Net,(d) YOLOv5,(e) YOLOv8,(f) YOLOv11,(g) WTAYOLO,(h) 真值。论文图 6。

在模型规模上,WTAYOLO 的参数量比 YOLOv8n(3.258 M)少 16.3%,比 YOLOv11n 少 3.8%;加入注意力只增加 0.003 M 参数。相比之下,更大的 YOLOv11s 用 10.067 M 参数和 35.3 GFLOPs 只达到 0.841 的 mAP50。额外模块会增加耗时:WTAYOLO 每张图需要 20.9 ms,YOLOv11n 为 14.5 ms(表 3)。作者认为这仍满足工业检测的时间要求,并将优化算法、实现实时检测列为后续工作。

引用

@inproceedings{xie2024wtayolo,
  title={WTAYOLO: A Detection Model for Weak Scratches on Metal Surfaces},
  author={Xie, Weijin and Pan, Wei and Li, Simi and Zeng, Qi and Li, Huayong},
  booktitle={Proceedings of the 2024 7th International Conference on Sensors, Signal and Image Processing},
  pages={22--28},
  year={2024},
  doi={10.1145/3725949.3725956}
}
类型
Paper Conference
主题
Industrial Inspection
期刊/会议
Proceedings of the 2024 7th International Conference on Sensors, Signal and Image Processing, 22-28
年份
2024
DOI