Physically inspired geometry-to-photometry rendering and lightweight convolutional neural network for real-time weld defect detection

问题背景

锂离子电池顶盖的焊缝决定电芯的密封性能，焊缝缺陷可能导致电解液泄漏或热失控。据作者分析，自动检测焊缝难在三点。缺陷与正常焊缝的高度差仅为亚毫米级，在反光、纹理微弱的金属表面上不会形成稳定的亮度对比，因此普通二维相机图像中几乎没有可用的缺陷信号。三维扫描仪能记录这种偏差，但点云网络太慢、太重，不适合产线。而把深度图直接输入二维卷积网络时，网络看到的是标量灰度场，微小缺陷容易被忽略。

因此，本文保留三维测量，但改变它呈现给检测器的方式：用一种确定性、物理上可解释的渲染把深度图转换为彩色图像，使微小的几何变化变成强烈的光度对比，再由轻量的二维检测器在该图像上检测。推理时无需多传感器融合，也无需点云处理。

方法原理

框架分两个阶段（论文图 1）：深度—法向引导的光照渲染，以及用作者称为 YOLO-WaveletTiny（YOLO-WT）的网络进行检测。

1. 深度采集。 用三维线激光轮廓扫描仪（OPT-LPC61）扫描焊缝，得到单视角深度图。所有实验均不做多视角配准或融合。
2. 深度—RGB 映射。 查找表不采用固定色表，而是根据每幅深度图的统计量构建。直方图箱宽由 Freedman–Diaconis 准则给出，h = 2·IQR / ∛N；直方图的累积分布被线性映射到 0–255 的索引范围，再由分段 RGB 渐变把每个索引转换为颜色。得到的伪彩色图承载焊缝的整体深度层次。
3. 表面法向量。 对每个像素构造指向邻点的两条对角向量，二者叉乘并归一化即得表面法向量。正常焊缝上法向量方向一致；在凹坑和凸起处，法向量发生突变。
4. Phong 光照。 法向量驱动 Phong 模型：环境光、漫反射（N·L）和镜面反射（(R·V)ⁿ）三项相加得到光照强度 I，渲染图等于 I 乘以伪彩色图。由于结果取决于法向量的点积，微小缺陷引起的细小法向扰动也会带来显著的亮度变化。渲染用 C++ 和 OpenCV 实现，参数（论文表 3）为经验值，例如环境光权重 0.1、漫反射 0.5、镜面反射 0.3、高光指数 32。
5. YOLO-WaveletTiny。 检测器以 YOLOv11n 为基础，加入两个小波模块。主干中的 WDSConv 用 Haar 小波分解代替 3×3 深度卷积，得到一个低频子带和三个高频子带，对每个子带做深度卷积后经逆小波变换重建，再用 1×1 卷积投影。颈部的 IWUpsample 用多级逆小波重建代替插值上采样，使细微的高频缺陷细节在特征融合中不被模糊。

实验结果

数据集来自汽车电池顶盖焊缝的真实产线检测，包含六类缺陷，样本数从 104 个凸起到 381 个针孔不等，类别明显不均衡（表 2）。每个样本是一幅单视角深度图，裁剪为 640 × 640 像素，按 8:1:1 划分训练、验证和测试集。训练 250 个轮次，使用 SGD，不用预训练权重；检测在 RTX 3080 上运行。

渲染为何有效。 论文先度量各种表示区分缺陷与背景的能力（表 5）。渲染图的边缘梯度增益最高（4.130），但并非每项指标都最高：伪彩色图的平均强度对比最大（0.064），单独的镜面反射分量信噪比最高（1.557）。渲染图在这两项上分别为 0.051 和 0.771，兼顾了三项指标。第二项分析以 16 × 16 像素块为单位，计算法向方向离散度与局部 Michelson 对比度的相关性（表 6）。渲染图在所有表示中相关性最强（Pearson 0.489、Spearman 0.737、Kendall 0.557），而伪彩色图几乎不相关（Pearson 0.121）。

对六个渲染参数的 Morris 敏感性分析表明，环境光权重和光源方向主导全部三项可见性指标，漫反射权重和高光指数的影响弱且稳定，可固定为常用值（表 7）。对深度图施加高斯噪声、脉冲噪声和随机遮挡时，强度对比和信噪比逐渐下降。遮挡下边缘增益反而虚增，因为缺失的数据块产生了伪边缘；作者据此指出，有遮挡的扫描在做基于边缘的分析前需要先补洞。

光照模型的选择。 用同一个 YOLOv11n 检测器比较了六种经典模型（表 9）。Phong 与 Blinn-Phong 的 mAP@50 并列最高（91.0%），Phong 的精确率最高（90.3%，与 Gooch 并列），召回率为 87.3%。Minnaert 的 mAP@50-95 略高（46.5% 对 46.3%），Rim Lighting 的召回率更高（88.2%）。Phong 在 CPU 上也是六种中最慢的，每幅 15.2 ms；作者认为考虑到漏检的代价，这是可以接受的。

检测器。 消融实验（表 10）中，单独加入 IWUpsample 把 mAP@50 从 91.0% 提高到 93.2%，计算量略增；单独加入 WDSConv 让模型更小（245 万参数、5.6 GFLOPs），但精度下降（90.7%）。两者结合达到 93.8% 的 mAP@50、47.6% 的 mAP@50-95 和 88.7% 的召回率，参数比基线少 4.6%，计算量少 10.9%。每幅图的延迟从 5.5 ms 增至 7.3 ms，作者认为仍满足产线的实时要求。精确率略有下降（89.9% 对 90.3%）：模型以少量误报换取更少的漏检，作者指出这在检测中通常更可取。五折交叉验证的 mAP@50 为 94.8 ± 1.03%（表 11）。

在所比较的二维检测器中（表 12），YOLOv8n 的 mAP@50 排第二（92.3%）。在 mAP@50-95 上，YOLO-WT（47.6%）略低于 DFINE-Nano（48.6%）、DEIM-Nano（48.3%）和 DEIMv2-Nano（47.7%），但后三者更大也更慢（360 万至 370 万参数，14.9 至 18.0 ms，对比 7.3 ms）。作者指出三点局限：渲染参数固定在单一工作点，精确率为召回率作了少量让步，数据只来自一条产线。后续工作包括参数自动调节、提高精确率，以及把数据扩展到其他材料和焊接工艺。