论文 / 2024 / Gap measurement method based on projection lines and convex analysis of 3D point clouds

Gap measurement method based on projection lines and convex analysis of 3D point clouds

基于投影线与三维点云凸分析的间隙测量方法
Wei Pan, B Jiang, W Tang, F Wu, S Li
Measurement Science and Technology, 35(10):105024

一句话看懂继电器与地面(继电器所立的底座)的间隙必须小于 0.07 mm。快速的背光二维检测先对每个继电器进行初筛,再由三维点云模型找出继电器所依托的支撑面,并测量到它的间隙。

问题背景

继电器下表面与地面(继电器所立的底座)之间的间隙是影响继电器质量的关键因素,关系到其导电性和可靠性;合格继电器在工作状态下的间隙必须小于 0.07 mm。常见的位移传感器各有不足:电涡流传感器需针对被测对象定制,成本较高;电感式传感器易受温度、湿度和电磁干扰影响;电容式传感器需要高压电源,且非线性误差较大;光电式传感器抗环境光干扰能力差。

光学测量虽然是非接触的,但不同方式也各有局限。此前用于悬浮间隙测量的两种视觉方法 Pixel Area 和 SelfConvNet 需要在速度和精度之间取舍:Pixel Area 速度快但精度较低,SelfConvNet 精度较高但速度慢。二维方法还会丢失维度信息,包括遮挡区域的深度,精度因此受限。三维点云保留了这些信息,但点云的无序性和稀疏性使测量过程十分耗时。此外,受金属表面加工工艺所限,表面容易出现凹坑、毛刺等缺陷。

三幅子图:顶部带金属端子的黑色小型继电器照片;立于平板底座上的方形继电器灰色三维模型;继电器与底座的侧视示意图,在继电器下边缘直线 l0 与底座直线 l1 之间标出间隙 G。
继电器实物 (a)、工作位置下的三维模型 (b),以及继电器下边缘 l0 与底座边缘 l1 之间的间隙 G (c)。引自论文图 1。

方法原理

该方法结合了两个测量模型。二维投影线模型从间隙的背光图像中测量间隙;三维表面点云模型确定继电器与地面之间的支撑面,并以此为基准测量间隙。检测时先运行速度快的二维模型,再由三维模型复检通过初筛的继电器。

  1. 背光投影成像。 高指向性背光源从间隙中透过,抑制照明光的衍射,使边缘清晰成像。相机看到继电器下边缘 l0 和底座边缘 l1 是两条清晰的直线,中间为明亮的间隙。
  2. 投影线提取。 图像先经引导滤波,在平滑噪声的同时保持边缘;随后用竖直搜索线穿过感兴趣区域,每条线上 Sobel 梯度最大的两个点即为边缘点。直线偏差指标剔除与左右相邻点的偏差都超过阈值的点,从而去除毛刺造成的噪声点。对剩余的点做最小二乘直线拟合,两直线间的像素距离 d 按 D = k·d 换算为毫米,其中系数 k 由多组已知间隙的测量结果取平均得到。
  3. 点云预处理。 线激光轮廓仪把继电器下表面采集为三维点云。若某点邻域中距离超过阈值的邻点过多,则将其视为离群点剔除。随后用连通域分割把表面划分为若干独立区域。
  4. 凸包与质心。 对点云进行曲面拟合较为复杂,计算效率和拟合精度难以同时保证。因此,该方法用快速凸包算法构建表面点的凸包,并按各材料部分的密度加权计算继电器的质心。物体所受合力与合力矩为零时才能达到平衡,因此沿重力方向投影质心,质心落在的那个凸包面就是支撑面。间隙即下表面各点到该平面的竖直距离。
  5. 两级检测。 投影线模型作为粗检阶段,对每个继电器进行初筛;通过初筛的继电器进入精检阶段,由点云模型再次测量。
六幅彩色编码的点云子图:继电器下表面的原始点云、清理后的点云、编号 1 至 5 的五个分割模块、带紫色凸包的点云、带紫色参考平面的点云,以及标注支撑面的侧视图。
三维处理流程:(a) 传感器采集的点云,(b) 清理后的点云,(c) 分割得到的主要模块,(d) 凸包,(e) 参考平面,(f) 显示支撑面的侧视图。引自论文图 12。
流程图:开始,二维投影,表面直线模型计算间隙距离,判断是否合格;不合格则输出不合格;合格则由线扫相机采集点云,表面点云模型计算间隙距离,再次判断是否合格;合格则输出合格并计算间隙均值,结束。
串联二维模型(第一个虚线框)与三维模型(第二个虚线框)的检测流程。引自论文图 14。

实验结果

实验中,二维图像由一台 4000 × 3000 分辨率的相机配合高指向性背光源采集,点云由 OPT-LPE50 三维激光轮廓仪获取,对比方法为 Pixel Area 和 SelfConvNet。精度实验在同一个继电器上依次设置 0–0.1 mm 等间距的多个间隙。Pixel Area 的误差最大(最大 0.047 mm,平均 0.038 mm),其后依次为投影线模型(0.021 mm 和 0.016 mm)、SelfConvNet(0.02 mm 和 0.0095 mm)和点云模型(0.015 mm 和 0.0087 mm)。在线性度实验中,点云模型比 Pixel Area 和 SelfConvNet 更贴近真实间隙,集成模型的线性度最好。

在工厂检测实验中,共测试 11,931 个继电器,其中良品 9,247 个、不良品 2,684 个。投影线模型的精度和速度均优于 Pixel Area(6.6%,48.5 ms),点云模型则在两方面都优于 SelfConvNet(2.6%,510 ms)。集成模型的误判率最低,速度也快于点云模型和 SelfConvNet,满足现场实时检测的要求。对误检继电器的人工复查发现,它们都存在不同程度的表面缺陷,尤其是凹坑和毛刺。在凹坑处,由于边缘遮挡,投影图像中的下表面位于直线 b,而非凹坑底部对应的直线 a;Pixel Area、SelfConvNet 和投影线模型都基于投影图像计算间隙,在这种情况下精度明显下降。点云模型计算的是整个表面到支撑面的距离,因此受凹坑的影响较小。作者总结了其中的取舍:二维方法流程简单、速度快,但受维度缺失限制,也更容易因表面缺陷产生测量误差;三维方法精度高、可靠性好,代价是算法处理时间更长。

上图:五个模型的误差(mm)随真实间隙(0 至 0.1 mm)变化的折线图,绿色 Pixel Area 曲线波动最大,黑色 2D+3D 曲线最贴近零。下图:最大误差与平均误差柱状图,Pixel Area 为 0.047 和 0.038,Projection Line 为 0.021 和 0.016,SelfConvNet 为 0.02 和 0.0095,Surface PointCloud 为 0.015 和 0.0087,2D+3D 为 0.009 和 0.0054。
五个模型在 0–0.1 mm 间隙上的测量误差(上),以及各自的最大误差和平均误差,单位 mm(下)。上图图例中的“Surface Line”即投影线模型。引自论文图 17。
左:继电器底脚示意图,其下表面有一个凹坑,下方为粉色底座;距离 a 从凹坑底部量到底座,较短的距离 b 从可见下边缘量到底座。右:带弧形凹坑的绿色三维块体,多支蓝色箭头向下指向凹坑表面。
表面缺陷模型。凹坑底部的深度对应直线 a,但由于边缘遮挡,投影图像中的下表面显示为直线 b。引自论文图 18。

引用

@article{pan2024gap,
  title={Gap measurement method based on projection lines and convex analysis of 3D points cloud},
  author={Pan, Wei and Jiang, Bin-feng and Tang, Wen-ming and Wu, Fu-pei and Li, Sheng-ping},
  journal={Measurement Science and Technology},
  volume={35},
  number={10},
  pages={105024},
  year={2024},
  publisher={IOP Publishing},
  doi={10.1088/1361-6501/ad63c3}
}
类型
Article Journal
主题
Industrial Inspection
期刊/会议
Measurement Science and Technology, 35(10):105024
年份
2024
DOI