FPD: Fringe Photometric Deflectometry when Fringe Meets Photometric Stereo

问题背景

许多工业零件的表面既不是纯粹的哑光面，也不是纯粹的镜面。以手机后盖为例，中间的标志高度反光，周围表面的镜面反射则较弱，而划痕、指纹脏污等缺陷在这两类区域上都需要检出。两种成熟的光学方法各自只能覆盖其中一半。光度立体（PS）利用多个光照方向下的图像恢复表面法向，在漫反射（朗伯）区域效果良好，但遇到镜面高光时性能下降。相位测量偏折术（PMD）通过正弦条纹的反射测量表面梯度，在镜面上精度很高，但在哑光区域由于条纹对比度低，数据并不可靠。

因此，当镜面高光或漫反射纹理占主导时，现有检测方法常常检测不到细微缺陷。此前把两类方法结合起来的工作很少：有的将摄影测量与 PS 结合，有的将线结构光与 PS 加权融合，但在高反光区域仍有困难。

方法原理

FPD 在一个采集周期内同时获取两种方法所需的数据，分别经过 PMD 分支和 PS 分支处理，再逐像素融合二者的输出。PMD 分支还会测出每个像素的镜面反射强弱，并据此确定融合权重。

1. 一个采集周期。 投影仪依次显示三类图案：模拟四象限照明、供 PS 使用的二值图案，以及供 PMD 使用的水平（fringe-x）和竖直（fringe-y）正弦条纹。相机每个周期采集 12 幅图像。
2. PMD 分支。 每个像素有四幅相移条纹图像：其均值为平均强度 A，由条纹调制计算镜面反射分量 S，漫反射分量为 D = A − S，光泽度为 S / A。多频相位展开得到绝对相位，其在 x、y 方向的导数构成相位梯度幅值 P。
3. PS 分支。 四幅二值图案图像以 PMD 得到的镜面与漫反射分量图作为先验信息，构成“图像数 × 像素数”的强度矩阵。对其做奇异值分解得到表面法向，再由法向计算表面梯度和平均曲率 H，计算过程采用 CUDA 加速。
4. 按反射特性计算权重。 每个像素的权重为 w_PMD = S / (S + D)，w_PS = D / (S + D)。高光像素更依赖 PMD，偏漫反射的像素更依赖 PS，两者之间平滑过渡。
5. 融合。 结果为 R = w_PMD·P + w_PS·H。在条纹可靠的区域以 PMD 为主，在需要保留漫反射细节的区域以 PS 为主。

实验结果

测试对象是同时具有漫反射和镜面反射的 iPhone 后盖。实验平台由投影仪、相机和安装结构组成，每个周期采集二值、fringe-x 和 fringe-y 三类图案共 12 幅图像，处理所用电脑配备 Intel Core i5-13500 CPU 和 NVIDIA GeForce RTX 3060 GPU。对比在同一次采集得到的三幅重建图之间进行：PS 平均曲率图、PMD 相位梯度图和 FPD 融合结果；作者认为 FPD 对两类特征的重建都更完整、更一致。随后，在 OPT Machine Vision 的商用检测软件 Smart3 中分别对三幅图做缺陷检测：一是划痕检测，二是基于线特征提取的脏污检测。FPD 也已集成到商用缺陷检测软件中。

作者将集成系统的标定以及复杂表面的高度测量列为未来工作。