Reconstruction of transparent objects using phase shifting profilometry based on diffusion models

问题背景

相移轮廓术（PSP）向物体投射一组正弦条纹，根据采集到的条纹光强求解相位，再结合系统标定参数恢复三维形貌。由于它依赖条纹光强的正确性，对漫反射表面的物体效果很好。但对于玻璃等透明物体，投射的条纹会同时被前表面和后表面反射，还有部分光在两个表面之间多次反射后才进入相机。这样采集到的是多组条纹相互混叠的图像，由它求出的相位并不对应被测表面。

已有的透明物体重建方法可分为三类：基于反射的方法（例如用激光加热物体表面、再用红外相机成像，耗时较长）、追踪光线穿过物体路径的基于折射的方法，以及深度学习方法。本文保留标准的 PSP 系统，转而从条纹图像本身去除无用的光。

方法原理

作者将每幅采集到的条纹图建模为前表面条纹、后表面条纹、多次反射条纹与背景光之和，然后训练一个条件扩散模型，从混叠条纹图中只生成前表面条纹，再把生成的条纹图交给常规 PSP 处理。

1. 三条光路。 条纹经前表面反射（F）、经后表面一次反射（B）以及在前后表面之间多次反射（M）后进入相机。通常 F 和 B 的光强最强，M 最弱。
2. 需要拆开的叠加。 每幅采集到的条纹图为 S = F + B + M + A，其中 A 为背景光。只有 F（连同背景光）可用于重建前表面，因此训练网络 p，采样得到估计值 F* ∼ p(S; θ)。
3. 训练。 在物体表面喷涂显像剂（可得到干净的前表面条纹）后采集前表面条纹图 x₀，同时采集同一场景的混叠条纹图 y。前向扩散过程向 x₀ 逐步加入高斯噪声 e（T = 2600 步，β 从 0.0001 线性增加到 0.002）；带残差块的 U-Net 以含噪条纹图 x_t、步数 t 和条件 y 为输入，学习预测所加的噪声。
4. 采样。 从纯高斯噪声出发，训练好的网络以采集到的混叠条纹图 y 为条件，逐步估计并去除噪声，直到 t = 0，得到前表面条纹图 F*。
5. 常规 PSP。 用四步相移算法处理估计出的条纹图，求得包裹相位，进而重建前表面的三维形貌。

实验结果

实验系统采用 2048 × 1536 分辨率的相机、1280 × 1024 分辨率的 DLP 投影仪和四步相移算法。为获得干净的前表面条纹，作者尝试过仿真和在表面粘贴卡纸两种方式，但仿真图像与实拍图像差异明显，卡纸又难以贴合非平面物体，最终采用喷涂显像剂的方法构建数据集。每个物体使用 15,000 对图像训练、1500 对图像测试，物体的位置和姿态随机摆放。测试物体包括亚克力透明立方体（边长 25 mm）、玻璃透明半球（半径 20 mm）、亚克力半透明物体和玻璃局部透明物体。

对每个物体，作者将估计的前表面条纹图与喷涂显像剂后采集的条纹图在光强、包裹相位和重建形貌三个方面进行比较。两者光强并不严格一致，但估计的条纹图具有相同的特征，物体区域内的相位值也高度吻合。半透明物体中光线无法穿透，基于折射的方法无法适用；局部透明物体的透明部分和不透明部分需要不同的重建算法，大多数现有方法难以完整重建。本文方法则把非前表面来的光视为噪声，由扩散模型去除。

作者也指出了一个局限：由于生成的条纹图源自高斯噪声，会残留肉眼不可见的噪声，可能降低相位估计精度和三维重建质量。增加扩散步数可以缓解这一问题，但实验发现这会增加训练和采样的计算开销。