Deep diffusion model-based dual structured light for large-format complex surface imaging

问题背景

相移结构光通过投射正弦条纹、从相机图像中解算相位来测量三维形貌，精度很高。但单个投影仪–相机单元只能从一个角度观察物体。面对大幅面或形状复杂的表面，凸起部分会遮挡投射光或相机视线，留下缺少相位信息的阴影区和盲区，测量范围也因此受限。从多个视角分别测量，或把物体放在转台上旋转，虽能补齐缺失部分，但耗时较长，而且无法用于不便移动的物体。

再增加一个投影仪–相机测头，就能覆盖第一个测头看不到的区域，但前提是两个测头能在视场重叠的情况下同时测量。两台投影仪同时工作时，每台相机在重叠区内拍到的是两幅条纹图案的叠加，即混叠条纹，会导致重建错误。已有的混叠条纹分离方法需要额外硬件（彩色滤光片、专门设计的光路）、颜色或方向复用，或严格的投射顺序，还有一些方法干脆放弃了同步测量。

方法原理

该系统由两个同步的投影仪–相机测头组成，二者视场局部重叠，并同时工作。它不靠硬件来避免混叠，而是用软件消除混叠：条件扩散模型学习从每幅混叠图像中恢复出单台投影仪的干净条纹图。此后，每个测头都按常规结构光单元工作，再利用重叠区融合两者的结果。

1. 两个同步测头。 两台投影仪和两台相机通过同步控制线连接，两个测头同时投射、同时采集。每个测头测量表面的一部分，二者视场局部重叠。
2. 混叠即叠加。 在重叠区内，相机像素对两台投影仪的光进行积分，其强度等于两幅投射图案贡献之和。记 u 为像素，l_n 为投影仪 n 的图案，则 I(u) = I(u; l₁) + I(u; l₂)（假设背景光不影响相位估计）。因此单个测头的图案等于实测强度减去另一测头的图案，即 I(u; l_n) = I(u) − I(u; l_3−n)，作者将其视为一个去噪问题，另一测头的图案即为噪声。
3. 条件扩散恢复干净条纹。 在条件去噪扩散框架下训练一个带自注意力的 U-Net。训练样本对直接由系统采集：只开一个测头得到干净图案 x₀，两个测头同时开启得到混叠图案 y，后者作为条件输入。推理时，模型从高斯噪声出发，在 y 的引导下逐步去噪，最终得到去混叠后的条纹图。
4. 逐测头求相位与三维坐标。 得到干净条纹后，用四步相移算法求包裹相位，用多频外差法展开得到绝对相位，再结合各测头标定好的投影仪和相机参数，经三角测量得到局部三维点云。
5. ICP 融合。 重叠区提供了对应点，迭代最近点（ICP）算法据此估计旋转和平移，把两片局部点云合并为完整表面。

实验结果

样机采用两台 TJ20U2 投影仪和两台分辨率为 3072 × 2048 的 CMOS 相机。条纹周期取 100、110、120 和 130，每个周期四步相移、步长 0.5π，并改变初始相位，共得到 4043 个训练样本和 1583 个测试样本，尺寸均为 512 × 512 像素；模型的扩散步数 T = 4000，训练 800 轮。不做去混叠时，条纹混叠给两个测头的点云及融合结果都带来了显著误差；使用扩散模型后，物体被成功重建。作为对比，此前一种基于导数的混叠恢复方法（用于同样的混叠条纹）会使条纹失真（明显变密并出现局部强度放大），其重建点云噪声大，分层伪影明显。在一个为突出遮挡效应而选用的棱柱上，点云融合扩大了重建范围，并填补了单个测头留下的稀疏区域。

作者把实验范围限定为视场局部重叠的真正同步双测头测量。其他消除混叠的方法依赖特定的硬件或投射方案，如颜色或方向复用、光路分离或严格控制的投射时序，不改动系统配置就无法在该系统上运行。因此，实验以单投影仪无混叠测量结果为参考，以直接对混叠条纹做常规相移解算的结果为基线。