Automated reconstruction of multiple objects with individual movement based on PSP

问题背景

相移轮廓术（PSP）向物体投射多幅带相移的正弦条纹图（通常至少三幅），并根据相机拍到的相位恢复物体形貌。由于需要采集多幅图像，采集期间物体必须保持静止。一旦物体运动，各幅条纹图之间不再对应，预先设计的相移量也被破坏，重建结果随之产生误差。

作者此前的工作用旋转矩阵和平移向量描述物体运动，并将这一信息引入重建模型，以此处理运动问题。该方法也能重建多个相互分离的物体，但要求它们的运动完全相同。而实际中更常见的是各物体运动各不相同；在重建多个各自运动的物体时，已有方法会引入误差。

方法原理

本方法为每个物体单独描述其运动：先找出各个物体，再在条纹图序列中逐一跟踪，分别计算其旋转和平移，最后结合各物体自身的运动信息求解相位。

1. 分离条纹与物体图像。 以红色投射条纹图，用彩色相机采集。红色分量包含条纹信息，用于求解相位；蓝色分量滤除了条纹，得到纯物体图像，用于跟踪和特征提取。
2. 识别物体。 在蓝色分量图像中，用 OTSU 自动阈值法将物体与背景分开。阈值分割可能把一个物体分成几块，因此再用膨胀运算将其重新合并，并由每个物体的轮廓得到包围框。
3. 用 KCF 跟踪各物体。 以每个包围框内的物体为模板，核相关滤波（KCF）跟踪算法在下一幅条纹图中找到其新的包围框，新包围框再作为后续图像的模板。
4. 估计各物体的运动。 SIFT 提取物体运动前后的特征点及其对应关系；利用这些点，通过奇异值分解（SVD）为每个物体求出旋转矩阵和平移向量。
5. 逐个物体重建。 结合各自的运动信息，从红色分量中以最小二乘法求解含运动信息的重建模型，得到每个物体的相位并完成重建，直到最后一个物体。

实验结果

实验系统采用彩色相机（Allied Vision Manta 504C，分辨率 2452 × 2056）和投影仪（Wintech DLP PRO 4500，分辨率 912 × 1140）。两个车模在参考平面上各自做旋转和平移运动，采用红色条纹的 3 步 PSP 进行测量，并以静止物体的 6 步 PSP 重建结果为参考。传统 PSP 的结果存在明显的运动误差，在物体边缘等高度突变处尤为严重；本文方法则消除了这些误差。此外，只需在识别物体后选定感兴趣的对象，该方法也可以只重建指定物体而忽略其他物体。

作者也说明了方法的适用条件：只考虑刚体的二维运动；物体与背景之间的灰度差异足够大时，物体识别效果更好，且由于膨胀会扩大物体区域，各物体之间需保持一定距离；条纹颜色应与物体颜色有较大差异，环境光较弱时应在投射图案中加入蓝色背景光；对运动速度没有限制，但采集速度需足够快，以获得清晰图像。