Kinematic target surface sensing based on improved deep optical flow tracking

问题背景

相移轮廓术（PSP）用一台投影仪和一台相机测量三维形貌：投影仪向物体投射至少三幅相移正弦条纹，相机从另一角度记录条纹因物体高度而产生的变形，再由这组图像解算出的相位得到物体表面。由于联合使用多幅图像，环境光和表面反射率的影响得以消除，使 PSP 具有高精度和高鲁棒性。然而，PSP 要求物体在采集条纹图像期间保持静止：一旦物体在两次采集之间发生运动，各幅图像便不再对应，相位计算就会引入误差。

如果已知物体的运动（以旋转矩阵和平移向量表示），就可以把运动信息纳入相位计算，从而消除误差。难点在于如何从布满条纹的图像中测得这一运动。早期工作在物体表面预先粘贴标记点进行跟踪，后续工作改用 SIFT 特征。周期性条纹对 SIFT 而言相当于“噪声”，会导致误匹配，因此基于 SIFT 的方法将条纹投射在彩色相机的某一颜色通道中，并在提取特征前滤除该通道；这需要彩色设备，其成本高于单色相机，帧率也更低。另有方法直接在条纹图像上跟踪物体，但仅限于二维平移运动，无法跟踪发生旋转的物体。

方法原理

本方法直接在条纹图像上跟踪物体，只需一台价格低廉的单色相机，并能处理包括旋转在内的任意二维运动。改进的 RAFT 光流网络估计物体上每个像素的位移，筛选步骤只保留精确的估计，所得运动再代入相位计算。

1. 运动破坏了 PSP 的前提。 条纹保持固定，而物体在两次采集之间旋转和平移，因此同一像素在各幅图像中对应的是表面的不同位置。论文在每幅条纹图像中，于运动后的坐标处计算参考相位，以此描述这一过程。
2. 以 NCC 代替点积计算相关。 特征编码器将两幅相邻的条纹图像映射为 1/8 分辨率的特征图，上下文编码器则只处理第一幅图像。原始 RAFT 以点积比较所有特征对；而在条纹照明下，特征点穿过条纹时其周围的光强分布会随之改变。改进网络采用归一化互相关（NCC），对局部光照变化进行归一化，以此构建四维相关体和四层相关金字塔。
3. 迭代更新光流。 从零光流出发，基于 GRU 的更新算子查询相关金字塔，经多次迭代逐步修正光流。1/8 分辨率的结果再上采样至全分辨率，得到每个像素的位移。
4. 只保留精确的点。 RANSAC 先剔除明显的离群点；随后拟合旋转矩阵和平移向量，用它们变换各点，若变换后的位置与跟踪位置之差超过阈值（如 0.5 像素），则舍弃该点。反复进行拟合与检验，直至所有剩余点都满足阈值。
5. 结合运动信息重建。 最终的旋转矩阵和平移向量描述了物体运动，据此计算运动物体的正确相位，进而得到其表面。

实验结果

实验系统采用分辨率为 1280 × 720 的投影仪和同分辨率的相机，使用四步相移。训练数据为 2000 对运动前后的条纹图像，按 8:1:1 划分为训练集、验证集和测试集。标签来自同一位置采集的无条纹图像：在这些图像上用 SIFT 求得旋转和平移，进而得到每个像素的运动信息。训练损失在 900 个 epoch 后收敛至 0.25 像素。若估计位移与基于 SIFT 的真值相差不足半个像素即计为正确点，则改进网络在条纹图像上得到的正确点多于原始 RAFT（图 10）。

同一训练好的网络还被用于另外四个物体（图 13），均在运动状态下完成了重建。对每个物体，本方法的均方根误差都略高于基于 SIFT 的方法，作者认为二者性能相当，而本方法不再需要彩色设备。该方法适用于平面内的二维运动；对复杂三维运动物体的表面重建留待后续工作。