论文 / 2023 / Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction

Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction

深度学习驱动的锥形束 CT 与口内扫描网格三维多模态融合：面向临床应用的牙齿–牙槽骨重建

J Liu, J Hao, H Lin, Wei Pan, J Yang, Y Feng, G Wang, J Li, Z Jin, Z Zhao

Patterns (Cell Press), 4(9)

↓ PDF { } BibTeX DOI

一句话看懂锥形束 CT（CBCT）能看到牙根和牙槽骨，但牙冠呈现不佳；口内扫描能精确记录牙冠，却看不到龈下结构。DDMF（Deep Dental Multimodal Fusion）流程将两者自动融合为一个完整的牙冠–牙根–牙槽骨模型，每位患者只需 20–25 分钟，人工至少需要五小时。

问题背景

正畸治疗和种植手术需要在牙齿及其周围骨组织的三维模型上进行规划。这类模型的数据来自两种扫描，而每一种都只能看到一部分。锥形束 CT（CBCT）是一种 X 线扫描，能显示颌骨内完整的牙齿，包括牙冠和牙根。但 CBCT 的测量值最多可比实际值小 6.9%，具体取决于分辨率；而且由于牙釉质密度高，加之修复体、种植体和正畸矫治器的影响，CBCT 往往无法准确呈现咬合面。口内扫描仪（IOS）向牙列投射光线，以表面网格的形式记录数字印模。其测量值的收缩率可低至 0.9%，是三维数字化模态中精度最高的一种，也能准确记录咬合关系和牙列位置，但它只包含牙冠和牙龈，看不到龈下的任何结构。

将两者结合，才能得到临床所需的模型：精确的牙冠、位置正确的牙根，以及周围的牙槽骨。手工融合十分耗时。两种扫描都要先完成分割，而不同患者的解剖形态差异很大，使分割并不容易。CBCT 通常同时包含上下颌，且常处于牙齿相互接触的咬合状态，而口内扫描则分别记录上颌和下颌。即使借助交互式软件和半自动工具，经验丰富的专家处理一位患者也至少需要五小时，而全自动、可用于临床的方案此前尚未出现。

两个灰色的颌骨与牙列 CBCT 三维重建。左图为咬合状态，上下牙列相互接触；右图为轻微张口，上下牙列之间可见间隙。 — CBCT 扫描记录的是患者扫描时的咬合状态：(a) 闭口咬合，上颌与下颌之间存在接触；(b) 开口状态。牙齿相互接触时，上下两排牙连在一起，难以拆分上下颌，也就难以与分开记录的上、下颌口内扫描相匹配。论文图 5A。

方法原理

深度牙科多模态融合（Deep Dental Multimodal Fusion，DDMF）是一套全自动流程，包含三个模块：分割 CBCT、分割口内扫描、融合两者。融合模型的牙冠来自口内扫描，牙根和牙槽骨来自 CBCT。

分割 CBCT。 TSTNet 是基于 Swin Transformer 的网络，将每张二维 CBCT 切片的每个像素标为牙齿、牙槽骨或背景，再由分割结果重建出牙齿和牙槽骨的三维网格。训练时，每次扫描的 300–600 张切片中只需标注约 20 张。额外的训练分支“牙齿误差校准”（TEC）用于纠正牙齿与牙槽骨交界处易出错的像素；推理时该分支被移除，不增加推理时间。
分割口内扫描。 IOSNet 将口扫网格的每个面片标为牙龈或 32 颗牙齿之一，并按 FDI 牙位编号。两项新的训练损失有助于提升分割效果：质心损失使每颗牙的预测中心保持准确，避免把两颗牙识别为一颗（或把一颗识别为两颗）；边界损失则使牙–牙、牙–龈边界更加清晰。随后分离牙龈，得到带编号的牙冠。
在 CBCT 中分离上下颌。 点曲率特征定义为某一顶点的表面法向与其相邻顶点法向之间夹角的平均值，可标出牙齿相接处的边界。去除曲率最高的顶点后，各颗牙齿即被分开；再将去除的顶点合并回去，并把牙齿归入上颌和下颌。
配准。 上、下颌的口扫牙冠分别与对应的 CBCT 颌骨分两步对齐：先用基于 FPFH 特征的 RANSAC 做全局配准，得到粗略的初始对齐；再在三个尺度上做点到面 ICP 精细调整。
替换牙冠并融合。 删去 CBCT 中与口扫牙冠距离很近的牙冠点，以口扫的点取而代之，再经泊松重建得到一个完整网格。FDI 牙位编号来自口内扫描，因此无需在 CBCT 切片上做逐颗牙的实例级标注，融合模型中的每颗牙也都能被单独识别。

三栏流程图。第一步：CBCT 切片经 TSTNet 得到牙齿和牙槽骨预测。第二步：口扫网格经 IOSNet 得到着色的牙齿，并分离牙龈。第三步：重建网格，按曲率拆分，与口扫牙齿配准，替换牙冠，并展示融合结果。 — DDMF 流程：用 TSTNet 分割 CBCT（第一步），用 IOSNet 分割口内扫描（第二步），再通过基于曲率的分割、配准和牙冠替换完成多模态融合（第三步）。论文图 1。

左图为上下颌牙齿相互接触的 CBCT 模型，局部区域以方框标出；下方依次为曲率着色图、阈值处理后的局部和分割后的局部。右图为分离后的同一副牙列，上下颌沿虚线分开。 — 分离上下颌。在 CBCT 网格上计算点曲率，通过阈值去除高曲率顶点，分割出各颗牙齿，再合并并用 RANSAC 将其归入上颌和下颌。论文图 5C。

实验结果

研究使用了大规模真实临床数据：503 位同时拥有 CBCT 和口内扫描的患者，另有 28,559 例口内扫描，于 2018 年至 2021 年间采集自中国 25 个省份的医院和诊所。作为金标准的融合模型由人类专家组成的委员会制作，并已在临床实践中成功使用。各类牙齿的误差都很小且较为一致；第一、第二磨牙的误差略大，主要因为其体积较大。由于 CBCT 的分辨率在 0.125 到 0.5 mm 之间，一到两个像素的误差对许多临床应用而言是可以接受的，这一点经人类专家和临床适用性测试验证。在 20 个病例上，DDMF 的误差也低于单独用 CBCT 重建的结果（图 4C–E）。由于此前没有针对这一任务的系统性方案，论文未与其他融合方法比较。

两个分割模块均优于对比网络。在 5 折交叉验证中（每折 50 位测试患者），TSTNet 的 Dice 系数达到 93.99%，高于 UNet、UNet++、标准 Swin Transformer 及其他基线（表 1）。IOSNet（用 28,000 例扫描训练）在下颌扫描上的平均交并比（mIoU）为 93.70%，在上颌扫描上为 95.70%，分别比最强基线 DCNet 高 1.77 和 3.52 个百分点（表 2）。

两个病例，每例三列：仅用 CBCT（灰色）、DDMF 和金标准（不同牙齿以不同颜色显示）。各行依次为重建的牙列、放大的牙齿边界、带牙槽骨的牙列、放大的牙–骨区域和单颗牙。每列上方标有 ASSD 数值。 — 论文四个病例中的两个，每例比较仅用 CBCT 的重建、DDMF 融合结果和金标准，每列上方给出其与金标准的平均对称表面距离（ASSD）。第 (a)–(d) 行分别为牙列、放大的牙–牙边界、带牙槽骨的牙列以及放大的牙–骨区域。放大图显示，CBCT 重建中相邻牙齿粘连在一起，而融合结果与金标准几乎一致。第 (e) 行将随机选取的融合牙齿与金标准叠放，浅粉色区域表示极小的表面偏差。论文图 4A（病例 1 和 2）。

该框架已集成到辅助正畸治疗规划的临床软件中。作者也指出了其局限：上下颌分离和配准步骤在 6%–10% 的病例中可能失败，需要人工修正；对于极其复杂的病例，例如存在金属伪影或接受过根管治疗的患者，分割仍可能出错。该方法目前主要从算法角度进行了评估，作者呼吁开展严格的多中心临床试验。

引用

@article{liu2023deep,
  title={Deep learning-enabled 3D multimodal fusion of cone-beam CT and intraoral mesh scans for clinically applicable tooth-bone reconstruction},
  author={Liu, Jiaxiang and Hao, Jin and Lin, Hangzheng and Pan, Wei and Yang, Jianfei and Feng, Yang and Wang, Gaoang and Li, Jin and Jin, Zuolin and Zhao, Zhihe and others},
  journal={Patterns},
  volume={4},
  number={9},
  year={2023},
  publisher={Elsevier},
  doi={10.1016/j.patter.2023.100825}
}

类型

Article Journal

主题

Biomedical & Biometrics

期刊/会议

Patterns (Cell Press), 4(9)

年份

2023

DOI

10.1016/j.patter.2023.100825