30 3次元イメージング概論

これまでの29章のすべての内容は、同一の前提の上に成り立っている：それは2次元画像である。グレースケール画像は「どこが暗く、どこが明るいか」を示すことができ、本書の前半7つのパートの知識を活用すれば、0.02画素の位置決め、5 μmの幅の計測、面積比0.1%の欠陥の検出といった形で、この情報を限界まで引き出すことがすでに可能である。しかし、2次元画像が原理的に対処できない問題の種類が存在する：カメラによる撮像は1回の投影（projection）であり、3次元の世界が光軸方向に沿って平面に押しつぶされた瞬間、高さ情報は永久に失われてしまう。仮付けされたはんだボールと健全なはんだボールは、真上から見ればほぼ同一の輝点として見える；スマートフォンのミドルフレームにおける2つの金属部品の継ぎ目の段差の有無は、上面視では完全に同一の線として観測される。

産業界における3次元計測の要求事項は非常に具体的である：コネクタピンの共面度（coplanarity）——数十本のピンの先端が同一平面内に存在するかどうかであり、0.05 mmのずれでもランドに挿入できなくなる；組立部品の段差（step height）と隙間（gap）；点着接着剤とはんだペーストの体積（volume）——接着剤の量は接着強度を直接決定するが、体積は面積に高さを乗じた値であり、2次元では面積しか得られない；傷と打痕の深さ——同じ傷でも深さ2 μmであれば出荷可能だが、20 μmであれば廃棄しなければならないにもかかわらず、グレースケール画像では両者は同じように暗く見えることがある。これらの判定に共通する点は、計測対象量そのものが高さであることであり、いかなる2次元手法も間接的に推測することしかできず、推測を誤った代償は生産ラインが負うことになる。

そこで本書は第3の次元に踏み込む。Part VIIIは全7章で構成される：本章は全体の地図であり、以降の6章ではそれぞれ1種類の3次元イメージング技術——ステレオビジョン、構造化光、レーザー三角測量、照度差ステレオ、位相偏向法、焦点法——を扱う。これら6つの技術に優劣は存在せず、適合性のみが存在する：同一の高さ計測要求であっても、対象物の表面材質が変われば最適な解決策は完全に異なる可能性がある。本章の課題は「どのように選択するか」を明確にすることである：まず3次元データの用語を統一し、次に各技術の物理的な直感的理解を与え、最後に選択対照表と実際的な決定経路を提示する。

なお、本章は理論章（技術選定の概論）であり、独立した実験プロジェクトや図版は付属しない；各技術の原理実験、実データ、実装コードはそれぞれの専門章で記載する。本章の中心的な成果物はセクション 30.3 の選択対照表である。

30.1 3次元データの形態

技術を議論する前に、まず「3次元データがどのようなものか」を統一する。産業用3次元ビジョンには主に3つの表現形式があり、それぞれが保持する情報量と適用可能なアルゴリズムは異なる。

深度マップ（depth map）は距離画像（range image）とも呼ばれ、2次元的な思考に最も近い表現である：依然として規則的な格子状の「画像」であるが、各画素にはグレースケール値ではなく、その位置における高さまたは距離の値（通常は32ビット浮動小数点、単位mm）が格納される。前章までのすべてのツール——フィルタリング、閾値処理、Blob、キャリパー——はほぼそのまま流用でき、「グレースケール値の差」が「高さの差」に置き換わるだけである。この表現は2.5Dとも呼ばれる：各\((x, y)\)位置には1つの高さ値しか存在せず、「ある視点から見た表面」を表現するに過ぎず、完全な3次元の実体ではない——コップの内壁、部品の側面と底面は、単一視点の深度マップには一切存在しない。

点群（point cloud）は順序のない3次元座標点の集合\(\{(x_i, y_i, z_i)\}\)であり、法線ベクトルや色などの属性を付加することができる。点群は規則的な格子に依存せず、任意の視点、任意のトポロジーの表面を表現でき、複数視点のデータを統合することで真の3次元モデルに近似できる。代償として、「隣接する点は隣の画素にある」という暗黙の構造が失われ、最近傍点を探索するためには空間インデックス（kd木）が必要となり、アルゴリズムの計算コストは全体的に上昇する。メッシュ（mesh）は点群に接続関係を補完したものであり、三角パッチによって表面のトポロジーを記述する、CAD比較と可視化の共通言語である。

これら3つは相互に変換可能である：深度マップをキャリブレーションパラメータに従って画素ごとに逆投影すると順序付き点群が得られる；点群から表面再構成を行うとメッシュが得られる；メッシュをある方向に沿って再サンプリングすると深度マップに戻る。産業用計測の主流の経路は「センサが深度マップまたは順序付き点群を出力する → 必要に応じて順序なし点群に変換して位置合わせと比較を行う」である。本章以降の6つの技術専門章の出力は基本的に深度マップである；点群のデータ構造と演算はチャプター 37 から系統的に展開する。

「2.5Dか真の3Dか」は、解決策を選定する際の最初の明確化すべき質問である。ほとんどのインライン検査（共面度、段差、体積）は単一視点の2.5Dで十分である；完全な輪郭が必要な場合（例えばリバースエンジニアリングや複雑な曲面の比較）に限り、複数視点のステッチングが必要となり、コストとタクトタイムは別途見積もる必要がある。要求を真の3Dと誤って見積もると、予算が数倍に跳ね上がる可能性がある。

30.2 6つの技術の物理原理

6つの技術は多種多様に見えるが、根底の論理はたった1つの文に集約される：高さそのものを直接撮像することはできないが、既知の幾何学的または光学的な拘束条件を用いて、高さを何らかの計測可能な画像量——視差、位相、変位、明暗、傾き、鮮明度——に変換し、そこから逆に高さを求めることができる。この「画像量」が何であるかを1つずつ確認しよう。

ステレオビジョン（stereo vision、チャプター 31）：画像量は視差（disparity）である。2台のカメラを基線（baseline）だけ離して同時に撮影し、同一の空間点について左右の画像における列座標の差を求めると、この差は深度に反比例する——近くの点は大きく「移動」し、遠くの点は小さく「移動」する、人間の目が遠近を判断するのと同じ機構である。これは受動的（passive）技術であり、光を投射しないため構造が最も単純である；ただし「2つの画像中の同一の点を対応付ける」ためには画像内容自身のマッチングに依存するため、表面のテクスチャに依存する——滑らかで均一な表面（白壁、研磨された金属）では対応点が見つからず、深度マップには広範な穴が生じる。

構造化光（structured light、チャプター 32）：画像量は位相（phase）である。受動的なマッチングがテクスチャの不足を嫌うのであれば、能動的に表面にテクスチャを「印刷」すればよい——プロジェクタから正弦波縞を対象物に投射し、カメラを別の角度から観測する：表面に高さの起伏があれば縞が歪み、その歪み量は縞の位相に符号化される。位相シフト法を用いれば各画素で独立に位相を算出でき、空間分解能が高く面内を単一撮像で計測できるため、拡散反射表面の全面計測の主力となっている。

レーザー三角測量（laser triangulation、チャプター 33）：画像量はレーザーラインの画素変位である。既知の角度でラインレーザーを表面に照射し、カメラを別の角度からこの輝線を観測する：表面が高いほど、輝線の画像中の位置のずれが大きくなる——三角形の2つの角と1つの辺が既知であるため、高さが定まる。1回の撮像では1本の高さプロファイルしか得られず、完全な表面は対象物またはセンサの走査運動によって1本ずつステッチングして得られるため、コンベヤやロボットアームのシナリオに天然的に適しており、産業用インライン3次元検査で最も多く導入されている解決策である。

照度差ステレオ（photometric stereo、チャプター 34）：画像量は明暗（shading）である。カメラと対象物は固定したまま、複数の既知の方向から順に光を照射して複数の画像を撮影する：光源に向いている面は明るく、光源から離れた面は暗くなり、複数の明暗画像を連立させることで各画素の表面法線（surface normal）を求めることができる。これが直接計測するのは高さではなく法線（傾き）であることに注意されたい；絶対高さは積分によって復元する必要があり、誤差が累積する。ただし微視的な起伏に極めて敏感である——傷、打痕、浮き彫り文字といった「高さの変化は微小だが傾きの変化が急激な」特徴は、法線マップでは微細な部分まで明瞭に現れる。

位相計測偏向法（phase measuring deflectometry、PMD、チャプター 35）：画像量は反射縞の位相歪みであり、これは表面の傾き（slope）に対応する。前述の技術はすべて表面が拡散反射であることを前提としており、鏡面（スマートフォンのガラス、研磨された金属、自動車の塗装）では一斉に機能しなくなる——投射された光は反射の法則に従って跳ね返り、カメラには表面自身ではなく環境の鏡像が写ることになる。PMDはこの現象を逆手にとって利用する：画面に表示した縞を表面で鏡面反射させてカメラに入射させ、表面にわずかな傾きの変化があれば反射像中の縞が明瞭に歪む——鏡面が「完璧」であるほど、計測はかえって高感度になる。これは鏡面および鏡面に近い表面の専用の解決策である。

焦点変動法と共焦点法（focus variation / confocal、チャプター 36）：画像量は鮮明度（sharpness）である。レンズの被写界深度は有限であり、物面が合焦面上に位置するときに限り鮮明になる。光軸方向に沿って層ごとに走査して画像スタックを取得し、各画素について「最も鮮明になる」層を求め、その層のZ位置をその点の高さとする。共焦点法ではピンホールを用いて物理的に非合焦光を排除するため、軸方向分解能はサブミクロンに達する。この系統の解決策は（高さ範囲全体を走査する必要があるため）速度が遅く視野は狭いが、精度は6つの技術中で最高であり、主に顕微鏡スケールの粗さや微細構造の計測を対象としている。

「画像量」によって分類することで、各技術の失効モードを事前に予測することもできる：視差に依存するものはテクスチャの不足を嫌い、位相に依存するものは反射光と相互反射を嫌い、変位に依存するものはオクルージョンを嫌い、明暗に依存するものは非ランバート表面を嫌い、傾きに依存するものは鏡面しか認識せず、鮮明度に依存するものは透明性と速度を嫌う。選定の最初の除外段階では、多くの場合失効モードを対象物の表面と照合するだけで済む。

30.3 選定の決定

選定の中心的な次元は4つある。表面の種類：拡散反射、鏡面、透明のいずれか？これが最も強い拘束条件であり、半分の候補を即座に除外する。計測範囲と分解能：視野はミリメートルスケールかメートルスケールか？高さ分解能はミクロンかサブミクロンか？両者はおおよそ比例関係にあり——視野が大きいほど、1点あたりの精度は粗くなる。速度と運動形態：単一フレーム撮像、対象物の走査が必要、または定位置での複数フレーム撮像か？これはシステムがタクトタイムに追いつけるか、移動中の対象物を計測できるかを決定する。環境光耐性：能動的な投光を行う方式は信号対雑音比が確保されるが、受動的な技術は工場内の迷光の下では特に注意を要する。

6つの技術の対照は以下の通りである（数値は代表的な産業用製品の桁であり、具体的な機種によって異なる）：

表 30.1: 6つの3次元イメージング技術の選定対照

次元	ステレオビジョン	構造化光	レーザー三角測量	照度差ステレオ	PMD	焦点/共焦点
計測される画像量	視差	位相	ライン変位	明暗→法線	反射位相→傾き	鮮明度
能動/受動	受動	能動	能動	能動	能動	能動
拡散反射表面	テクスチャが必要	優	優	優	不可	優
鏡面表面	不可	不良	不良	不良	専門領域	可
透明表面	不可	不良	不良	不可	可（表面）	優（共焦点）
代表的な視野	0.1–10 m	0.05–1 m	0.01–1 m（幅）× 走査長	2D視野と同じ	0.05–0.5 m	0.1–5 mm
高さ分解能	mmオーダー	5–50 μm	1–20 μm	法線感度/高低差	傾き μradオーダー	0.01–1 μm
撮像形態	単一フレーム	複数フレーム（数回の縞投射）	ラインごとの走査	複数フレーム（光源切り替え）	複数フレーム（画面縞表示）	Z方向走査
移動対象物の計測	可	難	天然的に適する	難	難	不可
環境光耐性	弱	中	強（狭帯域フィルタ）	中	中	強
代表的な用途	物流体積計測、ロボットガイダンス	はんだペースト/接着剤、外観全数検査	段差、バリ、溶接ビード	傷、浮き彫り文字	ガラス/自動車塗装面形状	粗さ、微細構造

いくつかの代表的なシナリオを表に沿って確認しよう。スマートフォンミドルフレームの段差（金属の高反射、0.01 mmオーダー、インラインタクト）：表面の条件からステレオビジョンと構造化光が除外され、候補はPMDとレーザー三角測量となる——前者は傾きを計測するため段差のような階段状の急変に対して感度が高く、後者も遮光と角度の最適化を組み合わせることで多くの場合実用化可能であり、両者はしばしば試作で競合する。PCBのはんだペースト検査（拡散反射性のペースト、面積+高さ+体積が必要、タクトが厳しい）：構造化光による面内単一撮像で基板全体をカバーできるため、SPI装置の主流の解決策となっている；走査式のレーザー三角測量も高精度な場面では同等の地位にある。電池極板のバリ（ウェブの連続走行、バリの高さは数十ミクロン）：対象物自身が移動しているため、ラインごとに走査するレーザー三角測量が天然的な解決策となる。研磨された金属の傷（鏡面、ミクロンオーダーの深さ、有無だけでなく深さを判定する必要がある）：PMDは傾きの急変を検出し、照度差ステレオは法線の急変を検出するため、どちらか一方または両者の組み合わせが選択され、その他の技術では基本的に対処できない。

このように、選定は「最も精度が高いものを選ぶ」ことではなく、表面の種類で最初の除外を行い、精度と視野で2番目の除外を行い、タクトと運動形態で3番目の除外を行った後、残った候補で試作を行うものである。

30.4 共通のエンジニアリング要素

6つの技術にはそれぞれ専門章が存在するが、すべての3次元システムに共通する事柄がいくつかあるため、ここで枠組みを先に確立しておく。

キャリブレーション（calibration）。各技術が計測する生の量はいずれも画像量——視差、位相、画素変位——であり、これをミリメートル単位の物理的な高さに換算するのはいずれもキャリブレーションによる：ステレオビジョンでは2台のカメラの内部パラメータと外部パラメータをキャリブレーションする必要があり、レーザー三角測量では光平面とカメラの位置姿勢をキャリブレーションする必要があり、構造化光ではプロジェクタをキャリブレーションする必要があり、PMDでは画面をキャリブレーションする必要がある。チャプター 5 で確立したカメラモデルとキャリブレーションの方法論は、Part VIII全体の基礎である；言い換えれば、3次元システムの精度の上限はキャリブレーション時にすでに決定されている。

オクルージョンとデータ欠落。投射方向と観測方向が異なるすべての技術（三角法ファミリー全体）には、「投射されるが観測されない、または観測されるが投射されない」死角が存在し、深度マップ上では穴として現れる；急峻な壁、深い穴、反射による輝点もすべて無効なデータを生み出す。穴を補間するかどうか、どのように補間するか（保守的に無効としてマークするか、近傍から補間するか）は、後続の計測の信頼性に影響するエンジニアリング上の決定であり、システムによる処理方法はチャプター 38 に譲る。単一視点では不十分な場合の複数視点ステッチング——異なる視点の点群を同一の座標系に統合すること——はチャプター 39 の位置合わせアルゴリズムが担う。

精度の言語。チャプター 20 では再現性（repeatability）と正確度（accuracy）を区別した：前者は同一の対象物を繰り返し計測した際のばらつきであり、後者は計測値の平均が真値からどれだけずれているかの度合いである。この方法論はそのまま3次元にも適用される——3次元センサを評価するには、標準ゲージブロックまたは段差ゲージを繰り返し計測する：再現性は高さ雑音に対応し（多くの場合Z方向のσで表される）、正確度はトレーサブルな標準器によって検証される。ベンダーが公称する「分解能」は多くの場合理想条件下での最小可検出量であり、ユーザの現場でユーザの対象物を用いて達成できる再現性とは別のものである——これがまさに以下の事例における「試作による検証」のすべての理由である。

産業事例：段差計測の選定プロセス

ある構造部品工場では、組立後の金属製ミドルフレームに対して0.02 mmの段差良否判定を行う必要があり、インテグレータによる選定は3ラウンドにわたって実施された。第1ラウンドではコスト重視でステレオビジョンを選定した。最も安価な方案であったが、ミドルフレームの表面が均一でテクスチャがなかったため、広範囲でステレオマッチングに失敗し、深度図は重要な継ぎ目部分でまさしく空洞となり、即時に脱落した。第2ラウンドでは構造化光に切り替えた。拡散反射領域のデータは良好であったが、継ぎ目付近はまさしく高反射の面取り部であったため、反射部分の位相にはノイズが広範囲に発生し、0.02 mmの判定基準が0.05 mmのノイズに埋もれてしまった。第3ラウンドではレーザ三角測量を試した。短波長の狭帯域レーザとフィルタを組み合わせて選定し、入射角を調整して正反射の主ローブを回避し、さらに遮光フードを追加して工場の天井照明を遮断した。段差ゲージによる実測でZ方向の繰り返し精度が3 μmとなり、十分な余裕が得られたため、方案が採用された。振り返りの際にプロジェクトマネージャがまとめた点は以下の通りである：選定は仕様表に対して点数を付けるのではなく、「表面 → 精度 → タクトタイム」に沿って1つずつ除外していく作業である；さらに、試作検証は常に購入より先行する——最初の2ラウンドの仕様表はいずれも「要求を満たしていた」のである。

30.5 まとめ

2D画像は3次元世界の投影であり、高さ情報は原理的に失われる。平面度、段差、体積、傷の深さといった「測定量自体が高さである」タスクでは、3次元撮像を使用する必要がある。
3次元データには深度図（range image、2.5D、1画素あたり1つの高さを持つ）、点群、メッシュの3つの形態があり、相互に変換可能である。多くのインライン検査では単一視点の2.5Dで十分であるが、真の3Dには多視点スティッチングが必要となり、コストは別途計上される。
6つの手法は共通の論理を持つ：既知の幾何学的または光学的拘束を用いて高さを測定可能な画像量に変換する——視差（ステレオ）、位相（構造化光）、線変位（レーザ三角測量）、明暗→法線（光度ステレオ）、反射位相→勾配（PMD）、鮮明度（フォーカス法）；この画像量がそれぞれの失敗モードも決定する。
選定は「表面の種類 → 精度と視野 → タクトタイムと運動形態」の3つの切り口で除外していく（本節の選定対照表を参照）：拡散反射の全面検査には構造化光、インラインスキャンにはレーザ三角測量、鏡面にはPMD、微細形状には光度ステレオ、顕微鏡レベルの精度には共焦点、大規模シーンで低コストなものにはステレオを選択する。候補方案は必ず試作検証を行ってから購入する必要がある。
すべての3次元システムには3つの共通事項がある：キャリブレーションが精度の上限を決定し（チャプター 5）、オクルージョンとデータ欠落には明確な処理戦略が必要であり（チャプター 38、チャプター 39）、精度評価は繰り返し精度/正確度の基準に従う（チャプター 20）。

次の6章では表の順序に沿って1つずつ解説する：チャプター 31 ではエピポーラ幾何とステレオマッチング、チャプター 32 では位相シフトとアンラッピング、チャプター 33 では光平面キャリブレーションとプロファイルスティッチング、チャプター 34 では法線の求解と積分、チャプター 35 では鏡面縞反射、チャプター 36 では鮮明度評価とフォーカススタックを扱う。3次元撮像の体系的な解説については、Stegerらの著作(Steger, Ulrich, と Wiedemann 2018)の3次元撮像と再構成の章をさらに参照されたい。Szeliskiのコンピュータビジョンの教科書(Szeliski 2022)では、多視点幾何と深度推定の観点から、受動的および能動的3次元手法の統一的な視点が示されている。