三維傳感技術(shù)從感知方式上分類(lèi)可以分為接觸式測量和非接觸式測量。
接觸式測量主要依靠標定 的被動(dòng)機械臂直接接觸物體表面，逐點(diǎn)對物體輪廓數據進(jìn)行釆集，對其形態(tài)信息進(jìn)行三維測量。這種方法的優(yōu)點(diǎn)是測量精度高，可達到微米級別。但是其缺點(diǎn)也包括了測量效率低，不適合形態(tài)復雜物體測量，對測量環(huán)境要求較高等。
非接觸式測量主要指依靠光、 聲、電磁學(xué)等方式接觸物體表面以獲取物體三維信息的方法。而其中基于光學(xué)的三維測量技術(shù)是目前最典型也是應用最廣泛的三維傳感技術(shù)。如圖 1所示， 典型的光學(xué)三維傳感技術(shù)主要包括光度立體視覺(jué)、 雙 (多) 目立體視覺(jué)、飛行時(shí)間法、激光線(xiàn)掃法、散焦恢復形狀法、結構光投影法等，而結構光投影又包括條紋投影與散斑投影法等。
1、光度立體視覺(jué)法
光度立體視覺(jué)技術(shù)最早由 Woodham提出，其假設了一個(gè)已知的重構函數，即理想的朗伯體反射模型。采用一個(gè)相機和幾個(gè)發(fā)光強度相同的光源，保持相機和拍攝物體靜止，通過(guò)改變光源方向，同時(shí)拍攝 物體在不同光源照射條件下的一組圖像，然后根據這 些圖像計算出物體的表面法向，再由法向求解出物體 表面三維形狀，圖 2 給出了光度立體法對斯坦福兔的 三維測量結果。隨后一系列方法被提出以解決光度立體法模型、對高光物體測量及標定等問(wèn)題。光度立體法的設備較簡(jiǎn)單，但對環(huán)境要求嚴格，并需要待 測物表面為嚴格平滑的漫反射朗伯體，對于具有陡變或者反射特性較為復雜的物體難以適用。
圖 2 光度立體法對斯坦福兔子的測量結果。(a) 斯坦福兔子模型; (b) 法線(xiàn)圖; (c) 重建圖
2、(被動(dòng)) 立體視覺(jué)法
立體視覺(jué)是一種模擬人類(lèi)視覺(jué)原理的被動(dòng)深度感知方法。測量系統基于三角測距原理，用兩個(gè)或多個(gè)相機從不同角度獲取同一場(chǎng)景的多幅圖像，通過(guò)對同一物點(diǎn)在各幅圖像上檢測和匹配，根據立體視差進(jìn)行測距，得到物體該點(diǎn)的深度信息。其原理如圖 3 所示。立體視覺(jué)測量系統硬件結構簡(jiǎn)單，易實(shí)現。其主要難點(diǎn)在于立體匹配，實(shí)際應用中由于遮擋或陰影的影響，可能會(huì )產(chǎn)生視覺(jué)信息不足的問(wèn)題，導致誤匹配。另外，對于無(wú)明顯表面特征的物體，也難以從多個(gè)視角中找到對應點(diǎn)，因而無(wú)法進(jìn)行準確的三維重建。但值得提及的是，立體視覺(jué)法的基本三維重建原理和后面所介紹的結構光投影法是一致的。
圖 3 立體視覺(jué)法示意圖
3、飛行時(shí)間法 (ToF)ToF 技術(shù)通過(guò)記錄光束傳播時(shí)間來(lái)計算被測物體表面的深度距離。其原理如圖 4所示，系統發(fā)射裝置發(fā)射脈沖信號，經(jīng)被測物體反射后被探測器接收，通過(guò)光信號從發(fā)出到接收的時(shí)間與光速便可以計算出深度值。該方法可避免陰影和遮擋帶來(lái)的問(wèn)題，但由于設備裝置的限制，測量精度一般在毫米級。若想達到更高的精度，就需要更加復雜、昂貴的設備。雖然許多學(xué)者嘗試將飛行時(shí)間法與多視幾何相結合來(lái)提高測量空間分辨率與測量精度，但與高精度測量方法相比，飛行時(shí)間法還存在一定的差距。
圖 4 飛行時(shí)間法原理圖
4、激光線(xiàn)掃法
激光線(xiàn)掃法的原理如圖 5 所示，它是一種最簡(jiǎn)單的結構光三維測量技術(shù)。該技術(shù)利用線(xiàn)激光器投射一維線(xiàn)激光到物體表面，圖像采集裝置采集到物體表面變形的線(xiàn)激光，然后根據三角測量原理得到物體表面相應位置的三維信息。線(xiàn)激光掃描方法的優(yōu)點(diǎn)是 其數據采集不依賴(lài)外部光照環(huán)境，對目標場(chǎng)景要求低，操作簡(jiǎn)單直觀(guān)，自動(dòng)化程度高。但由于激光掃描儀本身技術(shù)的限制，它也存在以下不足：掃描速度較慢，激光掃描儀造價(jià)高；其最高精度和最大掃描距離是固定的，無(wú)法像攝影測量那樣通過(guò)方案設計 來(lái)得到提高;無(wú)法獲取高質(zhì)量紋理數據等。寬泛意義上來(lái)說(shuō)，激光線(xiàn)掃法其實(shí)是結構光投影法的一種極端特例。但由于投影圖案就是一條直線(xiàn)，所以測量效率要比全場(chǎng)結構光技術(shù)低得多。
圖 5 激光線(xiàn)掃法原理圖
5、散焦恢復形狀法
散焦恢復形狀法 (Shape-from-defocus, SfD) 的原理如圖 6 所示，散焦恢復形狀是通過(guò)處于不同深度方向物體在圖像中離焦的程度來(lái)恢復物體的深度值，測量過(guò)程中需要移動(dòng)被測物或是相機，拍攝至少兩張不同聚焦程度的圖像。1995年，哥倫比亞大學(xué)的Nayer首次實(shí)現基于離焦投影恢復的三維面型測量法，其向被測物體投射設計好的圖案，經(jīng)被測物體反射后，通過(guò)分束棱鏡將光線(xiàn)分離，由兩個(gè)相機在同一個(gè)方向分別采集，由于兩幅圖像具有不同的離焦信息，因此可以計算出相機圖像中每個(gè)像素的深度值， 如圖 7 所示。測量過(guò)程中，投影與采集方向幾乎一 致，因此測量時(shí)很少會(huì )受到遮擋與陰影的影響，并且計算過(guò)程較為簡(jiǎn)單，在不依賴(lài)于高性能硬件條件下便可以實(shí)現實(shí)時(shí)動(dòng)態(tài)三維面形測量。1998 年，Nayer 等 人在不使用主動(dòng)光源的情況下，實(shí)現了具有紋理表面物體的三維測量。然而，該方法的深度測量精度還有待進(jìn)一步提升。
圖 6 散焦恢復形狀法測量原理圖
圖 7 散焦恢復形狀法測量結果
6、結構光投影法
結構光投影法是一種非常流行的非接觸式三維形貌測量技術(shù)，其具有硬件配置簡(jiǎn)單、測量精度高、 點(diǎn)密度高、速度快、成本低等優(yōu)點(diǎn)，已在工業(yè)和科學(xué)研究中得到廣泛應用。從本質(zhì)上講，結構光投影法可以看作是立體視覺(jué)法的一種改進(jìn)形式，其通過(guò)將立體視覺(jué)中一個(gè)攝像機替換成光源發(fā)生器 (如投影儀) 而 實(shí)現，原理如圖 8 所示。光源向被測物體投影按一定規則和模式編碼的圖像，編碼圖案受到物體表面形狀的調制而產(chǎn)生形變。帶有形變的結構光被另外位置的相機拍攝到，通過(guò)相機與投影光源之間的位置關(guān)系和結構光形變的程度可以確定出物體的三維形貌。
相比于立體視覺(jué)法，其最大優(yōu)點(diǎn)在于投影儀將結構光圖像投射到物體上，由于物體表面被編碼圖案所覆蓋，可以很容易地克服立體視覺(jué)中的立體匹配問(wèn)題。此外求解物體初相位時(shí)是點(diǎn)對點(diǎn)的運算，即在原理上某點(diǎn)的相位值不受相鄰點(diǎn)光強值的影響，從而避免了物面反光率不均勻或觀(guān)察視角的偏差引起的誤差，測量精度可以達到幾十分之一到幾百分之一個(gè)等效波 長(cháng)。有關(guān)結構光投影法的基本原理可見(jiàn) Geng 等的結構光教學(xué)論文。
圖 8 結構光投影法示意圖
在過(guò)去的幾十年中，基于結構光投影法的三維形狀測量技術(shù)在計算機視覺(jué)和光學(xué)測量領(lǐng)域得到了迅速發(fā)展。在計算機視覺(jué)領(lǐng)域中，結構光投影技術(shù)通常被稱(chēng)為 3D 掃描，且所使用的結構光投影圖案主要集中于基于離散強度方案。它們可進(jìn)一步分為空間編 碼 (單次拍攝) 和時(shí)間編碼 (多次拍攝) 的方案?？臻g 編碼方法有 De Bruijn編碼，非正規碼和M-array 碼。這些方法的關(guān)鍵思想是保證局部編碼在全局圖像中的唯一性。時(shí)間編碼方法是將有一定編碼的圖案連續投影到物體表面上，方法包括時(shí)間二進(jìn)制碼、時(shí)間 n 元碼和格雷碼。此外，還有學(xué)者提出使用紅、綠、藍三通道的彩色圖案或彩色多路復用結構光投影法來(lái)提高編碼效率并減少三維重建 所需的結構光圖案。關(guān)于這些編碼方案的基本原理和實(shí)際性能的更多細節，可見(jiàn) Salvi 等人的綜述文章。由于數字光學(xué)投影儀的快速發(fā)展，使得所投影的面結構光可以通過(guò)計算機編程更為靈活地進(jìn)行選擇， 并最大限度地提高測量精度和速度，這些優(yōu)點(diǎn)使結構光投影技術(shù)成為最具潛力的三維面形測量技術(shù)之一。
6.1、條紋投影輪廓術(shù)
在光學(xué)測量領(lǐng)域，最具代表性的結構光投影技術(shù)被稱(chēng)為條紋投影輪廓術(shù) (Fringe Projection Profilometry，FPP)。FPP 具有結構簡(jiǎn)單、精度高、速度快、成本低、 易實(shí)現等優(yōu)點(diǎn)，其在工業(yè)和科學(xué)研究領(lǐng)域都有較廣泛的應用。當代條紋投影輪廓術(shù)主要采用數字光柵投影技術(shù)，該技術(shù)通過(guò)利用數字設備取代機械裝置生成與投影面結構光光柵，使得編碼過(guò)程更加靈活準確。此外由于現代電子設備的高速發(fā)展，數字投影設備和采集設備的速度越來(lái)越快，結構光條紋投影技術(shù)的應用可完全滿(mǎn)足三維面形的高速實(shí)時(shí)測量 要求?；跅l紋投影輪廓術(shù)的三維測量系統和結構光投影法的硬件系統相一致，一般由一個(gè)投影儀和一個(gè)或多個(gè)相機組成，如圖 8 所示。在測量過(guò)程中，投影儀將光柵條紋投向物體，條紋圖案經(jīng)物體調制后變形，再由相機采集。從采集到的條紋圖中可獲取物體 相位信息，相位圖中可以找出相機在投影儀中的對應點(diǎn)，然后根據三角關(guān)系可求出物體的深度信息。在此過(guò)程中存在三個(gè)重要步驟：相位測量，相位展開(kāi)，相位-深度映射。
FPP 中兩種主要的相位測量技術(shù)是 (時(shí)域) 相移輪廓術(shù) (Phase Shifting Profilometry， PSP)和(空域) 傅里葉變換輪廓術(shù) (Fourier Transform Profilometry, FTP)。FTP 是一種基于空間濾波的單幀光柵投影法，其最初于1982 年被 Takeda 等首先提出，之后Su，Zhang 等針對此方法開(kāi)展了系統深入的研究工 作。此外，加窗傅里葉變換 (Windowed Fourier Transform, WFT)和小波變換 (Wavelet Transform, WT)也可用于單幀條紋圖的相位解調。有關(guān)傅里葉變換輪廓術(shù)的更多詳細的技術(shù)細節及其在動(dòng)態(tài)三維測量方面的應用，可見(jiàn)參考文獻。不同于 FTP，PSP 需要至少三幅相移條紋圖案以實(shí)現逐像素的高精度相位測量。PSP 源于激光干涉技術(shù)，Srinivasan 等首先將相移干涉技術(shù)引入三維形貌測量領(lǐng)域。
相比于 FTP，PSP 具有更高的空間分辨率和相位測量精度， 并對環(huán)境光和物體表面反射率的變化更加魯棒。由于其多幀測量特性，當測量動(dòng)態(tài)場(chǎng)景時(shí)，尤其當幀間間隔內的物體運動(dòng)不可忽略時(shí)將導致相位誤差。嚴格來(lái)說(shuō)，運動(dòng)引起的相位誤差是 PSP 固有且不可避免的問(wèn)題。但近年來(lái)，隨著(zhù)高幀率圖像傳感器、高性能處理器和高速數字投影技術(shù)的發(fā)展，PSP 已逐漸應用于動(dòng)態(tài)場(chǎng)景的高速實(shí)時(shí)三維測量。筆者所在課題組自 2011 年起針對相移輪廓術(shù)及其快速三維測量應用方面也開(kāi)展了系統性的研究工作，有關(guān)更多 PSP 的 技術(shù)細節及其相位誤差分析的內容可見(jiàn)參考文獻。
無(wú)論是 PSP 和 FTP，與目標高度所對應的相位分布都由反正切函數得出，其范圍限制在-π 和 π 之間， 這樣的相位稱(chēng)為截斷相位或包裹相位。為了建立相機和投影儀之間一對一的像素對應關(guān)系，并正確重建三維形貌，需對相位進(jìn)行展開(kāi)/相位去包裹。
常見(jiàn)的相位展開(kāi)法分為空間相位展開(kāi)和時(shí)間相位展開(kāi)兩大類(lèi)。
空間相位展開(kāi)通常只需一幅單獨的相位圖，依據像素鄰域內的相位值實(shí)現相位展開(kāi)。代表性的空間相位展開(kāi)法主要包括可靠度引導的相位展開(kāi)法、剪枝法、多網(wǎng)格法、最小LP范數法、掩膜切割法、p最小二乘相位展開(kāi)法等。但對于孤立物體和不連續表面的相位分布，利用空間相位展開(kāi)法理論上是無(wú)法無(wú)歧義地實(shí)現可靠的相位展開(kāi)的，如圖 9 所示。
圖 9 孤立物體和不連續表面的包裹相位存在條紋級次歧義
時(shí)間相位展開(kāi)方法通過(guò)采用多個(gè)包裹相位分布或添加額外的黑白編碼圖案來(lái)提供關(guān)于條紋級次的額外信息，以解決相位歧義問(wèn)題。與空間相位展開(kāi)相比，時(shí)間相位展開(kāi)中的每個(gè)像素的條紋級次都是獨立計算，無(wú)需參考鄰近像素，因此可以展開(kāi)任意復雜形狀表面的包裹相位分布。其中常用的算法包括格雷編碼法與多頻時(shí)間相位展開(kāi)法。有關(guān)于時(shí)域相位展開(kāi)的基本原理和各類(lèi)算法的技術(shù)對比可見(jiàn)參考文獻。
通過(guò)解算出的物體的絕對相位信息，就可以找出相機所拍攝圖像在投影儀圖像中的對應點(diǎn)，然后根據三角關(guān)系可求出物體的深度信息。這種三角測量與立體視覺(jué)的三維重建原理是立體視覺(jué)與所有結構光 三維測量技術(shù)的基礎，在第三章進(jìn)行了詳細討論。
6.2、散斑結構光投影法
與條紋投影輪廓術(shù)類(lèi)似，散斑結構光投影法也屬于結構光投影技術(shù)。其三維重建的基本流程為:
首先，對物體投射隨機散斑圖案，利用提前標定好的雙目相機同時(shí)拍攝物體獲取左右原始散斑圖；其次，對原始散斑圖像進(jìn)行極線(xiàn)校正和散斑區域提取，在此基礎上利用數字散斑相關(guān)方法搜索整像素對應點(diǎn)并根 據視差約束剔除誤匹配；然后通過(guò)合適的亞像素搜索方法得到準確的亞像素對應點(diǎn)；最后，利用三角測量原理重建出物體的三維形貌。
數字散斑相關(guān)測量技術(shù)具有系統簡(jiǎn)單，單幀重建，測量范圍大等諸多優(yōu)點(diǎn)。散斑結構光投影法是文中所要討論的主要內容。文章的后續章節將對其基本原理、關(guān)鍵技術(shù)、典型應用等進(jìn)行了詳細分析與討論，因此這里只做簡(jiǎn)單介紹。
內容節選自《紅外與激光工程》第 49 卷第 3 期。如有侵權，請通知刪除。
作者：左超1,2，張曉磊3，胡巖1,2,3，尹維1,2,3，沈德同3，鐘錦鑫1,2,3，鄭晶3，陳錢(qián)2*
(1. 南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院 智能計算成像實(shí)驗室 (SCILab)，江蘇 南京 210094;
2. 南京理工大學(xué) 江蘇省光譜成像與智能感知重點(diǎn)實(shí)驗室，江蘇 南京 210094;3. 南京鋯石光電科技有限公司，江蘇 南京 210094)
