專利名稱：三維幾何建模和三維視頻內(nèi)容創(chuàng)建的制作方法
三維幾何建模和三維視頻內(nèi)容創(chuàng)建
與現(xiàn)有申請的關(guān)系
本申請要求2006年11月21日提交的美國臨時專利60/860,209的優(yōu) 先權(quán)，其內(nèi)容由此通過引用被并入。
本申請還要求2007年4月4日提交的美國臨時專利60/907,495的優(yōu) 先權(quán)，其內(nèi)容由此通過引用被并入。
本申請還要求2007年5月3日提交的美國臨時專利60/924,206的優(yōu) 先權(quán)，其內(nèi)容由此通過引用被并入。
本申請還要求2007年7月13日提交的美國臨時專利60/929,835的 優(yōu)先權(quán)，其內(nèi)容由此通過引用被并入。
本申請還要求2007年8月13日提交的美國臨時專利60/935,427的 優(yōu)先權(quán)，其內(nèi)容由此通過引用被并入。
本發(fā)明的領域和背景
本發(fā)明涉及用于使用主動三角測量法(active triangulation method )的
物體的三維成像和深度測量的系統(tǒng)和方法，并且尤其但不排它地涉及在靜 止和在運動中的物體的三維成像。
三維傳感器系統(tǒng)用在大量應用中。這些傳感器系統(tǒng)確定位于傳感器系 統(tǒng)視野的場景中的物體的形狀和/或表面特征(feature)。近年來，提出了用 于實現(xiàn)三維建模系統(tǒng)的很多方法，這些系統(tǒng)能夠?qū)Ω鞣N應用快速獲取物體 的準確的高分辨率三維圖像。
這樣的三維成像系統(tǒng)的精確配置可能被改變。很多基于 前的三角測 量的系統(tǒng)使用至少兩個或多個攝像機(camera)的陣列來確定稱為被動立體對應(passive stereo correspondence)的深度j直。這才羊的方法依賴于4皮 高紋理(texture)化的成像表面，因而易于產(chǎn)生誤差且非魯棒性的。而且， 自動對應算法在來自不同攝像機的鏡頭的匹配中常常包含大量誤差。
其它方法利用LIDAR (光成像探測和測距)系統(tǒng)來確定遠距離目標 的范圍和/或其它信息。用光脈沖的方法，通過測量光脈沖的傳輸和反射 信號的探測之間的時間延遲來確定到物體的距離。稱為飛行時間的這樣的 方法通常不受三角測量法中一般的阻塞(occlusion)的影響，但準確度和分 辨率固有地不如在三角測量法中得到的準確度和分辨率。
基于主動三角測量的三維傳感器系統(tǒng)和方法一般具有作為光源用于 投影到表面上的 一 個或多個投影4義，以及在離投影儀的限定的 一般校正的 相對位置處的用于使被照明的表面成像的一個或多個攝像機。攝像機和投 影儀因此具有不同的光路，且它們之間的距離稱為基線。通過了解基線距 離以及投影和成像角，已知的幾何/三角測量方程用于確定到被成像的物 體的距離。在本領域中已知的各種三角測量法中的主要差異在于投影方法 以及通常是結(jié)構(gòu)光的所投影的光的類型、以及在于獲得三維數(shù)據(jù)的圖像解 碼的過程。
光投影的方法從時間方法變化到空間編碼的結(jié)構(gòu)光。在本領域中各種 形式的投影光的例子包括"激光扇(laser fan)"和"線編碼光"。
一旦捕獲了物體的二維圖像，光源被如上所述投影在物體上，圖像處 理軟件通常分析圖像，以提取物體的三維幾何結(jié)構(gòu)并可能提取物體通過空 間的三維運動。這通常通過比較所捕獲的圖像中的特征與以前捕獲的圖像 和/或與投影光的已知特點和特征來完成。該步驟的實現(xiàn)在當前已知的方 法中廣泛地變化， 一般是用于將光投影到物體上的方法的功能。不管所使 用的方法是什么，過程的結(jié)果通常是在所捕獲的圖像中被識別的特征的一 種視差/位移圖。根據(jù)公知的幾何方程，特別是三角測量方程，三維空間 位置和/或三維運動捕獲的最后步驟包括上面提到的視差圖到深度數(shù)據(jù)的 轉(zhuǎn)換。
當今存在數(shù)百種方法和系統(tǒng)的絕對事實暗示在根本問題是缺乏足夠 有效和可靠的用于三維成像的方法。而且，利用主動三角測量法的大多數(shù)系統(tǒng)今天被限制到物體的非動態(tài)成像。也就是說，即使以高的幀率和快門 速度，成像的物體也必須在圖像獲取期間保持靜止。例如，可給建筑物成 像，而不是騎自行車的人或在街道上移動的汽車。對三維成像的這個限制 是在大多數(shù)基于三角測量的三維成像系統(tǒng)中需要的直接結(jié)杲，以獲得一系 列圖像同時隨著時間的過去而改變光源的特點。例如，很多方法利用在一 段時間間隔內(nèi)投影的很多光圖樣，稱為時間編碼。
盡管如此，歷年來為移動物體的三維成像引入了很多方法，其中大部 分是基于光的單個圖樣在被成像的物體上的投影，因而從一個或多個同時 存在的圖像而不是在一段時間間隔內(nèi)的多個圖像來實現(xiàn)深度測量的重建。 這些單個圖樣方法可分成兩種主要的類別。第一種是輔助立體方法，其中 單個圖樣被投影，且在來自兩個或多個成像系統(tǒng)的兩個或多個圖像之間進 行比較，以計算深度數(shù)據(jù)。
第二種是結(jié)構(gòu)光方法，特別是編碼結(jié)構(gòu)光方法。這些方法常常只使用 一個成像系統(tǒng)或攝像機。編碼結(jié)構(gòu)光方法可進一步分成幾種編碼類型。使 用編碼結(jié)構(gòu)光的 一種這樣的類型是空間編碼，其因精度和可靠性的各種各 樣的問題而受到損害，特別是關(guān)于特征識別和其它嚴重的性能限制。因而， 空間單個圖樣系統(tǒng)只以非常有限的方式在商業(yè)上實現(xiàn)。本領域中進一步的
結(jié)構(gòu)編碼^支術(shù)是語或彩色編碼，這需要中性色表面(color neutral surface),
且通常需要昂貴的成像系統(tǒng)。
因此，存在對克服上面的缺點的系統(tǒng)和方法的未滿足的需要，且具有 這樣的系統(tǒng)和方法是高度有用的。

發(fā)明內(nèi)容
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線(epipolar line) 為特征，所述方法包括
提供具有多個不同的特征類型的二維編碼光圖樣,每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將編碼光圖樣投影到物體上，
捕獲具有投影在物體上的被投影的編碼光圖樣的物體的二維圖像，所 捕獲的二維圖像包括被反射的特征類型，
根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，以及
提取特征類型在所捕獲的圖像中相應的對極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的裝置，該二維圖像以可辨別的幾何分離的對極線為特征，所述
裝置包括
具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到物體上，
成像設備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣的物 體的圖像，所捕獲的圖像包括被反射的特征類型，以及
解碼器，其配置成
a) 根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，
b) 提取特征類型在所捕獲的圖像中相應的對極線上的位置。
一種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖 像中的移動物體的三維形狀的方法，該二維視頻圖像的每個幀以可辨別的 幾何分離的對極線為特征，所述方法包括
提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到移動物體上，
捕獲具有投影在移動物體上的被投影的編碼光圖樣的移動物體的二 維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類型，以及
對于視頻圖像的每個被捕獲的幀
a)根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，b)提取特征類型在相應的對極線上的位置。
一種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖 像中的移動物體的三維形狀的裝置，該二維視頻圖像的每個幀以可辨別的 幾何分離的對極線為特征，所述裝置包括
具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到移動物體上，
成像設備，其用于捕獲具有投影在移動物體上的被投影的編碼光圖樣 的移動物體的二維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類
型，以及
解碼器，其配置成
a) 根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，
b) 對于視頻圖像的每個被捕獲的幀，提取特征類型在相應的對 極線上的位置。
一種用于獲得包括一個或多個物體的場景的距離數(shù)據(jù)的方法，所述方 法包括
將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，以便從 場景中不同的相應反射位置反射光圖樣的每個特征，特征類型根據(jù)二維構(gòu) 成在圖樣上可辨別為唯一的，
捕獲包括被反射的特征的、場景的二維圖像，
對出現(xiàn)在二維圖像中的每個被反射的特征
a) 根據(jù)唯一的二維構(gòu)成確定相應的特征類型，
b) 確定特征類型在相應的對極線上的位置，
根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位置，對每個 被反射的特征得到相應的相關(guān)反射點的相應距離。
在包括圖樣投影裝置和圖像捕獲裝置的系統(tǒng)中一種獲得場景數(shù)據(jù)的方法，所述圖樣投影裝置操作地將多個特征類型二維光圖樣投影到場景上 使得多個特征類型二維光圖樣的每個特征從相應的反射點反射，所述圖像 捕獲裝置操作地捕獲包括被反射的特征的、場景的二維圖像，所述方法包 括
a) 對于特征集合中的每個特征，包括根據(jù)唯一的二維構(gòu)成可辨別的 特征，其中二維光圖樣的第 一特征類型不同類的多個對極共線特征與第一 對極線相關(guān)，而第二特征類型不同類的多個對極共線特征與不同于第一對 極線的第二對極線相關(guān)，提供了相應的反射點距離圖像點位置關(guān)系的相 應描述，從而提供多個反射點距離圖像點位置關(guān)系，
b) 對于目標場景的被捕獲的二維圖像，對于特征集合中的每個特征， 從場景的被捕獲的二維圖像根據(jù)唯一的二維構(gòu)成確定相應的特征類型并 確定每個特征的相應的對極線標識(identity);
c) 對特征集合中的每個特征，根據(jù)確定的特征類型和對極線標識， 使每個特征與從多個反射點距離圖像點位置關(guān)系選擇的相應的反射點距 離圖像點位置關(guān)系關(guān)聯(lián)；以及
d) 對特征集合中的每個特征，使用相應的選定的反射點距離圖像點 位置關(guān)系來根據(jù)目標場景的被捕荻的二維圖像中的位置確定目標場景中 相應的反射點的位置。
一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯 一 的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維 圖像；以及
c) 圖像處理元件，對二維圖像的每個被反射的特征，其操作來
i)對每個一皮反射的特征
A.根據(jù)唯一的二維構(gòu)成確定特征類型；
30B.確定相應的對極線位置；以及
ii)根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位
置，對每個被反射的特征得出相應的相關(guān)反射點的相應距離。
一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯一的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維 圖像，圖樣投影裝置和圖像捕獲裝置配置成使得每個被反射的特征以不受 場景距離影響的方式保持在被捕獲的二維圖像中確定的對極線上；以及
c) 圖像處理元件，其操作來
i) 根據(jù)二維圖像中的特征的唯一的二維構(gòu)成對每個^L反射的特 征確定相應的特征類型ii) 以不受特征的對極線排序影響的方式區(qū)別開特征。 一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯一的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維 圖像，其中圖樣投影裝置和圖像捕獲裝置以不受離目標場景的距離影響的 方式操作，使得對于在所捕獲的二維圖像中多線對極線集合中的每個不同 的對極線
i) 二維光圖樣的特征類型不同類的多個投影特征存在于每個對
極線上；
ii) 至多一個特征類型存在于每個對極線上。
一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的物體的三 維形狀的方法，所得到的圖像通過限定的對極場(epipolar field)彼此相關(guān)，所述方法包括
提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到被成像的物體上， 捕獲被成像的物體的第一二維圖像， 捕獲被成像的物體的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對極線EPm上，
在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置。
一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的物體的三 維形狀的裝置，二維圖像從至少兩個實質(zhì)上相鄰的成像設備得到，圖像通 過限定的對極場彼此相關(guān)，所述裝置包括
具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到被成像的物體上，
第 一成像設備，其用于捕獲被成像的物體的第一二維圖像，
第二成像設備，其用于捕獲被成像的物體的第二二維圖像，
圖像處理設備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
b) 在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，以及
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置。
一種用于城市場景的三維建模的基于三角測量的方法，該方法捕獲具 有投影在城市場景上的被投影的結(jié)構(gòu)光圖樣的城市場景的至少兩個圖像，圖像通過限定的對極場彼此相關(guān)，每個圖像進一步具有與投影儀有關(guān)的額 外的對^f及場，所述方法包括
提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到城市場景上，
捕獲包括被反射的特征類型的城市場景的第一二維圖像， 捕獲包括被反射的特征類型的城市場景的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為 出現(xiàn)在第二二維圖像中特定的對極線EPm上，
在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置，以
及
獨立地對于每個被捕獲的圖像，進一步根據(jù)唯一的二維構(gòu)成提取被反 射的特征類型和提取特征類型在相應的對極線上的位置。
一種用于城市場景的基于三角測量的三維建模的裝置，該裝置包括用 于捕獲城市場景的至少兩個圖像的至少兩個實質(zhì)上相鄰的成像設備，該裝 置進一步具有用于將結(jié)構(gòu)光圖樣投影在場景中的物體上的投影儀，圖像通 過限定的對極場彼此相關(guān)，每個圖像進一步具有與投影儀有關(guān)的額外的對 極場，所述裝置包括
具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到城市場景上，
第一成像設備，其用于捕獲包括被反射的特征類型的城市場景的第一 二維圖像，
第二成像設備，其用于捕獲包括被反射的特征類型的城市場景的第二 二維圖像，
圖像處理設備，其用于a) 選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被
約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
b) 在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位
置，以及
d) 獨立地在每個圖像中根據(jù)唯一的二維構(gòu)成提取被反射的特征 類型和提取特征類型在相應的對極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述 方法包4舌
提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
提供二維編碼光圖樣的反圖樣(inverse)，
將編碼光圖樣和反的編碼光圖樣投影在物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
從第一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像 (resultant image)， 以及
在合成圖像中根據(jù)唯一 的二維構(gòu)成提取被反射的特征類型和提取特 征類型在相應的對極線上的位置。
一種用于從兩個二維圖像獲得紋理數(shù)據(jù)的方法，每個圖像包括用于對 每個圖像獨立地獲得被成像的物體的深度數(shù)據(jù)的反射碼，所述方法包括
提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供二維編碼光圖樣的反圖樣，將編碼光圖樣和反的編碼光圖樣投影在物體上，捕獲1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，2) 具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第二被捕荻的圖像與第一被捕獲的圖像的相加中獲得合成圖像，合 成圖像提供被成像的物體的紋理信息。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述 方法包4舌提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個 特征類型包括光強度變化的點，其中特征類型的一個點為最大值或最小 值，提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最 小值反轉(zhuǎn)了的第一圖樣，將第 一編碼光圖樣和第二編碼光圖樣投影在物體上，捕獲1 )具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像， 第 一 圖像包括被反射的特征類型，2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第 一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像,合成 圖像包括被反射的特征類型的最大值點和最小值點，以及在合成圖像中提取最大值點和最小值點以及最大值點和最小值點在 相應的對極線上的位置。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包4舌提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個 特征類型由光強度變化的點組成，其中特征類型的一個點是最大值或最小 值，提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最 小值反轉(zhuǎn)了的第一圖樣，將第一編碼光圖樣和第二編碼光圖樣投影在物體上，捕獲1 )具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像， 第 一 圖像包括被反射的特征類型，2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第一被捕獲的圖像與第二被捕獲的圖像的相加來獲得合成圖像,合 成圖像包括被反射的特征類型的非最大值強度點和非最小值強度點，在合成圖像中提取被反射的特征類型的非最大值點和非最小值點以 及非最大值點和非最小值點在相關(guān)的對極線上的位置。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述 方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，提供二維編碼光圖樣的反圖樣，將編碼光圖樣和反的編碼光圖樣投影在物體上，捕獲1)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第36一圖像包括被反射的特征類型，
2)具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
從第 一被捕獲的圖像與第二被捕獲的圖像相減的絕對值來獲得合成 圖像，合成圖像包括被反射的特征類型的輪廓，
在合成圖像中提取輪廓以及輪廓在相應的對極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述
方法包括
提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯 一 的二維構(gòu)成是可辨別的，
將編碼光圖樣投影在物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的環(huán)境光的物體的第二圖像，
從第 一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像，
在合成圖像中提取被反射的特征類型和特征類型在相應的對極線上 的位置。
一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的解剖 (anatomical)表面元件的三維形狀的方法，所得到的圖像通過限定的對極 場彼此相關(guān)，所述方法包括
提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到解剖表面元件上，
捕獲解剖表面元件的第一二維圖像，捕獲解剖表面元件的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對極線EPm上，
在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置。
一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的解剖表面 元件的三維形狀的裝置，二維圖像從至少兩個實質(zhì)上相鄰的成像設備得 到，圖像通過限定的對極場彼此相關(guān)，所述裝置包括
具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型 根據(jù)唯一的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到解剖表面元件上，
第一成像設備，其用于捕獲被成像的解剖表面元件的第一二維圖像，
第二成像設備，其用于捕獲被成像的解剖表面元件的第二二維圖像，
圖像處理設備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
b) 在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，以及
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置。
一種用于解剖表面元件的三維建模的基于三角測量的方法，該方法捕 獲具有投影在解剖表面元件上的被投影的結(jié)構(gòu)光圖樣的解剖表面元件的 至少兩個圖像，圖像通過限定的對極場彼此相關(guān)，每個圖像進一步具有與 投影儀有關(guān)的額外的對極場，所述方法包括
提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到解剖表面元件上，捕獲包括被反射的特征類型的城市場景的第一二維圖像， 捕獲包括被反射的特征類型的城市場景的第二二維圖像， 選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對極線EPm上，
在第二圖像中沿著對極線EPm找到PX1的內(nèi)容， 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位置，以
及
獨立地對于每個被捕獲的圖像，進一步根據(jù)唯一的二維構(gòu)成提取被反 射的特征類型和特征類型在相應的對極線上的位置。
一種用于對解剖表面元件的基于三角測量的三維建模的裝置，該裝置 包括用于捕獲表面元件的至少兩個圖像的至少兩個實質(zhì)上相鄰的成像設 備，該裝置進一步具有用于將結(jié)構(gòu)光圖樣投影在解剖元件上的投影儀，圖 像通過限定的對極場彼此相關(guān)，每個圖像進一步具有與投影儀有關(guān)的額外 的對極場，所述裝置包括
二維編碼光圖樣，其具有多個不同的特征類型，被反射的特征類型根 據(jù)唯一的二維構(gòu)成和特征類型在相應的對極線上的位置，
投影儀，其用于將編碼光圖樣投影到解剖元件上，
第 一成像設備，其用于捕獲包括被反射的特征類型的解剖元件的第一 二維圖像，
第二成像設備，其用于捕獲包括被反射的特征類型的解剖元件的第二 二維圖像，
圖像處理設備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
b) 在第二圖像中沿著對極線EPm找到PX1的內(nèi)容，
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對位
置，以及d)獨立地在每個圖像中提取被反射的特征類型和特征類型在相 應的對極線上的位置。
一種可安裝在機動車輛上的裝置，該裝置配置成獲得在離車輛尾部的 一定范圍內(nèi)的物體的深度數(shù)據(jù)，并進一步配置成獲得二維圖像以便從其確 定深度數(shù)據(jù)，二維圖像以可辨別的幾何分離的對極線為特征，該裝置包括
二維編碼光圖樣，其具有多個預定的可識別的特征類型，每個特征類 型根據(jù)唯一的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到物體上，
第一成像設備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣 的物體的圖像，被捕獲的圖像包括被反射的特征類型，以及
解碼器，其配置成根據(jù)唯一的二維構(gòu)成提取被反射的特征類型和提取 特征類型在被捕荻的圖像中相應的對極線上的位置。
一種用于荻得位于機動車輛后的目標場景的深度數(shù)據(jù)的系統(tǒng)，該系統(tǒng)
包括
a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到場景上，使得每個特征從相應的反射點反射，特征類型根據(jù) 二維構(gòu)成在圖樣上可辨別為唯一的；
b) 圖像捕獲裝置，其可安裝在機動車輛上，并操作地捕獲包括被反 射的特征的、場景的二維圖像；以及
c) 圖像處理元件，其對二維圖像的每個被反射的特征操作來
i) 對每個被反射的特征
A. 根據(jù)唯一的二維構(gòu)成確定特征類型；
B. 確定相應的對;f及線位置；以及
ii) 根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位 置，對每個被反射的特征得出相應的相關(guān)反射點的相應距離。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包4舌
提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的均勻光的物體的第二圖像，
從第 一被捕獲的圖像被第二被捕獲的圖像除，來獲得合成圖像，
在合成圖像中提取被反射的特征類型和特征類型在相應的對極線上 的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述 方法包4舌
提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，
提供具有多個不同的可識別的特征類型的、不同于第一圖樣的、第二 二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將第一編碼光圖樣投和第二編碼光圖樣投影到物體上，
捕獲
1 )具有投影在物體上的第 一被投影的編碼光圖樣的物體的第 一 圖像， 第 一 圖像包括被反射的特征類型，
2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
獨立地在每個圖像中根據(jù)唯一 的二維構(gòu)成提取被反射的特征類型和 提取特征類型在相應的對極線上的位置，比較在第二圖像中對極線的區(qū)域與在第一圖像中沿著相同對極線的 相似區(qū)域，以驗證第 一 圖像中的特征標識。
除非另外規(guī)定，這里使用的所有技術(shù)和科學術(shù)語具有與本發(fā)明所屬的 領域中的普通技術(shù)人員所一般理解的相同的含義。這里提供的資料、方法 和例子僅僅是示例性的，且不意味著是限制性的。
本發(fā)明的方法和系統(tǒng)的實現(xiàn)包括手動、自動或組合地執(zhí)行或完成某些 選定的任務或步驟。而且，根據(jù)本發(fā)明的方法和系統(tǒng)的優(yōu)選實施方式的實 際儀器和設備，一些選定的步驟可通過硬件或通過軟件在任何固件的任何 操作系統(tǒng)上實現(xiàn)，或由其組合實現(xiàn)。例如，作為硬件，本發(fā)明的選定步驟 可實現(xiàn)為芯片或電路。作為軟件，本發(fā)明的選定步驟可實現(xiàn)為多個軟件指 令，這些軟件指令由使用任何適當?shù)牟僮飨到y(tǒng)的計算機執(zhí)行。在任何情況 下，本發(fā)明的方法和系統(tǒng)的選定階段可被描述為由數(shù)據(jù)處理器執(zhí)行，例如 用于執(zhí)行多個指令的計算平臺。
附圖的簡要說明
參考附圖，僅作為例子在這里描述了本發(fā)明?，F(xiàn)在特別詳細地參考附 圖，應強調(diào)，顯示的細節(jié)僅作為例子，并僅為了本發(fā)明的優(yōu)選實施方式的 例證性討論，且介紹細節(jié)以便提供被認為是最有用的東西和本發(fā)明的原理 和概念方面的容易理解的描述。在這方面，不試圖顯示比基本理解本發(fā)明 所必需的更詳細的本發(fā)明的結(jié)構(gòu)細節(jié)，采用附圖的描述使本發(fā)明的 一 些形 式可如何體現(xiàn)在實踐中對于本領域技術(shù)人員變得明顯。
在附圖中


圖1A-1G是示出本發(fā)明的一個實施方式的簡圖，其顯示二維光圖樣 成1象如<可與對極幾何的原理一起使用。
圖2是示出在當前實施方式的三維圖像和/或運動圖像捕獲的過程中 的步驟的簡化流程圖。
圖3示出被投影以獲得反射圖樣的對極分離和相應的圖像Ip,的示例 性空間周期性二維圖樣P1 。
42圖4是示出如何得到所捕獲的二維圖像中的被識別的特征的相應的 三維空間位置的簡化流程圖和圖解。
圖5示出通過本發(fā)明的實施方式的方法得到的另外的示例性點云。
圖6A是根據(jù)對極分離原理投影之后的反射圖樣的簡化示意性表示。
圖6B再次示出反射圖樣的筒化示意性表示，但現(xiàn)在包括相同特征在
圖像中的給定對極線上的多次出現(xiàn)。
圖7是根據(jù)本發(fā)明的特定實施方式投影的優(yōu)選光圖樣的被捕獲的圖
像的簡化圖示。
圖8是此刻關(guān)于對極場的方向、以較小的旋轉(zhuǎn)角投影的圖樣的簡化示 意性表示。
圖9是可用在某些實施方式中的非有序和非周期性二維空間圖樣的 筒化示意圖。
圖10示出包括優(yōu)選的編碼圖樣P1的示例性特征類型的圖示。
圖11是在從成像立方體(imaged cube)反射之后如所見的圖像I'P1的示 例性圖樣Pl的圖示。
圖12A和12B示出圖樣P1中固有的構(gòu)造過程和編碼方案。
圖12C包括在從被成像的物體反射并被視為成像裝置中所捕獲的圖 像的部分之后，圖樣P1中的采樣點的筒化圖示。
圖13A示出使用實現(xiàn)對極分離技術(shù)的圖樣Pl的優(yōu)選投影和成像方法。
圖13B1示出提供增加數(shù)量的采樣點的優(yōu)選圖樣P2。
圖13B2示出圖樣P2中固有的構(gòu)造過程和編碼方案。
圖13C示出時間編碼實施方式的兩個優(yōu)選圖樣T1和T2。
圖13D示出時間編碼實施方式的優(yōu)選圖樣T2的特寫。
圖14示出示例性字符或特征類型連同示例性圖樣P1的圖像/『
圖15是涉及P1和-P1的本發(fā)明的優(yōu)選雙重投影和雙重成像實施方式
43的圖示。
圖16是兩個圖像P,和-P,的相加的圖示。
圖17是本發(fā)明的雙重投影和雙重成像方法的優(yōu)選實施方式。
圖18示出圖17的兩個成像圖樣的相加。
圖19示出從圖像P,減去-P,的絕對值得到的合成圖像的圖示。
圖20是從圖像P,減去-C的絕對值得到的合成圖像的圖示。
圖21是雙重圖樣投影和雙重圖樣成像的特定實施方式的圖示。
圖22是使用均勻光的雙重投影的特定實施方式的圖示。
圖23是示出兩個圖像之間的對極場如何相關(guān)的簡化圖示。
圖24是示出在特定實施方式中分離的對極場對于相應的成像裝置和 投影儀如何存在的簡化圖示。
圖25是示出在產(chǎn)生城市地區(qū)的三維地圖的過程中的步驟的本發(fā)明特 定實施方式的簡化流程圖。
圖26是示出在解剖部分的三維成像的過程中的步驟的本發(fā)明特定實 施方式的簡化流程圖。
圖27是示出確定在倒車機動車輛的路徑中的障礙距離的過程中的步 驟的本發(fā)明特定實施方式的簡化流程圖。
優(yōu)選實施方式的描述
本實施方式提供了用于靜止和運動物體的三維成像的裝置和方法。特 別是，通過(a)將編碼二維光圖樣投影在物體上；以及(b)利用與對極 幾何和三角測量相關(guān)的光學約束和原理來分析反射二維光圖樣的二維圖 像，可能確定給定物體的三維空間形狀數(shù)據(jù)。
參考附圖和附隨的描述可更好地理解根據(jù)本發(fā)明的裝置和方法的原 理和操作。
在詳細解釋本發(fā)明的至少一個實施方式之前，應理解，本發(fā)明在其應用中不限于在下面的描述中闡述或在附圖中示出的結(jié)構(gòu)的細節(jié)和部件的 布置。本發(fā)明允許其它實施方式或能夠以各種方法實踐或?qū)嵤?。此外，?理解，這里使用的措辭和術(shù)語是為了描述的目的，而不應被視為限制性的。
確定一個戚多個浙體的三維深度慰
現(xiàn)在參考圖1A-1D，其為示出本發(fā)明的一個實施方式的簡圖。在圖 1A-1D的特定例子中，系統(tǒng)10包括存在于相應的位置(x,p, y,p， z,p)和(x人 y,i, z。的投影儀12和成像裝置14。包括可識別的特征類型的有限集合的 預定陣列的編碼二維光圖樣16由投影儀12投影到在包含被成像的物體 18a、 18b和18c的場景中的表面上。在投影圖樣中的示例性特征被表示 為20a、 20b、 20d和20f。在該特定例子中，投影圖樣采取強度變化的單 色光束或陣列的形式，其中相鄰光束的組合包括具有二維空間構(gòu)成 (bi-dimensional spatial formation)的編碼特征或字母。這些特征在不同 的反射點19a、 19b、 19d和19f處與被成像的物體表面相交，并接著在成 像裝置14的傳感器24上捕獲的二維圖像22中被觀察到。投影特征19a、 19b、 19d和19f因而作為被捕獲的圖像22中的被反射的特征28a、 28b、 28d和28f出現(xiàn)。成像裝置14可例如是CCD或CMOS數(shù)字視頻攝像機或 任何其它類型的光探測器元件陣列。
投影儀12和傳感器24之間的相對位置30是固定的，因而給予系統(tǒng) 10以幾何約束。該約束將所捕獲的圖像22中的任何給定被反射特征28a、 28b、 28d和28f的位置限制到稱為對極線的圖像中的唯——組點。對極 線P、 cp和p在圖中示出。也就是說，對于具有給定光圖樣以及投影儀和 傳感器之間的固定相對位置的系統(tǒng)10,對于上面投影了圖樣的任何物體 或一組物體，在所捕獲的圖像22中特定的單個對極線上總是觀察到投影 圖樣的每個特征。而且，如下面將解釋的，不管被成像的物體是固定的還 是處于與投影儀/成像裝置的相對運動中，上面內(nèi)容都適用。圖樣中的每 個特征和恒定的對極線之間的關(guān)系因而與所述特征被反射的三維空間中 的反射點無關(guān)。
示例性投影特征的反射點被表示為19a、 19b、 19d和19f，并具有相 關(guān)的相應反射距離DA. Db、 Dd和Df。反射距離是從成像裝置的傳感器24到被成像的物體18a、 18b、 18c上給定特征被反射的三維空間中反射點位 置的距離。反射距離有時稱為深度。
因此，如圖1A-1D所示，存在于圖像22中的每個被反射的特征28a、 28b、 28d和28f被約束到相應的特定對極線，而與特征被從其反射的空 間中的點無關(guān)。特征28a因而被約束到與19a的三維位置無關(guān)或可選地與 反射距離DA無關(guān)的對極線(p。特征28b和28d是來自共享相同的對極線 (3的圖樣的兩個被反射的特征。特征28b和28d總是存在于與反射距離 Db和DD無關(guān)的該對極線上。類似地，特征28f總是反射到與反射距離 Dp無關(guān)的對極線p上。
然而，反射距離或可選地特征被從其反射的三維空間中的點實際上確 定沿著該對極線所述特征出現(xiàn)的地方。因此，反射距離不影響給定被反射 的特征在其上出現(xiàn)的特定對極線，而更確切地只影響沿著該線的精確位置。
為了說明依賴于反射距離的沿著對極線的特征的位置的變化，我們現(xiàn) 在轉(zhuǎn)到圖1E-1G。在圖1E、 1F和1G的每個中，投影儀和成像裝置雖然 總是彼此處于固定的相對距離，但相對于物體18a移動。在圖1E中，投 影儀12和成像裝置14分別在(x,P， y,P, z,P)和(x,i， yr， z,)位置。當從物體18a 上的反射點19a被反射之后，在對極線cp上的被反射的特征28a (投影特 征20a)的反射距萬被看作Da。在圖1F中，投影儀和成像裝置移到空間 中相應的點(X2P，y/, z/)和(X2i,yi,z力。當從物體18a上的不同反射點19a' 被反射之后，被反射的特征28a的反射距離現(xiàn)在是DA'。作為結(jié)果，特征 28a現(xiàn)在反射到對極線cp的下部分上。在圖1G中，投影儀和成像裝置移 到空間中的第三組相應的坐標(x/, y3p， z/)和(xA y3i, z3j)。當從物體18a上 又一第三個反射點19a"被反射之后，被反射的特征28a的反射距離現(xiàn)在 是Da"。作為結(jié)果，特征28a現(xiàn)在反射到對極線cp的上部分上。然而，不 管反射距離是什么，被反射的特征28a (投影特征20a)都必須總是出現(xiàn) 在對極線cp上，且只在cp上。為了清楚的目的，每個特征都只與本實施 方式中的一個對極線相關(guān)。應理解，因為特征包括被捕獲的圖像中光強度 的空間構(gòu)成，每個特征的元素可位于分立的可辨別的對極線上。應理解，系統(tǒng)10和被成^f象的物體之間的任何相對運動使特定特征的 反射距離變化。該相對運動可從被成像的物體的運動、從投影儀/成像系 統(tǒng)的運動、或從被成像的物體和投影儀/成像系統(tǒng)兩者的運動產(chǎn)生。反射 距離的任何變化都引起給定被反射的特征沿著該特征的相關(guān)對極線的精 確位置的變化。然而，特征在其上出現(xiàn)的特定對極線保持不變。
因此，我們可斷定，對才及幾何的原理規(guī)定圖像中的一組二維坐標和由 成像裝置觀察的空間中的三維坐標之間的映射。此外，給定被捕獲的特征 沿著特定對極線出現(xiàn)的精確位置依賴于特征的反射距離，或換句話說，特 征從其被反射的三維空間中的點。
對于每個圖像或幀，根據(jù)特征類型識別每個被反射的特征，且優(yōu)選地 通過圖像處理設備36確定圖像中沿著特征的相關(guān)對極線的被反射的特征 的位置。被識別的特征沿著特征的對極線的精確位置于是對應到該特征在 原始投影圖樣中的位置。特征在圖像和投影圖樣之間這種對應允許基于三 角測量的計算，以確定特征從其被反射的三維空間坐標。預先計算的三角 測量表可用于確定特征從其被反射的物體上的點的三維空間位置。在一些
實施方式中，這些基于三角測量的計算由圖像處理設備36實施。
該過程可對二維圖像的多個特征重復，其中每個特征從三維被成像的 物體的表面上的不同的相應位置被反射。對于任何給定的圖像幀，所捕獲 的二維圖像中每個這樣識別的特征導致三維空間位置，所有這樣的空間位 置的編制(compilation)包括三維空間中位置的點云。此三維點云給出被成 像的物體的三維映射。點云的進一 步的處理可產(chǎn)生本質(zhì)上將三維云的點熔 合成三維表面的三維網(wǎng)格(mesh)。根據(jù)場景中物體的額外的紋理捕獲，該 網(wǎng)格也可以是給定圖形紋理。對于運動中的物體的三維映射，對單個圖像 描述的上面的過程在產(chǎn)生三維視頻的 一 系列圖像上實施。
慰么'三維廚像捕獲的簡化流程街
參考圖2,其為示出在當前實施方式的三維圖像和/或運動圖像捕獲 的過程中的步驟的筒化流程圖。在下面附圖中進一步詳細地討論該流程圖 的每個步驟。流程圖連同圖1A-1G—起給讀者提供這里所述的三維成像 過程的簡單和總體直觀的理解。步驟70提供了預定的編碼光圖樣。如在圖1A-1D中舉例說明的并被 表示為16的該編碼光圖樣，是以變化強度的光束的空間構(gòu)成的形式的特 征類型的有限集合的陣列。下面在附圖中討論圖樣的優(yōu)選實施方式及其特點。步驟72是該圖樣在物體上的投影。下面也在附圖中討論幾個優(yōu)選的 投影方法。在步驟74中，捕獲包含從物體反射的特征的二維圖像，圖樣 投影在該物體上。在步驟76,分析圖像以識別特征及其沿著相應的對極 線的位置。在步驟78,接著使沿著其對極線的特征的位置與特征被反射 的空間中的三維坐標相關(guān)。下面討"i侖通過三角測量技術(shù)執(zhí)行的、沿著對極 線的特征位置和三維空間坐標之間的此關(guān)聯(lián)過程。對于二維圖像中的每個 被識別的特征，因而得到指示特征從被成像的物體反射的空間中的點的相 應的三維坐標。在步驟80，通過所有這樣的三維坐標的編制，得到給出 被成像的物體的三維映射的三維點云。點云的進一步的處理可產(chǎn)生本質(zhì)上 將三維云的點熔合成三維表面的三維網(wǎng)格。也可根據(jù)該場景中物體的額外 的紋理捕獲給該網(wǎng)格提供圖形紋理。在物體或攝像機在運動中的情況下，步驟74-80可連續(xù)重復，以獲得 三維運動捕獲。在三維運動捕獲的這樣的情況下，從移動物體反射的光圖 樣的一系列二維捕獲的圖像包括視頻序列中的幀。該二維視頻序列可按在 流程圖中討論的方式被逐幀處理，以得到每幀的三維空間坐標。結(jié)杲是一 系列點云，視頻序列的每幀有一個點云，其一起包括隨著時間的過去的動 態(tài)三維映射。廚l街袢拔影和對極分離圖3提供了可投影到物體上的示例性空間周期性二維圖樣P1。 二維 圖樣包括多個不同的特征類型20,其出現(xiàn)在圖樣內(nèi)的不同位置處。為了 清楚，在本圖中，每個唯一的特征類型被任意分配字母字符。如下面在圖 10中進一步詳細解釋的，每個圖樣特征都由黑點和白點的編碼空間構(gòu)成 組成。特征在代碼中以循環(huán)的方式重復。特別地，相同的特征類型在圖樣 的垂直方向上每隔1行并在圖樣的水平方向上每隔16列重復自身。圖樣 特征的黑點和白點相應于在被成像的物體上的單色光的高或低照明強度 的投影。代碼中的每個字符因此是投影光強度的二維空間構(gòu)成。在本實施方式的圖樣P1中，該構(gòu)成是連續(xù)的。也可實現(xiàn)具有非連續(xù)構(gòu)成的其它圖樣。在從三維物體反射之后，投影周期性圖樣P1的子部分48產(chǎn)生包含 反射圖樣的圖像Ip,。示出對極線52、 54和56。因此，圖像Ip,是當從被 成像的物體反射時通過成像裝置被觀察到的反射圖樣的簡化圖示。為了簡 單起見，只示出反射圖樣，而沒有示出也出現(xiàn)在IP1中的任何反射的被成 像的物體。在這個特定的實施方式中，投影儀和成像裝置彼此垂直地放置， 因而使被捕獲的圖像中的對極線在實質(zhì)上垂直的方向上。在另一可能的實 施方式中，投影儀和成像裝置可彼此水平地放置，在這種情況下被捕獲的 圖像中的對極線實質(zhì)上是水平的。如在上面看到和提到的，任何給定的特征類型在圖樣的垂直方向上循 環(huán)地重復自身很多次，并且如果圖樣無旋轉(zhuǎn)地被投影，相同類型的很多特 征在被捕獲的圖像中在相同的垂直對極線上會被觀察到。然而，通過投影 圖樣的稍微旋轉(zhuǎn)，相同類型的特征被反射到圖像IPI中分離的對極線上。 例如，都是類型(A)的特征58和60現(xiàn)在反射到兩個相鄰的但可辨別地 分離的對極線52和54上。如將在下面進一步解釋的，在被捕獲的圖像中 分離的對極線上的所有相同圖樣特征類型的分離明確地實現(xiàn)每個特征的 識別，該分離在這里稱為對極分離。為了理解為什么是這樣，接下來是系 統(tǒng)校準的簡短討論，以理解在原始投影圖樣中的特征和被捕獲的圖像中的 對極線之間的關(guān)系。如上所解釋的，給定特定的圖樣，例如在本實施方式中描述的圖樣， 并假定投影儀和成像裝置之間的固定相對位置的幾何約束，任何給定的圖 樣特征出現(xiàn)在包含反射圖樣的圖像中恒定的預定對極線上。投影圖樣中的 每個特征和反射圖樣的圖像中相關(guān)的對極線之間的此預定關(guān)系可用很多 方法確定，包括強力(bmte force)。確定該關(guān)系的過程可稱為對極場校準 過程，并對于成像設備和投影儀的給定圖樣和給定配置實施一次。這樣的 映射的結(jié)果是如下面看到的對極場表。廚樣中的特征類型和位f被捕獲的^傢中的對極錢 (A,)在X,，Y, E,(A2)在X2,Y2 E2(AN)在X3， Y3 EN(B,)在 X4, Y4 E,(B2)在X5,Y5 E2(Bm)在X6, Y6 EN如從表中看到的，圖樣中特征類型的每次出現(xiàn)與不同的對極線相關(guān) 對出現(xiàn)在圖像中的投影圖樣中的同樣數(shù)量的(A)類型出現(xiàn)，(A,)與E, 、 (A2) 與E2，依此類推。當然不同類型的特征例如(AO和(B,)可落在相同的對極 線例如E,上。因此，從校準過程知道了落在這些對極線上的原始圖樣中 所有的對極線位置和特定的特征。如所提到的，包含反射圖樣的任何給定的圖像包括某個尺寸的 一組特 征類型。在本實施方式的圖樣中，這組包括32個類型。用于給被捕獲的 圖像解碼的解碼引擎根據(jù)包括對極線的圖像中的特征類型和位置坐標，給 每個特征解碼。接著使這個被解碼的圖像特征與原始投影圖樣中特定的特 征一致。例如，如果發(fā)現(xiàn)特征類型(A)在對極線E2上，則從對極場校準表中，我們知道該圖像特征唯一地相應于原始圖樣中的特征(A2),而不是圖樣中的任何其它特征。此外，如果循環(huán)圖樣沒有旋轉(zhuǎn)地被投影，相同類型 的很多特征將被捕獲的圖像中在相同的對極線上被觀察到。因為根據(jù)特征 類型來識別被反射的特征，在相同的圖像特征類型與其在原始圖樣中相應 的特征之間將無法在一對一的基礎上對應。換句話說，沒有對圖像中的哪 個被識別的(A)特征類型對應于投影圖樣中的哪個(A)類型特征的指示。然而，通過將每個特征類型限制到在被捕獲的圖像中特定對極線上的 單個出現(xiàn)，可進行該特定圖像特征和圖樣中該特征的出現(xiàn)的關(guān)聯(lián)。因此每 個對極線都有給定特征類型的至多 一個特征。所以，對于所有的圖樣特征， 圖樣P1中的每個(A)特征類型落在圖像中不同的對極線上，每個(B)特征 類型落在獨立的對極線上，依此類推。類似地，每個對極線優(yōu)選地具有多50個特征，只要它們具有可辨別的類型。例如，參考圖1A-1D，注意，特征28b和28d都存在于相同的對極線(3上，然而可與相應的圖樣出現(xiàn)進 行比較，因為它們具有不同的可辨別的特征類型。特定的圖像特征和圖樣中該特征的出現(xiàn)之間的明確匹配導致正確的 三角測量，其確定特征從其被反射的空間中的精確三維位置。應認識到，當前實施方式利用校正的成像系統(tǒng)，意味著成像裝置的平 面和投影儀的平面位于相同的空間平面上。因此，在投影儀和成像裝置之 間只存在垂直或水平移位。在這樣的校正系統(tǒng)中，被捕獲的圖像中的對極 線一起包括單向?qū)O場。因為圖像中的對極線這樣彼此平行，重復圖樣的 旋轉(zhuǎn)將重復的特征類型放置在分離的對極線上。所以，總之，作為投影方法和代碼的內(nèi)部結(jié)構(gòu)的結(jié)果，每個對極線具 有給定特征類型的至多一個特征。此外，雖然圖樣是循環(huán)的且因此特征類 型在圖樣中出現(xiàn)很多次，但上面描述的相同的特征類型放置在分離的對極 線上意味著在圖像中該特征類型的多次出現(xiàn)之間沒有混淆。對于圖像流中 的每個圖像，每個特征的位置確定新的一組三維空間坐標，其提供當前被 成像的物體位置的三維圖。參考圖1A-1G,圖像處理設備36優(yōu)選地至少包括圖像處理引擎，圖 像處理引擎用于識別(1 )被捕獲的二維圖像中的特征及其相關(guān)的對極線， 以及(2)在其對極線上的特征位置。圖像處理設備一般還有包含用于投 影圖樣中的所有特征的坐標的數(shù)據(jù)庫。處理設備使圖像中的每個被識別的 特征與該特征在圖樣中的相應特征匹配。基于三角測量的計算隨即用于將 空間中的三維坐標分配到每個被識別的特征，以得到被成像的物體的三維 點云。這些基于三角測量的計算優(yōu)選地存儲在存儲器中的表中，以幫助三 維空間坐標的快速處理。點云的進一步的處理可能被可選地期望。這樣的 處理可包括對于更豐富的逼真的三維圖像A見頻確定來自三維點云的網(wǎng)格 或三維表面。也可增加紋理數(shù)據(jù)。點云的這樣的處理可利用用于三維點云 處理的已知的處理引擎。因此，通過這里描述的將對極幾何的上面原理與結(jié)構(gòu)光投影和編碼/ 解碼方案合并在一起的新技術(shù)，當前實施方式提供高分辨率、高準確度三維成像，例如對HDTV、 4CIF、百萬像素成像和類似的應用所描述的。在優(yōu)選實施方式中，對于短距離，獲得具有少于1毫米的準確度。也就是 說，三角測量誤差是±毫米。如所述，即使在物體處于運動中的情況下，也可優(yōu)選地實現(xiàn)該系統(tǒng)和 方法，因為本發(fā)明的優(yōu)選實施方式利用單個編碼圖樣的投影。在由成像裝 置確定的每個時間間隔處，只有編碼光圖樣的單個投影需要捕獲物體的表 面點，因而使連續(xù)的圖像能夠捕獲在運動中的物體的變化的表面點。也就 是說，在場景中的物體和/或攝像機和投影儀系統(tǒng)可相對于彼此在三維空 間中移動，因而實現(xiàn)在運動中的三維物體的動態(tài)深度捕獲。當物體移動時， 在歐幾里得空間中的物體的三維坐標動態(tài)地變化。因此，在一系列被捕獲 的圖像上的深度變化，對于每個被捕獲的圖像，在特征沿著其相應的對極 線的移動或位移中得到反映。作為結(jié)果，對每個圖像幀得出不同的點云。在優(yōu)選實施方式中，成像裝置和投影儀一^:包含在單個設備殼體中。被投影的二維光圖樣可由任何光源投影，包括但不限于視頻投影儀、在打印的圖樣情況下的幻燈投影儀、或激光/LED投影儀。在優(yōu)選實施方式中 單個圖樣投影儀的使用允許衍射投影的直接使用，這導致低功率消耗、緊 湊性、歸因于窄帶型信號的噪聲過濾、和對不可見的NIR輻射應用的很 強的適合性。成像裝置可以是一般具有CCD或CMOS傳感器的專賣的或 現(xiàn)貨供應的視頻或靜止攝像機。應進一步理解，在被捕獲的圖像中的對極 線可具有非線性形狀，且圖1A-1G和圖3中的線性線僅用于舉例說明的 目的。參考圖4，其為示出如何得到在所捕荻的二維圖像中被識別的特征的 相應的三維空間位置的簡化流程圖和圖解。圖4的流程圖從二維圖像捕獲 階段一也在圖2中看到的階段74—開始。三個不同的示例性特征類型(A)、 (B)和(C)共享被捕獲的二維圖像84中的對極線，圖像84包括在二維中的 被成像的物體和反射圖樣。在編碼圖樣中的示例性特征類型被投影到被成 像的物體上，且所有特征類型隨后在二維圖像84中沿著單個對極線 被觀察到，如在步驟76看到的。下一步驟包括沿著對極線的每個被識別 的特征和投影二維編碼光圖樣中的發(fā)起(originating)特征之間的相應(步三角測量法計算特征從其被反射的空間中的 三維點或深度坐標(步驟78b )。特別地，步驟78a和78b合并，如在圖2 的流程圖中的步驟78看到的。所有這樣的三角測量特征的合計產(chǎn)生被成 像的物體的三維點云(步驟80)。在優(yōu)選實施方式中，在步驟82，點云 80進一步被處理以獲得三維圖像/視頻圖像的紋理和表面。因為所示特征類型是不同的，可使所有三個類型容易地對應投影圖樣 中的相應的特征。如果在對極線上有比如(B)的多次出現(xiàn)，則當試圖使(B) 的每次出現(xiàn)與投影圖樣中的相應出現(xiàn)關(guān)聯(lián)時將產(chǎn)生模糊。作為在單個對極 線上特征類型的多次出現(xiàn)的結(jié)果的模糊，將必然導致在被成像的物體上空 間位置的三角測量誤差和虛假測量。本發(fā)明的實施方式因此確保任何給定 特征類型在對極線上的至多單次出現(xiàn)，在這里稱為對極分離，以確保在圖 樣中所乂見察的特征和特^E的出現(xiàn)之間的一對一的匹配過程。此外，在當前實施方式中，被成像的物體可為靜止的或在運動中。如 果被成像的物體在運動中，則重復步驟74-82以提供三維視頻?？蛇x地， 成像和投影儀裝置可相對于物體處于運動中。在動態(tài)應用中，以視頻幀率 計算三角測量方程，以給出在運動中的物體的實時三維坐標。而且，如下面將在附圖中示出的，當被捕獲的圖像中可辨別的對極線 的總數(shù)增加時，編碼光可以通過允許被捕獲的圖像中特征的更多出現(xiàn)的方 式而被投影?？杀鎰e的對極線的總數(shù)可能由于很多因素而增加，包括但不 限于特征結(jié)構(gòu)或形狀、作為高分辨率傳感器的結(jié)果的低噪聲水平、系統(tǒng)的 光學特性或更準確的坐標檢淚'J算法。圖5示出通過本發(fā)明的實施方式的方法得到的另外的示例性點云。圖 示86示出人揮手的點云的前視圖。云中的每個點都有空間中的三維(x， y, z)坐標。圖示88示出提供另一深度透視的側(cè)視圖。參考圖6A。圖6A現(xiàn)在示出在根據(jù)上面討論的對極分離原理被投影 之后，在反射空間編碼圖樣的圖像中的出現(xiàn)的示意性表示500。也就是說， 光圖樣以使任何給在本實施方式中，任何給定特征類型在對極線上的單次出現(xiàn)通過投影在本例中是垂直的，并由對極線102A、 102B和102C表示。反射光圖樣 的示意圖500示出相同的10x2矩陣90的周期性或循環(huán)的磚瓦式結(jié)構(gòu)構(gòu) 成。每個矩陣都有20個特征類型A-T。矩陣圖樣在圖像的長度和寬度上 重復自身?，F(xiàn)在，當在附圖中，圖樣投影以被指定為94的角旋轉(zhuǎn)時，圖像中特 征類型的周期性圖樣在長度H,上在任何給定的對極線上重復自身。因此， 對于在成像裝置垂直視場H,上的每個可辨別的對極線，任何特征類型至 多出現(xiàn)一次。通過使圖樣的投影角傾斜，實現(xiàn)相同的特征類型到可辨別的 對極線上的分離。例如，在圖樣的y方向上每隔一個特征重復的特征96、 98和100分離到在被捕獲的圖像中分開的可辨別的對極線102A、 102B 和102C上。結(jié)果，可在整個圖像區(qū)域上識別相當數(shù)量的特征。在所捕獲 的圖像中被識別的特征的總數(shù)稱為圖像容量或覆蓋度。因此，緊密周期性代碼的對極分離允許大量可識別的特征在圖像中被 捕獲，導致高分辨率。而且，圖樣的周期性性質(zhì)允許包含少量重復的特征 類型的編碼圖樣，從而使每個特征能夠保持小尺寸，并進一步促成高分辨 率圖像。作為例子，在具有640 x480像素分辨率的一般傳感器上，每個 特征可具有10個像素的近似面積。這轉(zhuǎn)換成對每幀大約31,000個特征的 圖4象容量，因而31,000個三維空間坐標。在上面和當前實施方式中，為了解釋的簡單和清楚，沒有考慮二維圖 像中的圖樣特征的寬度。因此，每個特征都與對極線相關(guān)，如同特征具有 無限小的尺寸一樣，且每個特征都只由一個對極線辨別。在實際實踐中， 不是單個對極線與分立的特征相關(guān)，而是包括特征的空間構(gòu)成位于可辨別 的實質(zhì)上相鄰的對^f及線上。返回到圖6A，被表示為D,和D2的距離是在可辨別的對極線之間的 等距距離。在可辨別的對極線之間的已知的水平距離依賴于成像裝置和圖 像處理設備，并有助于圖像中被反射的特征的明確識別和驗證。例如，被 反射的特征類型(A)98在被捕獲的圖像中在沿著對極線102B的某個y坐54標處被檢測到。因此，最近的特征類型(A)如果在所得到的圖像中確實被捕獲，則可僅存在于到對極線102B的右邊和左邊即102A和102C最 近的可辨別的對極線上。雖然為了說明的目的，在附圖中所有的對極線都 完全垂直，但其它實施方式是可能的，其中對極線可為具有變化的x和/ 或y坐標的直線或曲線。限定性的對極線分離因素是區(qū)分開在被捕獲的圖像中分離的對極線 所必需的最小水平距離。區(qū)分開分離的對極線上的特征的能力基于幾個因 素。首先，特征的形狀常常確定特征在從被成像的物體反射之后是否具有 可檢測的坐標位置。具有可被較精確地分配坐標的特征的代碼允許區(qū)分開 在不斷靠近的對極線上的特征。物體表面類型也可以有效果，因為例如來 自金屬表面、玻璃和其它透明或非常黑暗的表面的特征被不太精確地反 射。低投影儀SNR和內(nèi)部傳感器光學器件可限制可辨別的對極線之間的 距離。現(xiàn)在參考圖6B。如到現(xiàn)在所解釋的，只要相同的特征類型落在分離 的可辨別的對極線上，就可在被捕獲的圖像中識別每個特征類型，而不用 考慮其間的混淆。然而，在現(xiàn)在將討論的已知被反射的特征僅存在于對極 線的預定部分上的某些情況下，則沿著相同的對極線的相同特征類型的分 離甚至是可能的。在被成像的物體在一系列圖像上在非常有限的深度范圍 內(nèi)移動的情況下，在相同對極線上的相同類型的兩個分立的特征可只出現(xiàn) 在其上的有限部分上。也就是說，如果被成像的物體移動被限制到離成像 系統(tǒng)的特定距離范圍，則相同特征類型的多次出現(xiàn)可發(fā)生在單個對極線 上。如果三維空間中被成像的物體的移動是輕微的，則被反射的特征沿著 其各自的對極線的相應移動很小。在這樣的情況下，可能分離在單個對極 線上給定特征類型的多次出現(xiàn)，其中每個特征類型出現(xiàn)在沿著對極線的預 定限制范圍內(nèi)。為了舉例說明，我們現(xiàn)在轉(zhuǎn)到圖6B，其示出與圖6A相同的示意性 表示500。對極線p、 lj、 0、 e、 cp和卩被示出，且表示為Hr的圖像高度 現(xiàn)在較大，以包括相同特征在圖像中給定對極線上的多次出現(xiàn)。在對極線 lj上，例如特征96和506是出現(xiàn)在相同對極線上的兩個分立的特征，并55具有相同的類型，即(A)。如果這些特征中的每個都自由地出現(xiàn)在圖像中 對極線y的任何部分上，則在特征識別期間在兩個特征之間可能產(chǎn)生混淆。如所解釋的，特征96和506的每個與特征在投影圖樣中的唯一出現(xiàn) 之間的對應受誤差影響。但在本實施方式中，特征96的出現(xiàn)被保證只出 現(xiàn)在對極線IJ的子部分96A上，而特征506的出現(xiàn)被保證只出現(xiàn)在相同 對極線y的子部分506A上。在這樣的情況下，兩個子部分之間的距離 Dv大到足以使得兩個相同特征類型之間的混淆的顧慮不存在。在特征識 別過程期間，存在于對極線1J的子部分506A上的(A)類型特征被明確地 識別為特征506，而存在于部分96A上的(A)類型特征被明確地識別為特 征96。區(qū)域96A和506A是兩個界限分明的間隔開的區(qū)域。同樣，在對 極線0上的特征98和504的出現(xiàn)僅分別在范圍98A和504A內(nèi)。最后， 特征100和502也只出現(xiàn)在沿著對極線0的相應范圍100A和502A內(nèi)。 在所有前面的三種情況中，足夠大的距離存在于沿著單個對極線的范圍之 間，兩個相同的特征類型可落在該對極線上。因此，相同類型的兩個分開 的特征的識別是可能的。在對極線上有相同特征類型的多于一次出現(xiàn)的一種方法是通過將圖 像高度從H,增加到Hr。圖像高度的增加導致相同特征類型沿著圖像中對 極線的多次出現(xiàn)。相同特征類型的多次出現(xiàn)是由于圖樣的周期性循環(huán)，該圖樣沿著增大的H,或H「的長度重復自身?？蛇x地，如果圖像傳感器的分 辨率增加，且圖樣特征在尺寸上減小，則特征類型可沿著對極線重復自身。只要深度測量被限制到被成像的物體移動的某個范圍內(nèi)，沿著對極線的任 何給定特征就對每幀只移動一段短的距離。因此，甚至兩個相同的特征也 可在單個對極線上被區(qū)分開，只要它們在其上移位的對極線的部分是有限的且間隔開足夠遠。對極線到預定部分的劃分依賴于深度范圍限制。通過 這樣的深度范圍限制，更多的點在圖像中被采樣，且當被捕獲的圖像中深 度讀數(shù)的數(shù)量較大時分辨率進一步增加。我們現(xiàn)在參考圖7，其為優(yōu)選光圖樣的被捕獲的圖像的簡化圖示，該 圖樣根據(jù)對極分離被投影以確保相同的特征類型落在可辨別的分離的對 極線上。附圖示出幾何原理，其通過以與對極場成的角度投影優(yōu)選圖樣來提供相當大數(shù)量的可識別的特征。投影周期性圖樣的偏角調(diào)節(jié)確保相同的 特征類型被捕獲在分離的可辨別的對極線上。特征優(yōu)選地由在空間上布置 的采樣點的唯一組合組成，且被捕獲的圖像中的采樣點的數(shù)量稱為圖像容 量或覆蓋度因子?？商釂柕膯栴}是為什么不構(gòu)造具有與覆蓋由傳感器高度H表示的圖像幀所需要的一樣多的特征類型的代碼，從而不需要對極分離？答案在于以下事實單個圖樣成像系統(tǒng)力求有盡可能小的特征類型，因而提供每 圖像較高的采樣密度。為了這個目的，在空間編碼方法和系統(tǒng)中，非常希 望以最小數(shù)量的特征類型給投影光編碼，因為每個特征類型都由某個有限 區(qū)域的空間代碼表示。也就是說，在代碼中的特征越少，需要給特征編碼 的像素區(qū)域就越小，因為每個特征出現(xiàn)在圖像傳感器上，作為在一定數(shù)量 的方形像素上的光強度構(gòu)成。通過借助于重復的代碼限制特征類型的數(shù) 量，表示給定特征類型所需要的像素的數(shù)量被最小化。因此，在二維圖像 中可識別的特征的數(shù)量增加了 ，因而相應的點云點的數(shù)量或點云密度也增 加了 。較高數(shù)量的點云點導致較高分辨率的三維圖像。因此，給大量特征類型編碼以便避免在本實施方式中使用對極線分離 技術(shù)將不是有效的或不希望有的。通過在實施方式中描述的對極分離的技 術(shù)，相當小的矩陣代碼可提供圖像容量的"膨脹"，因為可為每個被捕獲 的圖像幀觀察到更多唯一可識別的特征。圖7示出由特征類型的一系列10x2矩陣組成的投影編碼圖樣104 的示意性圖像，其中投影再次與對極場成一角度。圖樣的每個特征具有方 形像素尺寸CxC。因此，圖樣中每個周期性矩陣的長度是XC二10C，而 高度是YC = 2C。距離P表示圖像中可辨別的對極線之間的像素中的水平 距離。如所看到的，投影圖樣104相對于對極場以角106旋轉(zhuǎn)?？杀砻?， 圖樣的Y方向上的每隔一個特征，或換句話說，相同特征的每次重新出 現(xiàn)都落在可辨別的對極線上。應認識到，矩陣可具有不同的尺寸，且該尺 寸僅僅是為了例證目的的例子。使用在相似三角形的幾何結(jié)構(gòu)中已知的原 理，可證明，具有邊H-U-V的三角形和具有邊YC-h-P的三角形是相似三 角形，因而下列一般方程成立H/U = YC/P 其中U = XC ~> H = XYC2/PH因而是出現(xiàn)在對極線108上的像素的數(shù)量。當對極分離P降低時， 角106變得較小。從該方程中我們看到，對于恒定的圖樣面積尺寸，如果 只有對極線分離P降低，則H變得較大。例如，特征110—(A)類型特征一按需要只在對極線108上出現(xiàn)一次。 特征112表示特征IIO之后特征類型(A)的下次出現(xiàn)，并表示圖像高度的 上限。如果可辨別的對極線之間的距離P減小，則角106也減小，且具 有相同數(shù)量的特征的相同編碼圖樣因而從對極場旋轉(zhuǎn)得較少。相同的特征 現(xiàn)在由仍然可辨別的較近的對極線分離，且旋轉(zhuǎn)^:影圖樣以獲得對極分離 的效應變得更明顯。特征110在對極線108上的不斷增大的距離內(nèi)重復自 身，因而擴大了H的值，且因而擴大了圖像中的唯一可識別的特征的數(shù) 量或分辨率。角106的下限在對極線不再是可辨別時出現(xiàn)，也就是說，相 同的特征類型落在兩個相鄰的對極線上，這兩個對極線太近而不能被準確 地辨別。從該方程中，我們看到，只要總矩陣尺寸不改變，矩陣的X和Y尺 寸的任何組合就對圖像覆蓋率沒有影響。例如，如果矩陣代碼的Y分量 增加而X分量減小，比如從所示的10 x 2矩形到5x4類似正方形的形狀， 我們現(xiàn)在有較接近于正方形的矩陣形狀，而不是細長的(long skinny)矩形。 然而，總矩形面積(XY)保持相同。角106減小，且圖樣從對極場旋轉(zhuǎn)得 較少，以確保在每個可辨別的對極線上的對極分離。如從方程看到的，H 保持相同，因而圖像覆蓋率不增加。特別地，矩陣結(jié)構(gòu)使得在X方向上的周期長度比在Y方向上的周期 長度大得多。這樣的矩陣代碼結(jié)構(gòu)在這里稱為優(yōu)選的方向編碼。在實際光 學組裝、校準、操作物理和靈敏性方面，X比Y大得多是合理的。例如， 成像系統(tǒng)的振動或其它晃動可使非常小的旋轉(zhuǎn)角106對對極區(qū)別變得太 小。而且，作為非優(yōu)選方向編碼圖樣的結(jié)果的較小的旋轉(zhuǎn)角需要通過較大 的安全因子降低圖像視場，以便確保對極分離?，F(xiàn)在參考圖8，其為圖6A的被捕獲的圖像的圖示，反射光圖樣500 現(xiàn)在以相對于對極場的方向的較小的旋轉(zhuǎn)角114被投影?？杀鎰e的對極線、 118和120是在圖樣的y方向上每隔一 個特征重復自身的相同的特征類型。這些特征現(xiàn)在落到對極線122A、 122B和122C上。才艮據(jù)圖7描述的方程，因為圖樣沒有改變，意味著X、 Y和C是不變的，但P降低，H變得較大。因此，H2是比圖6A的H,大 的垂直圖像高度，提供了更多的采樣點，因而在被捕獲的圖像中提供更高 的分辨率。成像系統(tǒng)現(xiàn)在可在遭遇模糊之前采樣被捕獲的圖像中更多的 點，意味著不可能沿著相同對極線遇到相同的特征類型?？蛇x地，代替增 加圖像視場，具有較小的特征的圖樣可使用高分辨率傳感器被投影。然而，當角114減小得太多時，不希望有的系統(tǒng)模糊出現(xiàn)。當角114 變得太接近于O度時，被校準的投影儀/成像裝置中任何微小的移動或晃 動可能引起失真，并妨礙清楚的對極線區(qū)分。此外，當圖樣中的周期性矩 陣在X方向上減小而在Y方向上增加時，例如上面提到的幾乎正方形形 狀，確保H不減小而需要的投影角要求P降低到一點，該點太小而不能 為對極線區(qū)分提供安全的水平距離。作為上面的幾何因素和導致誤差的可 能性的額外因素的結(jié)果，代碼優(yōu)選地利用在X方向上的優(yōu)選方向代碼。 雖然本實施方式利用旋轉(zhuǎn)的圖樣來獲得對極分離的結(jié)果，但存在包括但不 限于使投影圖樣傾斜的其它實施方式。雖然在前面的實施方式中，投影圖樣是周期性的，但應理解，在可選 實施方式中，其它編碼方案是可能的，包括但不限于可被^L影以實現(xiàn)對極 分離的非有序和/或非周期性編碼圖樣。以前的實施方式描述了使用唯一 的結(jié)構(gòu)空間編碼圖樣Pl的空間編碼:技術(shù)。然而，應i人識到，另外的實施 方式可包括時間編碼、譜編碼、其組合、或任何其它二維編碼方案或其組 合，包括涉及空間編碼實施方式例如這里描述的實施方式的組合，其實現(xiàn) 沿著可辨別的對極線的多個特征類型的區(qū)別。參考圖9，其為非有序和非周期性圖樣的示意圖。在非周期性代碼中 的二維空間構(gòu)成的每個特征類型在圖樣中被表示為數(shù)字。應認識到，每個 特征類型一在附圖中的數(shù)字1到6—在任何給定的對極線上出現(xiàn)不多于一 次。示例性對極線是124、 126和128。所示的示例性空間編碼是類似于 多米諾的圖樣。空間編碼當然可具有很多形式，可能與在圖3和下面圖10中看到的代碼類似或相同。其它結(jié)構(gòu)光編碼技術(shù)可包括雙調(diào)、灰度和/ 或多光譜技術(shù)?，F(xiàn)在參考圖10,其為包括優(yōu)選的編碼圖樣P1的示例性特征類型的圖示。特征A-J是二進制空間編碼特征類型的例子。每個特征由5個黑點和 白點的空間組合或空間構(gòu)成組成，這5個點由l個黑(局部最小值)或白 (局部最大值)中心點130和4個黑或白外圍或點132組成。5個 黑點和白點的所有可能組合產(chǎn)生32個唯一的字符或特征類型的字母表。 圖10中的示例性特征類型是任意指定的A-J，每個相應于1個中心點和4 個鞍點的不同組合。具有白中心點的特征類型相應于投影圖樣中的局部最 大照明強度，而具有黑中心點的特征類型相應于投影圖樣中的局部最小照 明強度。每個字母的外圍點相應于既非最大也非最小的照明強度，其中白 外圍點更接近于最大強度而不是最小強度，而黑外圍點更接近于最小強度 而不是最大強度。注意，其它實施方式可使用具有或多或少的鞍點的組合 的特征。例如，如果每個特征包含6個鞍點，則字母表現(xiàn)在有128個唯一 的字符或特征類型，因而有較大的圖樣周期。這樣的編碼特征將適合于具 有較多采樣點的較大圖樣的應用，例如高分辨率百萬像素成像。為了進一步舉例說明，參考圖11，其為在從成像立方體134反射之 后在圖像I'P,中看到的示例性圖樣P1的圖示。周期性圖樣包括在圖10中 描述的特征類型。示出立方體的一部分的圖像的特寫顯示在附圖的底部。 白中心點136表示圖像的緊鄰周圍的像素區(qū)域內(nèi)的最大強度反射。黑中心 點138表示圖像的緊鄰周圍的像素區(qū)域內(nèi)的最小強度反射。白鞍點140 示出較接近于最大值而不是最小值的反射強度。黑鞍點142相反，并示出 較接近于最小值而不是最大值的反射強度。當投影圖樣的特征從被成像的物體反射到圖像傳感器上時，任何給定 特征的5個點中的每個點變成被捕獲的圖像中的采樣點。這些采樣點包含 在相鄰的傳感器像素上，被反射的特征在這些像素上成像。應理解，特定 的采樣點是否是最大值、最小值或鞍點取決于在該點上的投影光強度以及 在該點處被成像的物體的材料的反射特性。最大值、最小值和鞍點優(yōu)選地通過識別其在圖像中的微商而被提取。這意味著它們通過照明中的局部變化來確定。例如，如果被從黑暗表面反 射，表示投影圖樣中局部最大照明強度的投影特征的白中心點在成像傳感 器上獲得低像素強度或灰度值。如果這樣的中心點獨立于該中心點的周圍 采樣點被編碼，則解碼引擎可能將低強度值錯誤地解釋為指示局部最小 值，或黑中心點。然而，當分析從黑暗表面反射的白采樣點的周圍像素時， 解碼引擎將看到甚至更低強度的像素值，因而出現(xiàn)將采樣點作為局部最大 〃f直的正確識別。同樣，如果被從明亮表面反射，表示投影圖樣中局部最小照明強度的 投影特征的黑中心點在成像傳感器上獲得高像素強度。再次，這樣的采樣 點的直接強度估計將錯誤地識別為包含局部最大值或白中心點的特征。然 而，通過測量在這樣的點周圍的局部強度的變化，解碼引擎將識別甚至更 高的值的像素值。作為結(jié)果，出現(xiàn)將采樣點作為局部最小值的正確識別。 因此，當分析單個投影圖樣的反射的圖像時，使用臨界點檢測。臨界點檢 測意指使用通過已知的推導分析方法的局部照明強度的變化，而不是直接 強度估計，以確保解碼過程中的正確特征檢測。而且，在之前實施方式的周期性重復代碼中，特征的鞍點和最小值或 最大值之間的相對水平距離是不變的。在解碼過程期間，確定特征的元素 或分量之間的矢量或距離集合，并預期恒定的矢量。這樣的矢量實現(xiàn)了準確的特征讀數(shù)的驗證。從噪聲和被成像的物體上的紋理差異產(chǎn)生的錯誤讀 數(shù)可通過特征的點之間的距離的驗證過程來最小化。例如，如果鞍點和最 小值之間的距離大于預期的差異，則解碼系統(tǒng)可判斷被識別的特征元素僅 僅是噪聲而不是特征的一部分?？赡芡ㄟ^相鄰點灰度值的交叉參考，相鄰鞍點和最大值的已知值進一 步用于特征驗證過程和錯誤校正。例如，在識別和驗證過程中，已知字母 表中的某些字符在其空間值布置與已知相鄰字符的空間值布置矛盾的情 況下可被消除。用于給特征識別解碼的另 一方法是通過將半有效的字符合并到已知的字符組。示例性情況是4個鞍點之一沒有被清楚地識別，但其 它3個被驗證。應理解，字符識別的很多不同實現(xiàn)是可能的，包括波長分 析或本領域中已知的任何其它方法。應認識到，編碼方案不限于二進制代碼，也不限于二進制代碼的任何 優(yōu)選光學實現(xiàn)，例如雙調(diào)、單色或雙極沖殳影，并且如在上面之前的實施方 式中給出的幾個例子中的，編碼方案可用其它方法實現(xiàn)，包括但不限于譜 編碼、非周期性編碼和時間編碼。現(xiàn)在參考圖12A和12B,其示出圖樣P1中固有的構(gòu)造過程和編碼方 案。首先參考圖12A,過程以Debruijn序列144開始。序列144在字符 空間SJ^ {0,1，2，3}上創(chuàng)建。系列具有長度2，意味著兩個數(shù)字的每個序 列出現(xiàn)至多一次。因此，Debruijn序列的長度是ISI叫E、^二16。通過用矩陣的二進制表示代替矩陣144中的每個數(shù)字，且以列的方式 寫每個二進制數(shù)字，由矩陣144產(chǎn)生矩陣146。矩陣148通過翻轉(zhuǎn)偶數(shù)列 從矩陣146得到，換句話說，矩陣的偶數(shù)列的上部行中的二進制值移到底 部行，反之亦然。執(zhí)行矩陣146中偶數(shù)列的翻轉(zhuǎn)，以避免代碼重復的情況， 意味著確保在圖樣中矩陣的任何給定循環(huán)中沒有字母出現(xiàn)多于一次?，F(xiàn)在轉(zhuǎn)到圖12B。圖12A的矩陣148被映射到具有兩種顏色的灰度 的菱形的二維圖樣I50,每種顏色表示矩陣148中的1或0。這兩種顏色 灰度圖樣重復地映射到黑、白和灰色菱形的圖樣152上。構(gòu)成具有4種顏 色灰度的合成的圖樣154。圖樣150的每種灰度菱形給圖樣152中的灰色 菱形之一涂上兩種灰度陰影之一。黑和白菱形保持不變。在接下來的兩個 步驟中，執(zhí)行菱對形圖樣154的二值化，可能通過高斯平滑，接著通過獲 得稱為銳利強度閾值的項，雖然其它技術(shù)是可能的。如最初在圖3中示出 的合成的圖樣P1為允許上述對極分離技術(shù)的投影提供了雙調(diào)尖銳圖樣。應理解，這里描述的編碼是構(gòu)造可行的基于二維空間構(gòu)成的光代碼的 僅一種方法，該代碼具有將在本發(fā)明的優(yōu)選實施方式中使用的多個特征類 型，且其它代碼類型例如完備映射、M陣列和偽隨機碼是可能的。參考圖12C,其為在從被成像的物體反射并被視為成像裝置中所捕獲 的圖像的部分之后，圖樣P1中的采樣點的簡化圖示。圖樣164是前面附 圖的圖樣154的特寫。矩陣150的32個二進制值被看作32個鞍點168。 這32個鞍點的每個都變成采樣點。每組4個鞍點具有在中央的白點172 或黑點170。黑點和白點是圖樣154中的黑和白菱形，并且也成為采樣點。62總之，在圖樣中代碼的每次循環(huán)中有64個采樣點。這些點顯示在明亮的區(qū)域173中。圖樣166是圖樣P1的特寫。在圖樣166中，在用高斯平滑 和尖銳強度閾值處理圖樣之后看到采樣點。參考圖13A，其示出實現(xiàn)上述對極分離技術(shù)的優(yōu)選投影和成像方法。 再一次，示出前面的實施方式的編碼光圖樣。如在圖3中的，編碼光圖樣 在這里被看到相對于被捕獲的圖像中的對極線174旋轉(zhuǎn)某個角度，因而將 代碼的相同的特征類型放置在分離的對極線上。旋轉(zhuǎn)角由下列方程描述。Sin -1 CP/YC)通過選#^旋轉(zhuǎn)角，可實施上面描述的對極分離技術(shù)。本領域中已知的 校準方法用于確定被捕獲的圖像中對極線的確切位置。而且，為了確保沒 有代碼的兩個相同的特征在給定的對極線上重復自身，投影圖樣高度HP 被限制在投影儀裝置中，如圖樣中明亮的區(qū)域175所例示的。作為結(jié)果， 每個周期的每個對角列被不同的對極線切割。被捕獲的圖像中的每個對極 線因此包含每種類型的一個且僅一個特征。如果所測量的深度范圍是有限 的，則如上面在圖6B中討論的，多于一個的相同的特征類型可出現(xiàn)在圖 像中的每個對極線上。像素中的圖像高度H可由上面圖7中的方程描述。 因為陰影區(qū)域的長寬比為4/3 ，關(guān)于采樣像素的總表面積由下列方程定義A= H2(4/3) = X2Y2C4/P2 (4/3)參考圖13B1。對于某些三維成像應用，需要較大數(shù)量的采樣點來獲 得期望的分辨率。為了這樣的目的，可利用在上面實施方式中圖樣P1的 變化的編碼方案，在這里稱為P2。在圖13B1中示出P2圖樣。如在Pl 中的，P2是包含由5個黑和白元素或點的空間組合組成的特征類型的二 進制空間編碼周期性圖樣。同樣，如在P1中的，黑(局部最小值)或白 (局部最大值)中心點被4個鞍點圍繞。然而，在圖樣P2中，每個字母 的兩個幾何變體包括在代碼的每次循環(huán)中，因而字母組從32到64重復。 也就是說，每個字母有一個變形Yl和另一變形XI,在變形Y1中，中央 點朝著左邊移位，變?yōu)檩^接近于左鞍點，而在變形X1中，中央點朝著右 邊移位，變?yōu)檩^接近于右鞍點落。交替的最大值和最小值在垂直方向上沒 有如在編碼圖樣Pl中那樣一個落在另一個的頂部上，而相反，每個最大給定循環(huán)中，總共有32個黑最小值，32個白最小值以及64個鞍點，總共包括128個采樣點。特別地，如上討論的，圖像中每個特征的點之間的相對水平距離現(xiàn)在 允許表示編碼的矢量。也就是說，除了允許25 = 32特征代碼的特征的5 個點以外，給定特征的點之間的變化的水平距離允許額外的特征類型出現(xiàn) 于每個圖樣中，因而增加對給定圖像可能的采樣點的數(shù)量。相同的5個特 征點的水平距離的各種組合是可能的。我們現(xiàn)在轉(zhuǎn)到圖13B2。使用Debruijn序列,以與上面在圖12A、 12B 中描述的類似的方法，構(gòu)造圖樣P2?；谏晕⒏牡腄ebruijn序列的二 進制矩陣被映射到具有兩種顏色灰度的菱形的二維圖樣282。此兩種顏色 灰度菱形圖樣被重復地映射到黑、白和灰菱形的圖樣284上。構(gòu)成具有4 種顏色灰度的合成的圖樣286。圖樣282的每個灰色菱形給圖樣284中的 灰色菱形之一涂上兩種灰度陰影之一。黑和白菱形保持不變。在接下來的 兩個步驟中，可能通過高斯平滑，接著通過獲得稱為銳利強度閾值的項， 執(zhí)行對菱形圖樣286的二值化，雖然其它技術(shù)是可能的。如最初在圖13B1 中示出的合成的圖樣P2為允許上述對極分離技術(shù)的投影提供了雙調(diào)尖銳 圖樣。在菱形陣列上實施本領域中已知的圖形處理，以獲得允許如上所述的 每個字母的兩個移位變形的"Z字型"圖樣。此外，柵格圖樣的旋轉(zhuǎn)確保以交替方式出現(xiàn)在每個對角列上的每兩個 相同的特4正不落在相同的對極線上。解碼的過程特征在于比較表示最小值、最大值或鞍點的不同采樣點之 間的相對水平距離。如上所述，解碼過程試圖識別最大值、最小值和鞍點 的位置。這樣的點之間的水平距離用于驗證在二維圖像中該位置處的特征 的存在。在本實施方式中，這些水平距離可用于識別這樣的Z字型圖樣 中的特征。例如，通過確定被識別的最大值和最大值相關(guān)的鞍點之間的相 對水平距離，可確定包括這樣的點陣列的字母標識。參考圖13C和13D。在圖13C中，呈現(xiàn)兩個圖樣T1和T2。 Tl就是 在前面實施方式中在高度上加倍的圖樣Pl。圖樣Tl與Pl —樣包含32 個特征并且周期循環(huán)為16。包含投影圖樣T1的被捕獲的圖像被示為ITI, 并允許圖樣在垂直方向上的兩次循環(huán)。因此，每個特征在圖像I"中的給 定對極線上出現(xiàn)兩次。顯著地，這些特征彼此處于等于圖樣P1的高度的 距離處。
在高度上等于圖樣T1的T2是具有不同于T1的唯一二維構(gòu)成的周期 性空間編碼圖樣。圖樣T2包括32個特征類型。每個特征類型在循環(huán)中 連續(xù)出現(xiàn)兩次(不同于在每次循環(huán)中出現(xiàn)一次的4個唯一的特征類型)。 每對相鄰的相同特征類型共享共同的鞍點。例如，在圖13D中，特征350a 和350b具有相同的類型，并相鄰于彼此出現(xiàn)。每個特征由極值和4個鞍 點組成。每個特征的4個鞍點中的兩個鞍點對于兩個特征是共同的。因此， 每對相鄰的特征包括兩個極值和6個鞍點。兩個相同特征的每個序列在圖 樣中每隔32線重復自身。
作為在圖樣T2循環(huán)內(nèi)這樣的重復的結(jié)果，當圖樣以對成像傳感器的 成的旋轉(zhuǎn)角被投影時，特征類型再次出現(xiàn)在合成的所得到的圖像中相同對 極線上的緊密鄰近的范圍內(nèi)。參考圖13D，在對極線354上看到這樣的例 子，其中相同的特征350a和350b出現(xiàn)在緊密鄰近范圍內(nèi)的線上。如在附 圖中看到的，相同的特征350a和350b在循環(huán)中^C此相鄰。因此，旋轉(zhuǎn)將 相似的特征類型放置在對極線上的緊密鄰近范圍內(nèi)。同樣，相同的特征 360a、 360b和360c以三個一組出現(xiàn)，如在循環(huán)中看到的。這三個特征因 此在如所示的緊密鄰近范圍內(nèi)沿著對極線362出現(xiàn)。因此知道了沿著對極 線的每個特征類型的位置范圍。
返回到圖13C，我們看到，增大的圖樣T1的優(yōu)點是可被成像和關(guān)聯(lián) 到空間中深度點的增大數(shù)量的采樣點。然而，相似的特征類型在相同對極 線上的出現(xiàn)可能引起如上討論的編碼過程中的模糊。例如，相同的特征 366a和366b在ITI中相同的對極線370上。為了解決這樣的模糊，第二 圖樣T2可間歇地用Tl投影。因為T2具有兩倍于Tl的長度的循環(huán)，接 著在具有與圖像It,相同的高度的固像It2中，相同的特征組364或368在圖像的長度上不重復自身。每個特征組僅沿著圖像IT2的長度出現(xiàn)一 次。 現(xiàn)在，當圖樣Tl和T2在投影儀裝置中對準并被在時間上
(temporally)投影時，可在連續(xù)圖像中沿著平行對極線的范圍內(nèi)，在所 觀察的特征之間進行比較。特征從In的第一圖像到112的第二圖像中的同 類型的(sister)特征的匹配可允許第一圖像中的特征驗證。作為例子， 特征366a被看到在反射圖樣ITI的第 一 圖像中沿著給定對極線370的特定 范圍內(nèi)。同樣，特征366b在第 一 圖像ITI中沿著此相同的對極線出現(xiàn)，雖 然離366a有一段距離。這樣的情況可導致ITI中的模糊。
具有反射圖樣T2的繼第一圖像之后被連續(xù)捕獲的第二圖像IT2包括 在相同的對極線370上的相同的特征集364a、 364b和364c,如出現(xiàn)在圖 像ITI中的特征366a。此外，在圖像1.12中此相同的對極線的不同區(qū)域中 出現(xiàn)相同的特征集368a、 368b和368c。因為這些特征集在對極線上是不 同的，每集可分別與特征366a和366b比較。也就是說，通過使來自I-n 的特征366a與IT2中的特征集364a、 364b和364c關(guān)聯(lián)，以及使來自In 的特征366b與IT2中的特征集368a、 368b和368c關(guān)聯(lián)，可消除模糊。這 是因為在第一圖像中的特征366a和366b的每個都與第二圖像中的特征集 匹配。
投影和解碼的過程如下。T1和T2被交替地投影，與攝像機同步。圖 像起先被分別解碼。如在上面的實施方式中描述的，執(zhí)行IT,的解碼，雖 然每個特征攜帶兩個圖像坐標，因為它在對極線上出現(xiàn)兩次。同樣In以 與上面實施方式相同的方式被解碼，且相似的特征被發(fā)現(xiàn)沿著相同的對極 線彼此垂直。因此，如果沒有在幀之間出現(xiàn)的被成像的物體中的運動，則 圖像序列In、 IT2、 IT1內(nèi)的每個特征可通過兩個圖像之間的關(guān)聯(lián)被驗證。 如果IT1和ITI相同，則成像場景對成像時間幀是靜止的。IT2充當分辨圖 樣，因為圖像IT2中的特定位置處的每個特征都不同于圖像IT1中的相應位 置處的特征。因為相同類型的多個特征類型在緊密鄰近范圍內(nèi)再次出現(xiàn)在 It2上，即使移動出現(xiàn)在幀之間，匹配過程仍然能識別兩個圖像之間相關(guān) 的特征。本質(zhì)上，上面的過程合并來自時間和空間兩種編碼方法的原理。
在時間編碼技術(shù)中，其中多于一個圖樣被投影在每個被捕獲的圖像的物體上，應理解，必須對正在被成像的物體的運動速度提出限制。
參考圖14，其示出圖像Ip,以及圖樣Pl的示例性字符或特征類型。
字符176表示在圖樣的每個周期內(nèi)被編碼的特征，這樣的特征的性質(zhì)在上 面圖10中被描述。注意，在本圖中對特征類型的字母的分配與圖IO無關(guān)。 圖樣P1的每個周期的長度是16，而高度是2。也就是說，相同的特征類 型或者屬于相同的對角列，例如相同的特征A和E，或?qū)儆诹心?shù) (modulo ) 16,例如相同的特征A和F。模數(shù)16意。未著相同的特征每16 個對角列周期性地隔開。然而，不是模數(shù)16的來自對角列的特征總是具 有不同的類型，例如特征A、 B、 C和D。在每個對角列上，只有兩個不 同的特征類型以交替的方式出現(xiàn)， 一個特征具有黑中心值，而一個具有白 中心值，例如A和G。如所解釋的，特征A、 E和F是出現(xiàn)在圖樣中的 具有相同類型的分立的特征。為了清楚的目的，這些分立的特征在圖3 和示出Pl的其它附圖中只稱為特征類型(A),而在本圖中，每個分開的特 征被分別分配唯一的字母A、 E和F。
相同的特征不落在相同的對極線上。作為例子，特征A和E是在圖樣中 具有相同類型的兩個分立的特征。特征A落在對極線178上。與特征A 相同的特征E被發(fā)現(xiàn)是在同 一對角線上比A低4個特征。在該對角線上， A/E特征類型每隔一個特征出現(xiàn)。特征E落在與178水平地區(qū)分的對極線 180上。我們看到圖像中的每個特征可根據(jù)特征類型和特征的相關(guān)對極線 表示。
上面實施方式討論了單個圖樣到被成像的物體上的投影。第二圖樣的 投影在確定第三維或深度時可進一步提供有價值的信息。特別是，雙重投 影與雙重成像一起可明顯增加特征類型識別的準確性和可靠性，以及提供 在深度讀數(shù)中達到非常高的分辨率的新方法。而且，在某些實施方式中， 從這里討論的雙重投影方法得到的信息中可提取紋理信息。
雙重投影方法可包括時間方法和/或光譜方法。時間方法是這樣的， 其中兩個或多個圖樣在分開的時間間隔內(nèi)被投影。光譜方法是這樣的，其 中兩個或多個圖樣以不同的光波長被投影。時間方法可利用空間光調(diào)制
67器，例如LCD、 DLP或DMD。光i普方法可例如由光復用器4丸4亍。
在下面的實施方式中，在光譜分離實現(xiàn)的情況下，光譜分離優(yōu)選地很 小，以便允許反射強度的直接比較。也就是說，在不同的但相鄰的波長處 投影到被成像的物體上的兩個相同的圖樣將以實質(zhì)上相同的反射強度反 射。所以例如，在第一圖像IV,中，高強度或白點在某個波長處投影到特 定的明亮表面上，并被大部分反射。在第二反的圖像I'-p,中，低強度或黑 點在相鄰波長處投影到相同的明亮表面上，并被大部分吸收。因為I'-FM 中的黑點在相鄰波長處被投影，黑點對于給定表面、以與在I'p,中被投影 的白點相反的方式來表現(xiàn)，并被大部分吸收。同樣，在圖像中在兩個相鄰 波長處投影的白點都以幾乎相同的方式反射。在圖像中在兩個相鄰波長處 投影的黑點都以幾乎相同的方式吸收。
參考圖15，其為本發(fā)明的優(yōu)選雙重投影和雙重成像實施方式的圖示。 I'iM是具有前面實施方式的圖樣Pl的Rubik立方體的圖像，如在圖3和 11中詳細解釋的，投影到立方體上。圖像I'-h是具有投影在立方體上的 圖樣P1的負圖樣(negative)的立方體的第二圖像。最后，圖像IV,-l'-P1 是從I'P,減去r.p,得到的合成圖像。特寫182和184是來自圖像I'fM和I'^ 中立方體的4個右下正方形的相應圖樣反射。在圖像IV,和I'-Pl中，成像 的白點是最大光強度在成像立方體的此表面位置上的投影和其后的反射 的結(jié)果。同樣，成像的黑點是最小光強度在成像立方體的此表面位置上的 投影和其后的反射的結(jié)果。所以，如果在IV,中，看到反射白點在立方體 上的特定表面位置上，則在I'.p,中，觀察到反射黑點在立方體上的相同表
面位置上。例如，圖像i'iM中所看到的白色最大值點186被看作圖像r-p,
中的黑點188。同樣，圖像I'p,中的白鞍點190由圖像I'-H中的黑鞍點192 代替。
因為Rubik立方體包括變化顏色的正方形，反射圖樣在從明亮顏色的 正方形例如194反射時顯示高對比度，而當從較暗顏色的正方形例如196 反射時顯示較低的對比度。這是下列事實的結(jié)果投影白點的能量或光強 度最大值從明亮表面反射比從黑暗表面反射的能量程度大得多，在黑暗表 面中大量能量被吸收。從明亮顏色的表面反射的投影白點在圖像中呈現(xiàn)為白色，表示具有高強度反射的被成像的物體的區(qū)域。相反，當投影白點從 黑暗顏色的表面反射時，反射白點在圖像中呈現(xiàn)得非常接近于黑，表示具 有低強度反射的被成像的物體的區(qū)域。然而在任一情況下，投影白點將總 是從任何給定的被成像的物體表面點、以比在該相同點上被投影的黑點更 高的強度反射。
因此，不管成像表面反射特性是什么，成像黑點在被成像的物體表面 上的相同位置處總是具有比成像白點低的反射強度。因此，從圖像I'n中 特定位置處的白點強度值186減去圖像I'-p,中相同位置處的黑點強度值
188將總是產(chǎn)生正的強度值200。同樣，從都在相同的圖像位置處的圖像 I'PI中的黑點204減去圖像I'-Pl中的白點202將總是產(chǎn)生負的強度值206。 因此，合成圖像中的每個像素的值符號為正或負。為了顯象目的，因為顯 示屏和打印不能理解負像素值，標準化標度可用于表示正和負的合成的強度值。
通過將圖樣和負圖樣投影在物體上，并從反射原始圖樣的圖像減去反 射負圖樣的圖像，圖像IVi中的最大值和最小值位置可直接由合成圖像I'n -I'-Pl中的相同的圖像位置的灰度級或強度的測量來確定。IV,-I'-p,圖像中
的所有正的強度值指示白點，而i'n-r—p,圖像中的所有負的強度值指示黑 點。再次，因為顯示屏可能不理解負的強度值，標準化標度可用于圖像顯 示。使用這樣的雙重投影的最大值和最小值的此直接測量與上面在圖11 中描述的單個圖樣投影情況不同。在單個圖樣投影的情況下，優(yōu)選最大值 和/或最小值的周圍點的局部強度值的額外分析，以確保較高水平的正確 特征類型識別。因此，本發(fā)明的相減方法允許魯棒性更大的圖樣識別分析， 因而允許較可靠和強大的引擎，用于從被捕獲的二維圖像中被識別的特征 得到三維空間坐標。
而且，在i'p廣r.p,圖像中的強度值的動態(tài)范圍通過兩個圖樣的相減而 加倍。這產(chǎn)生更增強的圖樣，因而有助于特征類型識別。另一優(yōu)點是合成 圖像rP1 - r.PI上環(huán)境光的效應的抵消。合成圖像顯示具有被成像的物體紋 理的較少干擾的增強的圖樣。
應理解，通過4吏用"i普分化(spectral differentiation)可在時間上拍攝兩個圖像或同時拍攝兩個圖像。同樣，兩個圖樣可使用光譜或極性分離被 同時或在時間上投影，或兩個圖樣可具有相同的波長或極性，但投影在時 間上分離。只要光譜分離接近，兩個反射圖樣的反射強度就在任何給定的 被成像的物體表面位置處實質(zhì)上確切地為負。
參考圖16,其為兩個圖像I'p,和I'-p,的相加的圖示。兩個圖像與投影
在其上的相反的圖樣照明強度的相加導致在rPI + r.PI圖像中圖樣的抵消。 這是因為在兩個圖像中任何給定相同位置的任何兩個反射強度的相加導 致顯示最大光強度從物體上所有點的反射的合成圖像。反射強度的變化因 而僅僅依賴于被成像的物體的紋理。也就是說，被成像的物體的變化的紋 理影響反射強度，白點以該強度從被成像的物體的不同點被反射。合成圖
像從在圖像I'p,和I'-Pl中觀察到的成像圖樣來分離深度被成像的物體的紋理。
現(xiàn)在參考圖17，其為本發(fā)明的雙重投影和雙重成像方法的優(yōu)選實施 方式。如在前面附圖中的，I'p,是具有投影在立方體上的圖樣Pl的Rubik
立方體的圖像。圖像r《是具有與在rPI中投影在其上的相同的圖樣的立 方體的第二圖像，只是最大值和最小值被對調(diào)。也就是說，圖像iv,中的
最大值186被看作圖像1'《中的最小值210。然而，鞍點例如圖像IV,中的 白鞍點190保持為圖像I'-c中的白鞍點212。因此，最大值由最小值代替， 反之亦然，但鞍點在兩個圖像中保持不變。最后，圖像IV,-r—c是從圖像
rPI減去圖像i'-c的合成圖像。
如在特寫214中看到的，圖像I'p,-I'-c中保留的是,最大值和最小值，
有時稱為代碼的載體。此外，對于在圖像傳感器上的任何給定位置，圖像 rPI中的反射局部強度最大值點由圖像r.c中的反射局部強度最小值點代 替。局部強度最大值作為圖像中的白點出現(xiàn)，而局部強度最小值作為圖像 中的黑點出現(xiàn)。鞍點在兩個圖像中是相同的。所以，例如，當圖像r.c中
的位置的強度值210從圖像IV,中的相同位置的強度值186減去時，在合 成圖像I'p, - 1'《中得到白點強度值216。類似地，當圖像I'.c中的位置的 強度值218從圖像IV,中的相同位置的強度值220減去時，在合成圖像I'p , -1'《中得到黑點強度值222。相反，當圖像1'《中的鞍點212從相同強度和相同位置的鞍點190減去時，鞍點作為白鞍點或黑鞍點的標識消失。另 一方面，在圖像IV,中的鞍點的位置現(xiàn)在通過相減被加重和增強。兩個圖 像的相減因此中和了圖像中的鞍點值，但清楚地描繪了其位置。而且，兩 個圖像的相減導致環(huán)境光的抵消。
合成圖像I'P,-I'-C現(xiàn)在可容易對最大值、最小值和鞍點位置被掃描。 如上解釋的，在圖10中，成像圖樣中的最大值和最小值代表圖樣中被反 射的特征的中心點。當合成圖像只顯示鞍點位置，而不是值時，對最大值 和最小值的搜索因而被簡化，且變得更快和更防止錯誤。這些最大值和最 小值接著指示特征的存在，且可確定在圖像中特征的對極線位置。剩下的 是通過鞍點的識別來確定特征類型。這可通過如在單個圖樣情況中的或如
文中描述的rPI的分析來完成。
參考圖18,其示出圖17的兩個成像圖樣I'fM和r-c的相加。兩個圖像
的相加導致合成圖像，其顯示最大光強度對所有載體位置的反射。換句話 說，所有以前的載體位置在合成圖像中變成白的。只有鞍點保留。兩個圖 像的相加導致兩個相反的載體反射強度在兩個圖像中的相同位置處的相 力口。相反，鞍點在兩個圖像中是相同的，所以兩個圖像的相加導致鞍點的增強。
例如，在I'p,圖像的特寫224中，示出具有中心點226的黑特征。特 征的兩個上部鞍點228和230是黑的。左下鞍點232也是黑的，而右下鞍 點234是白的。在I'《圖像中Rubik立方體上相同位置的特寫236中，相 同的特征現(xiàn)在具有白中心點238而不是黑的。鞍點240-246保持相同。因 此，合成圖像特寫248顯示4個鞍點250-256。因為在合成圖像 中所有栽體變成白的，鞍點可被清楚地識別，而不與局部最大值和最小值 混淆。圖17和18表明，載體從鞍點的分離允許魯棒性更大的解碼過程， 因為載體和鞍點的檢測被簡化。圖像I'PI -I'.c提供載體和鞍點檢測以及位
置信息，而圖像rP1+r.c提供鞍點識別信息。
參考圖19,其為從圖像I'p,減去圖像I'.p,的結(jié)果的絕對值得到的合成 圖像的圖示。合成圖像270是圖樣的輪廓。如上面圖15和16討論的，因 為兩個圖像是彼此的反圖像，分立的圖樣可被表示為兩個相反的正弦曲線。圖形260是包括兩個反的圖樣中的每個的正弦曲線的截面。圖像I'H 中的每個局部最大值和白鞍點分別由圖像I'-Pl中的局部最小值和黑鞍點 代替。相反，圖像I'p,中的每個局部最小值和黑鞍點分別由圖像l'-p,中的 局部最大值和白鞍點代替。兩個圖像中從相同位置關(guān)于任何兩個極值或鞍
點的絕對相減(absolute subtraction)導致在合成圖像IIV, - I'-p,l中的亮強 度點。因此，任何最大值、最小值或鞍點在圖像IIV, - I'-p,I中是亮的。這 在合成圖像的特寫272中被看到。
虛曲線262和264指示相應的圖像I'p,和I'-Pl的黑點和白點之間的邊 界區(qū)域。在正弦圖上，這些虛曲線由圖像l'p,和I'-p,的相應圖之間的交匯 點或0點表示。在這些點交匯的地方，絕對相減ii'p,-r-d的結(jié)果為0。這 些交匯點出現(xiàn)在合成圖像中的兩維平面中，產(chǎn)生圖樣的黑輪廓266。黑輪 廓在圖像270中表示最小值，并在合成圖像中提供高度可識別的曲線的連 續(xù)性的子像素分辨率。沿著該圖樣輪廓的點可通過不同的三角測量技術(shù)與 空間坐標相關(guān)。
參考圖20,其為從圖像iv,減去圖像r—c的絕對值得到的合成圖像的 圖示。如上面在圖17和18中討論的，立方體的I'—c圖像具有與投影在其 上的IV,中相同的圖樣，只是最大值和最小值對調(diào)了。也就是說，圖像IV, 中的最大值186被看作圖像r《中的最小值210。然而，圖像IV,中的白鞍 點190保持圖像1'《中的白鞍點212。因此，最大值由最小值代替，反之 亦然，但鞍點在兩個圖像中保持不變。
從圖像rP,減去I'-c的結(jié)果的絕對值產(chǎn)生圖像274。從圖像I'PI中的黑 或白載體與圖像r.c中的黑或白載體的絕對相減導致在特寫圖像276中看
到的全白載體。黑交叉點表示rPI和r—c圖像中的黑和白載體之間的邊界 線區(qū)域。邊界線區(qū)域是白載體開始變黑的區(qū)域，反之亦然。在精確的邊界 線處，像素既不是黑的也不是白的，因為值精確地在最大值和最小值之間。
這些像素的絕對相減導致圖像274中的0值、或黑點或最小值點。合成圖 像有較少的環(huán)境光并允許較清楚的解碼和極值的準確定位。
參考圖21，其為雙重圖樣投影和雙重圖樣成像的特定實施方式的圖 示。第一圖像是I'p,,而第二個是有照亮圖像的環(huán)境光的立方體的圖像。具有環(huán)境光的立方體的圖像從具有投影在立方體上的圖樣P1的立方體圖 像I'n的相減提供了實質(zhì)上無環(huán)境光的合成圖像。作為結(jié)果，合成圖像中
的圖樣被增強，因而更容易解碼。這在合成圖像278的特寫中被看到，其
中圖像的黑點和白點比在原始rP1圖像中看到的更清楚。
參考圖22，其為雙重圖樣投影和雙重圖樣成像的特定實施方式的圖 示。第一圖像是IV,，而第二個是有照亮圖像的均勻或相對均勻的光的立 方體的圖像。立方體圖像I'p,被具有投影在立方體上的均勻光的立方體圖 像除，提供了實質(zhì)上無物體紋理的合成圖像。作為結(jié)果，合成圖像中的圖 樣被增強，因而更容易解碼。這在合成圖像280的特寫中被看到，其中圖 像的黑點和白點比在原始I'P1圖像中看到的更清楚。
在附圖15-22的所有雙重投影和成像實施方式中，兩個圖像中被成像 的物體之間的對準或相對空間位置被稍微限制。成像幀之間運動被限制的 程度一般依賴于成像設備的成像策略和速度。時間和空間成像設備可用在 以前的實施方式上，以捕獲雙重圖像。
例如，在以前實施方式中雙重圖樣的時間成像的最簡單的實現(xiàn)是通過 在兩個時間間隔內(nèi)成像設備的兩個"快照"。被現(xiàn)代攝像機系統(tǒng)支持的時 間雙重成像的 一個先進方法是非均勻曝光計時?，F(xiàn)代攝像機傳感器在攝像 機傳感器的曝光時間內(nèi)實現(xiàn)控制。所以，例如，可能提供彼此接近地安排 的間隔的曝光時間對，而不是在時間上均勻地間隔開。例如，可在1=0毫 秒拍攝圖像Il,在{=5毫秒拍攝圖像I2，在100毫秒拍攝圖像I3,在105 毫秒拍攝圖像I4，依此類推。作為結(jié)果，以每秒20個圖像的平均速率得
拍攝的圖像對。作為結(jié)果，如果出現(xiàn)在第一和第二時間間隔之間的運動足 夠輕微，或可選地如果成像設備足夠快速，則可與以前實施方式中一樣執(zhí) 行兩個圖像之間的比較。
在相鄰的時間間隔的兩個連續(xù)的圖像的上面策略依賴于快速投影速 度。成像裝置傳感器應理想地不對超過投影時間的任何時間曝光，因為這 將導致成像圖樣中的環(huán)境光破壞。其它傳感器設計成對包括某些CMOS 基于每像素的計算傳感器的本發(fā)明的實施方式增加成像速度。當像素接收光強度時，這些特別設計的傳感器立即在每個像素位置執(zhí)行計算。這與在 傳感器對計算模塊騰空之后計算像素值相反。
而且，可實現(xiàn)上面的雙重成像策略以獲得與被捕獲的深度信息并行的
紋理圖像。在優(yōu)選實施方式中，圖樣每隔一個圖像幀被^:影。在剩余的圖
像幀中，均勻照明被投影到物體上，且物體被成像。假設兩個幀之間的最 小相對運動，可能把在將均勻光投影到物體上時所得到的紋理信息，應用 到包含投影圖樣的圖像中所捕獲的深度信息。
應理解，捕獲兩個圖樣的頻譜方法也是可能的。這樣的實現(xiàn)可包括多
個CCD的使用。
某些高紋理表面的反射特征可在單個成像設備系統(tǒng)中導致特征識別 誤差。因此，為了確保得到正確的三維空間坐標，可將額外的成像設備增 加到系統(tǒng)。除了這里在前面描述的單個圖像解碼方法以外，額外的成像裝 置還允許被稱為立體深度解碼的方法。
例如，使用某些實施方式的方法和裝置的雙重成像系統(tǒng)可方便地安裝 在城市環(huán)境中的移動車輛上，以捕獲在城市場景中靜止和移動的建筑物、 路標和其它物體的三維中的幾何結(jié)構(gòu)。
為了進一步理解使用優(yōu)選實施方式的方法和裝置的立體深度解碼，我 們參考圖23。在基于立體的深度成像和解碼系統(tǒng)中，彼此接近地放置的 兩個成像設備優(yōu)選地同時捕獲給定的場景。表示為圖像A和圖像B的兩 個圖像幾乎是相同的。然而，因為兩個圖像從稍微不同的角度被拍攝，被 成像的物體出現(xiàn)在兩個圖像中稍微不同的像素位置。對每個幀給定成像設 備之間的固定距離，曾經(jīng)出現(xiàn)在圖像A中某個像素位置上的任何物體必 然出現(xiàn)在圖像B中特定的對極線上。同樣，曾經(jīng)出現(xiàn)在圖像B中某個像 素位置上的任何物體出現(xiàn)在圖像A中特定的對極線上。出現(xiàn)在一個圖像 中某個像素位置的被成像的物體的距離影響在第二圖像中物體沿著相應 的對極線出現(xiàn)的位置。
現(xiàn)在，當投影儀被添加在兩個被成像的物體或攝像機之間時，結(jié)構(gòu)光 圖樣例如上面討論的圖樣可投影到成像的城市物體上。在兩個圖像的每個
74中，反射圖樣特征與被成像的物體的紋理一起出現(xiàn)，如在圖11中看到的。 任一圖像中的給定像素可包含被反射的特征的部分，因而圖像的任何隨機 選擇的方形像素區(qū)域除了被成像的物體紋理之外還可包含特征或特征的 部分。特征或特征的部分以及被成像的物體紋理包括關(guān)于任何給定像素的 信息的全體。出現(xiàn)在圖像A中方形像素位置的信息將總是出現(xiàn)在圖像B
中一組唯一的坐標(一組特定的對極線)上。同樣，出現(xiàn)在圖像B中方 形像素位置的任何信息將總是出現(xiàn)在圖像A中一組唯一的對極線上。進
一步地，如果利用與圖樣結(jié)構(gòu)和投影相關(guān)的對極分離技術(shù)，特征類型僅在 每個對極線上出現(xiàn)一次。因此，在每個圖像中沿著對極線的每個小區(qū)域是 唯一的，且特征為每個圖像提供不重復的"人造紋理"。通常通過本領域 中已知的立體校準或立體裝備校準技術(shù)來確定包括圖像之間的對極場的 一組點。
圖像B、 EP1B中的對極線包括點的總體，在這些點上，包含在圖像 A中像素區(qū)域PX1上的信息可在圖像B中找到。同樣，圖像A中的對極 線EP1A包括點的總體，在這些點上，包含在圖像B中像素區(qū)域PX2上 的信息可在圖像A中找到。圖像A中的像素位置與圖像B中像素位置之 間的關(guān)系稱為對極場。
參考圖24，存在兩個額外的對極場。這些場是l)投影儀和圖像A 之間的對極場，以及2 )投影儀和圖像B之間的對極場。這些場表現(xiàn)為如 上面在以前的實施方式中描述的，且不在這里進一步解釋。值得注意的是， 根據(jù)上面的討論，除了被成像的物體的紋理以外，特征F1可出現(xiàn)在圖像 A中像素區(qū)域PX1處。在這樣的情況下，特征F1和被成像的物體都出現(xiàn) 在圖像B中EP1"上相同的點處。 立體對應可接著如下實施。在任一圖像例如圖像A中某個位置處選 擇像素的特定組或"窗口"。只有沿著圖像B中某組對極線才能找到在圖 像A中選擇的像素的相似組。圖像B沿著這些對極線對像素的匹配組掃 描。當找到匹配的像素組時，記下圖像B中的位置。我們現(xiàn)在知道每個 圖像A和B中匹配的像素窗口及其相應的位置。兩個成像裝置之間的距 離連同對每個攝像機/成像裝置的圖像捕獲和投影的角是已知的。三角測量方法現(xiàn)在可用于確定在每個圖像中那些像素位置上成像的物體的三維 空間坐標。該過程對每個像素組位置繼續(xù)，以對每個幀得到被成像的物體 的三維點云。
在包含反射圖樣的兩個圖像的立體深度解碼中，特征并非如在單個圖 像情況下那樣被解碼。更確切地，圖樣特征充當非常密集的和高對比度"人
造紋理"。在兩個圖像之間比較像素的"窗口"，以找到匹配的像素區(qū)域。 而且，因為當使用當前實施方式的投影技術(shù)時，特征類型不沿著對極線重 復自身，所以像素的每個小"窗口"沿著相應的對極線是唯一的。此外， 這些窗口可不包括完全的圖樣特征，而僅僅是特征的部分。在任一情況下， 特征充當沿著在被成像的物體的紋理的頂部上的對極線的唯一的"人造紋 理"。
在單個成像系統(tǒng)中可能導致特征識別錯誤的表面包括例如高紋理表
面、透明和半透明表面以及黑暗表面。這是因為^:影在高紋理表面上的編 碼光的特征可能變成變形的，因而作為從高紋理表面的反射的結(jié)果是不可 解碼的。雖然被反射的特征可能是不可譯碼的，但它們?nèi)詫⒀刂鴮O線的 唯一特征添加到已經(jīng)有紋理的圖像上。兩個被捕獲的二維圖像之間的比較 變得容易，因為唯一的"窗口，，可彼此匹配。被反射的特征圖樣的相加有 助于立體匹配過程。在非紋理或低紋理表面例如墻壁或玻璃中，特征可從 一個圖像提取，如在前面的實施方式中描述的。
額外的成像設備因此首先提供"另外的機會"來得到給定圖像幀的給 定場景的深度坐標?？傮w來說，使用本實施方式的配置的給定場景的三維 坐標被計算三次。在每個圖像中分開地通過被反射的特征解碼一次，以及 第三次是來自第 一和第二圖像之間的對應性的比較。
以下是系統(tǒng)幾何約束，加以系統(tǒng)幾何約束以便除了單個圖像解碼以外 還實現(xiàn)立體深度解碼。在第 一成像設備和投影儀之間以及在第二成像設備 和投影儀之間設置有時稱為基線的適當位移。兩個成像設備理想地在投影 儀的相對側(cè)上，每個在離投影儀的180度處。因此，兩條基線彼此平行， 且三個光學中心(投影儀和兩個成像設備)在單線上或幾乎在單線上。投 影儀和成像設備的順序可變化。然而，對極分離技術(shù)施加了所有投影儀和成像設備都相對于彼此位于實質(zhì)上直線內(nèi)的約束。投影圖樣以適當?shù)膬A角 被投影，如在上面的實施方式中描述的，以確保對極分離都沿著成像設備 和才殳影儀之間的對極場以及兩個成像i殳備之間的對極場。
實際上，可進一步期望將投影儀更接近于成像設備之一比如第一成像 設備放置。第 一成像設備和投影儀之間的較小距離特別適合于從那些物體 反射的特征的解碼。第二成像設備和投影儀之間的中等位移特別適合于從 在更遠處的物體反射的特征的解碼。最后，第一成像設備和第二成像設備 之間的大位移適合于遙遠的被成像的物體的立體匹配。因為投影儀具有有 限的能量，投影圖樣可能常常不能到達遙遠的物體。在這樣的情況下，通
匹配。因此，對立體匹配的任務保留最大的基線。
現(xiàn)在參考圖25,其為示出在產(chǎn)生城市地區(qū)的三維地圖的過程中的步 驟的簡化流程圖。在圖25的例子中，城市地區(qū)不限于單個"規(guī)劃"或風 景。相反，當移動的車輛在不同的位置時，例如通過將投影儀和/或成像 裝置安裝在移動的車輛上并捕獲圖像，從不同位置和不同角度捕獲多個三 維圖像。
流程圖示出投影儀和兩個成像裝置的例子，但具有更多投影儀和成像 裝置的其它配置是可能的。如上解釋的，在當前實施方式中使用至少兩個 成像裝置的原因是，除了到現(xiàn)在為止所描述的使用單個成像裝置的主動三 角測量法以外，還實現(xiàn)立體深度測量。
該過程如下。首先，在步驟sl中，如在以前實施方式中的產(chǎn)生兩維 編碼光圖樣。該兩維圖樣應構(gòu)造成使得上面討論的對極分離技術(shù)能夠被實 現(xiàn)。在以前實施方式中的圖樣P1特別適合于城市建模，因為圖樣是可縮
放的，并可對城市物體被做得相當大。其次，在步驟s2中，圖樣從安裝 在移動車輛上的投影儀被投影到城市場景中的物體上。這些城市物體可包
括建筑物、汽車、植物、街道標志、人或任何其它物體。如上討論的投影 _忮術(shù)確<呆對才及分離。
在步驟s3中，從優(yōu)選地以與場景成稍微不同的角度定位的兩個成像 裝置中的每個成像裝置捕獲圖像。圖像優(yōu)選地被同時捕獲，并顯示原始紋理和圖樣的合并。在步驟S4中，如在前面的實施方式中的，根據(jù)沿著相 應的對極線的特征及其位置，兩個被捕獲的圖像中的每個被獨立分析。除 了步驟s4以外，在兩個圖像之間執(zhí)行使用如上所述的立體對應的比較。
在該比較中，識別兩個圖像中類似的像素區(qū)域。如所討論的，類似的像素 區(qū)域指示了相同的成像位置出現(xiàn)在每個圖像中的何處。沿著其它圖像中某 些對極線搜索一個圖像中給定的像素區(qū)域，并找到對應性。
現(xiàn)在，在步驟S5中找到每個圖像中的特征和原始圖樣之間的對應性，
如上面的實施方式中描述的。此外，在步驟5中，計算兩個圖像中相應的
像素"窗口"之間的相對位置。根據(jù)對應性，使用三角測量找到三維空間
坐標，見步驟s6。
如上所討論的，圖像之間的比較允許從富紋理表面、黑暗表面、局部 不平滑表面、透明表面、有光澤的表面等推導三維坐標，而在單個圖樣條 件下這些表面可能被錯誤地識別或根本不能被識別。在一起采用的被成像
的物體的3個三維坐標映射允許成像場景的三維點云的構(gòu)造，如在步驟 s7中看到的。該點云可進一步被處理，以得到網(wǎng)狀或三維表面，如在步 驟s8中看到的。三維表面可接著與來自額外的攝像機或CCD的紋理數(shù)據(jù) 一起被進一步處理。也可增加城市場景的空中數(shù)據(jù)(aerial data )。這樣的 紋理和空中數(shù)據(jù)可補充通過步驟si-s8得到的深度三維深度圖。
一般通過圖像處理設備或本領域中已知的各種設備實施步驟s4到 s9。紋理數(shù)據(jù)可用很多方法獲得。 一種方法是通過增加額外的CCD。另 一種是通過將可調(diào)濾波器添加到單個"可轉(zhuǎn)換的"CCD,以便在某些時 間間隔CCD捕獲圖樣，因而捕獲深度信息，而在其它時間間隔CCD捕 獲紋理信息。又一方法是通過簡單地增加紋理專用攝像機以與深度捕獲系 統(tǒng)并行工作。
如所述，在優(yōu)選實施方式中使用的單個圖樣方法允許成像/投影儀系 統(tǒng)和成像^i市物體之間的相對運動。因此，該方法和裝置特別適合于一種 實現(xiàn)，其中成像裝置安裝在以不同速度在整個城市環(huán)境中移動的地面車輛 上。
為了獲得在三維中的動態(tài)場景建模，重復步驟s2到s8,并獲得一序
78列三維圖像。來自移動物體的數(shù)據(jù)處理可通過適當?shù)奶幚碥浖陀布崟r 地出現(xiàn)，以從物體的三維點云及其隨著時間的過去在三維空間中的運動得 到表面和形狀。
因為圖25中的本實施方式可通過單個圖樣結(jié)構(gòu)光代碼的投影來實 現(xiàn)，圖像捕獲的速度一般只被圖樣在其中實現(xiàn)的成像裝置的速度限制，因 而對城市風景的快速三維建模是可能的。城市場景建模的上面的實施方式 不是限制性的，且利用立體解碼方法和裝置的其它實施方式是可能的。
被動或主動的立體匹配提供對成像場景的非常密集的采樣。這是因為 比如第 一 圖像的任何給定像素的內(nèi)容提供相對于在第二圖像中出現(xiàn)的相 同內(nèi)容的不一致性測量。該不一致性測量對每個給定像素意味著深度值。
所以如果CCD傳感器包含X個像素，則得到X深度坐標。
相反，在如上解釋的單個圖像的解碼中，被解碼的每個特征在傳感器
上具有某個空間區(qū)域。讓我們假定一般有IO個方形像素，所以解碼的二 維圖像具有X/10深度坐標，從該二維圖像對三維空間坐標作三角測量。 所以立體匹配實現(xiàn)具有IO倍之多的深度坐標，因而有較密集的采樣。
而且，在立體匹配中，通過執(zhí)行兩個被捕獲的圖像的兩個向上采樣的 版本之間的匹配過程，子像素分辨率是可能的。例如，在兩個圖像中的每 個中，像素的每個4x4塊被4倍向上采樣，達到大小為16x 16像素塊。 在第一圖像中選擇某個向上采樣的塊。接著在第二圖像中搜索與像素的該 向上采樣的塊類似的塊。像素之間的對應性現(xiàn)在是就向上采樣的像素而言 的。所以如果在兩個圖像之間發(fā)現(xiàn)比如21個像素的不一致性，則這等于 21/4=5.25個原始像素。剩余的四分之一像素是是就原始圖像分辨率的子 像素分辨率而言的。
本發(fā)明的基于運動的三維圖像捕獲和深度測量的方法和裝置對醫(yī)學 成像領域有特定的應用。對于靜止和移動的表面解剖的建模，可實時地計 算在三維中確定解剖表面部分的形狀和尺寸的表面圖像?？蛇M一步處理通 過上面的實施方式確定的三維點云，以得到物體的表面和形狀以及其隨著 時間的過去在三維空間中的運動。這些表面和形狀稱為三角剖分 (triangulation mesh)。這樣的三維建模數(shù)據(jù)可能對各種醫(yī)學應用特別有用，包括但不限于用 于肺瘤分析、皮膚生長分析、骨骼結(jié)構(gòu)分析、牙齒外科應用、上頷面和其 它切骨手術(shù)、皮膚癌和黑素瘤診斷、修復術(shù)應用、康復目的、運動醫(yī)學應 用和整形外科以及其它美容醫(yī)療過程的外部三維成像。
列舉幾個，在重建、整形和牙齒外科的領域中，生物力學建模在手術(shù) 規(guī)劃和術(shù)后復查中可利用人體測量數(shù)據(jù)的動態(tài)三維建模。手術(shù)的預期美容 結(jié)果對患者很重要，且當前實施方式的成像系統(tǒng)允許三維的軟組織預測。 解剖變化的術(shù)后復查，例如乳房假體和縮小、皮膚填充物、面部和頸部除 皺術(shù)可通過使用當前實施方式的三維成像系統(tǒng)來實現(xiàn)。
對于解剖部分的康復應用骨架建模，例如在美國專利號6,133,921中 討論的骨架建模可根據(jù)三維點云的分析來實施。可接著執(zhí)行骨架模型的運 動分析。在牙齒應用的領域中，三維輔助建模和其它面部骨骼分析是可能 的。其它應用包括腫瘤形狀和尺寸的測量、重建的手術(shù)規(guī)劃和診斷、牙齒 和整形外科、修復術(shù)、康復和皮膚癌分析。
現(xiàn)在參考圖26，其為示出在根據(jù)本發(fā)明的表面解剖的三維圖像捕獲 過程中的步驟的簡化流程圖。在步驟300中，產(chǎn)生兩維編碼光圖樣。接著， 在步驟302中，所產(chǎn)生的圖樣投影到外部解剖部分上。因為皮膚表面是自 然的低紋理表面，當前實施方式的結(jié)構(gòu)光圖樣自然適合于皮膚表面成像。 在步驟304中，解剖部分的二維成像和反射圖樣被成像設備捕獲。在步驟 306中，被捕獲的圖像被發(fā)送到處理器，用于提取被反射的特征類型及其 在被捕獲的圖像中沿著相應的對極線的位置。在步驟308，使特征沿著其 對極線的位置接著與反射該特征的成像解剖部分上的三維坐標相關(guān)。沿著 對極線的特征位置和三維空間坐標之間這個對應過程確定解剖形狀。該過 程通過三角測量技術(shù)實施，如上所討論的。對于二維圖像中的每個被識別 的特征，因此得到指示特征從解剖部分反射的空間中的點的相應的三維坐 標。通過所有這樣的三維坐標的編制，在步驟310得到三維點云，其給出 成像解剖部分的三維圖。如果解剖部分移動，則重復步驟304到310,并 得到空間中的三維坐標的序列。在步驟312,該序列包括隨著時間的過去 設置的點云數(shù)據(jù)，據(jù)此可產(chǎn)生運動中的骨架。在優(yōu)選實施方式中，該靜止或動態(tài)骨架模型被進一步處理，并優(yōu)選地 輸出到二維或三維屏幕用于觀看。如所述，可對靜止或運動的解剖實時地 處理三維坐標。通過后處理，例如，點云和/或骨架模型被傳輸?shù)奖硎境?像解剖部分的尺寸的三維表面中。處于運動或靜止的三維成像表面可用在 附圖的底部所示出的和上面所討論的應用中。
在可選實施方式中，特別是在修復術(shù)或康復應用中，解剖部分可用布 (clothing)或其它材料覆蓋。而且，上面的實施方式可與額外的成像設備特 別是基于 一 個或多個紋理的成像設備一起實現(xiàn)，以得到紋理信息連同深度
信息。這樣的實現(xiàn)的例子包括RGBZ、椅背板(splat)、彩色體素和紋理表 面。 一般，這些實現(xiàn)包括增加紋理專用的攝像機以與深度捕獲系統(tǒng)并行地
及通過避免阻塞的增加的可見度。而且，這樣的額外基于紋理的攝像機允 許高對比度、高紋理的非平滑表面例如毛發(fā)的重建。
而且，其它實施方式可優(yōu)選地利用如上所述的第二成像設備。立體主 動三角測量技術(shù)提供了 一些優(yōu)點。在所得到的三維圖像中出現(xiàn)較少的阻 塞，因為物體或解剖元件現(xiàn)在從多于一個的視點成像。對于上面提到的高 對比度、高紋理的表面，例如被毛發(fā)、斑點、黑素瘤覆蓋的身體部分，立 體成像被優(yōu)選為如上討論的。最后，使用如上討論的立體匹配也得到較高 的分辨率。因為人類身體通常是低紋理表面，對于需要靜止或移動的身體 部分的幾何形狀的大多數(shù)應用，利用單個圖像解碼和三維空間坐標推導。
很多醫(yī)學應用需要三維運動捕獲，用于解剖運動分析。而且，人類身 體即使在休息時也不是靜止的。作為結(jié)果，密集的采樣對每個幀是必要的。
當前實施方式的基于運動的三維圖像捕獲和深度測量的仍然進一步 的應用在機動車領域。 一個重要的應用是機動車輛的三維備援攝像機 (backup camera )。測量在倒車的車輛^各徑中的可能障礙的深度并及時警 告駕駛員的能力是重要的安全需要。對于在倒車的車輛的路徑中的任何給 定的被識別的物體，期望確定物體的分類，例如尺寸、準確的位置、物體 -車輛相對速度和重要地物體有生命的還是無生命的。
在圖27中示出機動車應用的一般流程圖。如上所提到的，至少一個
81投影儀和至少一個傳感器裝置安裝在車輛的后側(cè)上。在步驟324,投影儀
可能使用來自激光LED投影儀的IR光來投影二維編碼光圖樣。圖樣在限 定的側(cè)面和深度范圍內(nèi)，在車輛后面從靜止和移動的物體^皮反射。傳感器 接著捕獲反射圖樣和紋理信息，如在步驟326所看到的。在步驟328，該 數(shù)據(jù)接著被車栽處理單元處理，以識別特征及其在二維圖像中沿著相應的 對極線的位置。在步驟332，特征的這些位置接著對應到被識別的物體的 距離。這些距離接著用于可聽得見地或在用于距離的儀表板上的顯示屏上 可見地警告駕駛員。該過程隨著時間的過去連續(xù)重復，以向駕駛員提供連 續(xù)的實時信息。
優(yōu)選實施方式利用窄帶單色成像，其比捕獲彩色圖像簡單和便宜。單 色成像允許低成本不可見IR光的投影。
預期在患者的生命期間，很多相關(guān)的設備和系統(tǒng)將發(fā)展，且在這里術(shù) 語的范圍被規(guī)定為先驗地包括所有這樣的新技術(shù)。
術(shù)語"光圖樣"、"光代碼"和"光代碼圖樣"在這里用于指任何光編 碼技術(shù)，包括但不限于結(jié)構(gòu)光、編碼光和本領域中已知的其它等效形式。
術(shù)語"對極共線"簡單地指兩個獨立的特征在給定二維圖像中相同的 對極線上出現(xiàn)。
術(shù)語"反射點距離圖像點位置關(guān)系"指被捕獲的二維圖像中的每個 點和三維空間中的點之間的一對一關(guān)系?？衫缭诜且资源鎯ζ魅玳W存 中提供該關(guān)系。
術(shù)語"特征類型不同類多個(feature-type-inhomogeneous plurality )，' 指一組特征，其中每個特征是唯一的。
由這里描述的方法和裝置成像的物體可以被可選地稱為"目標場景" 或在校準的情況下為"校準場景"。
除了其它圖像捕獲裝置以外，也可使用光電探測器的二維陣列。
術(shù)語"不受對極線排序影響"等效于說"不受場景距離影響"。
應認識到，為了清楚而在分開的實施方式的上下文中描述的本發(fā)明的某些特征也可結(jié)合單個實施方式被提供。相反，為了簡潔而在單個實施方 式的上下文中描述的本發(fā)明的各種特征也可分開地或在任何適當?shù)淖咏M 合中被提供。
雖然結(jié)合其中的特定實施方式描述了本發(fā)明，顯然很多可選、更改和 變化形式將對本領域技術(shù)人員是很明顯。因此，意圖是包括落在所附權(quán)利 要求的實質(zhì)和大范圍內(nèi)的所有這樣的可選、更改和變化形式。在本說明書 中提到的所有公布、專利和專利申請在這里都通過引用被全部并入本說明 書中，以達到好像每個單獨的公布、專利和專利申請被特別和單獨地指示 為在這里通過引用被并入的相同程度。此外，在本申請中任何參考資料的 引用或識別不應被解釋為承認本發(fā)明可利用這樣的引用作為現(xiàn)有技術(shù)。
權(quán)利要求
1.一種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述物體上，捕獲具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的二維圖像，所述被捕獲的二維圖像包括被反射的所述特征類型，根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，以及提取所述特征類型在所述被捕獲的圖像中相應的所述對極線上的位置。
2. 如權(quán)利要求1所述的方法，其中所述被反射的特征類型沿著相應 的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的相應的三維 空間坐標。
3. 如權(quán)利要求2所述的方法，其中所述三維空間坐標的編制包括三 維點云。
4. 如權(quán)利要求3所述的方法，其中所述三維點云被進一步處理以構(gòu) 成三維網(wǎng)格。
5. 如權(quán)利要求4所述的方法，其中所述三維網(wǎng)格被進一步處理以添 加所述被成像的物體的紋理數(shù)據(jù)。
6. 如權(quán)利要求2所述的方法，其中通過所述被捕獲的圖像中所述被 反射的特征類型的位置與所述被投影的圖樣中相同的所述特征類型的位 置之間的對應來計算所述三角測量。
7. 如權(quán)利要求l所述的方法，其中所述編碼光圖樣是重復的周期性圖樣。
8. 如權(quán)利要求1所述的方法，其中所述編碼光圖樣是非周期性圖樣。
9. 如權(quán)利要求l所述的方法，其中所述被投影的編碼光圖樣投影成 使得每個所述可識別的特征類型在所述可辨別的對極線的預定部分上至 多出現(xiàn)一次。
10. 如權(quán)利要求9所述的方法，其中所述對極線的所述預定部分包括 所述被捕獲的圖像中的對極線的整個長度。
11. 如權(quán)利要求9所述的方法，其中所述對極線的所述預定部分是所述被捕獲的圖像中的對極線的長度的部分。
12. 如權(quán)利要求9所述的方法，其中所述編碼光圖樣的所述投影與所 述對極線成預定的最佳角。
13. 如權(quán)利要求12所述的方法，其中所述預定的最佳投影角與所述 編碼光圖樣的尺寸相適應。
14. 如權(quán)利要求12所述的方法，其中所述預定的最佳投影角與可辨 別的對極線之間的水平距離相適應。
15. 如權(quán)利要求1所述的方法，其中根據(jù)唯一的二維構(gòu)成對所述特征 類型的所述提取步驟包括確定a) 包括所述特征類型的元素；b) 所述特征類型的所述元素之間的對極距離。
16. 如權(quán)利要求15所述的方法，其中特征的所述元素是在傳感器的 像素區(qū)域上的二維光強度構(gòu)成。
17. 如權(quán)利要求16所述的方法，其中通過在相鄰的采樣像素值中定 位光強度的臨界點來識別所述構(gòu)成。
18. 如權(quán)利要求15所述的方法，其中所述元素是二進制值。
19. 如權(quán)利要求15所述的方法，其中所述元素的位置被表示為所述 二維圖像中的兩維坐標。
20. 如權(quán)利要求15所述的方法，其中所述元素之間的所述對極距離 是恒定的。
21. 如權(quán)利要求15所述的方法，其中所述元素之間的所述對極距離變化。
22. 如權(quán)利要求1所述的方法，其中所述唯一的二維構(gòu)成包括譜編碼。
23. 如權(quán)利要求1所述的方法，其中所述被捕獲的圖像在每個連續(xù)的 時間幀;波捕獲。
24. 如權(quán)利要求23所述的方法，其中對于每個所述被捕獲的圖像， 沿著相應的對極線的所述被反射的特征類型根據(jù)三角測量確定所述被成 像的物體的相應的三維空間坐標。
25. 如權(quán)利要求24所述的方法，其中一系列幀的所有這樣的幀的所 述三維坐標構(gòu)成提供三維運動捕獲的視頻流。
26. 如權(quán)利要求25所述的方法，其中所述三維坐標被實時地計算以 提供三維運動捕獲的實時視頻流。
27. 如權(quán)利要求1所述的方法，其中所述二維編碼光圖樣通過將多個 編碼矩陣疊加在菱形圖樣上來產(chǎn)生，所述矩陣包括從Debruijn序列得到 的二進制值。
28. 如權(quán)利要求27所述的方法，進一步包括對具有疊加的編碼矩陣 的所述菱形圖樣進行高斯平滑。
29. —種裝置，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述裝置包括具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述物體上， 圖樣的所述物體的圖像，所述被捕獲的圖像包括被反射的所述特征類型，以及解碼器，其配置成a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 提取所述特征類型在所述被捕獲的圖像中相應的所述對極線 上的位置。
30. 如權(quán)利要求29所述的裝置，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的相應的三 維空間坐標。
31. 如權(quán)利要求29所述的裝置，其進一步配置成在對所述物體的所 述成像期間相對于所述物體在三維中移動。
32. 如權(quán)利要求29所述的裝置，其進一步配置成捕獲相對于所述裝 置在三維中移動的所述物體的所述圖像。
33. —種方法，其用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述 二維視頻圖像中的移動物體的三維形狀，所述二維視頻圖像的每個幀以可 辨別的幾何分離的對極線為特征，所述方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述移動物體上，捕獲具有投影在所述移動物體上的所述被投影的編碼光圖樣的所迷 移動物體的所述二維視頻圖像，所述被捕獲的二維視頻圖像包括被反射的所述特征類型，以及對于所述視頻圖像的每個被捕獲的幀a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 提取所述特征類型在相應的所述對極線上的位置。
34. 如權(quán)利要求33所述的方法，其中，對于每個被捕獲的幀，所述 被反射的特征類型沿著相應的對極線的所述位置根據(jù)三角測量確定所述 -波成Y象的物體的相應的三維空間坐標。
35. 如權(quán)利要求33所述的方法，其中對于每個投影，每個所述可識
36. —種裝置，其用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述 二維視頻圖像中的移動物體的三維形狀，所述二維視頻圖像的每個幀以可 辨別的幾何分離的對極線為特征，所述裝置包括具有多個不同的特征類型的二維編碼光圖樣，每個特征類型4艮據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述移動物體上，成像設備，其用于捕獲具有投影在所述移動物體上的所述被投影的編 碼光圖樣的所述移動物體的所述二維視頻圖像，所述被捕獲的二維視頻圖 像包括被反射的所述特征類型，以及解碼器，其配置成a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 對于所述視頻圖像的每個被捕獲的幀，提取所述特征類型在 相應的所述對極線上的位置。
37. 如權(quán)利要求36所述的裝置，其中，對于每個被捕獲的幀，所述 被反射的特征類型沿著相應的對極線的所述位置根據(jù)三角測量確定所述 被成像的物體的相應的三維空間坐標。
38. —種方法，其用于獲得包括一個或多個物體的場景的距離數(shù)據(jù)， 所述方法包括將具有多個不同的特征類型的二維編碼光圖樣投影到所述場景上，以 便從所述場景中不同的相應反射位置反射所述光圖樣的每個特征，所述特 征類型根據(jù)二維構(gòu)成在所述圖樣上可辨別為唯一的，捕獲所述場景的二維圖像，所述二維圖像包括所述被反射的特征，對出現(xiàn)在所述二維圖像中的每個所述被反射的特征a) 根據(jù)所述唯一的二維構(gòu)成確定相應的特征類型，b) 確定所述特征類型在相應的所述對極線上的位置，根據(jù)所述相應的確定的特征類型并根據(jù)所述相應的確定的對極線位 置，對所述每個被反射的特征得到相應的相關(guān)反射點的相應距離。
39. 如權(quán)利要求38所述的方法，其中所述相應距離的編制包括所述 被成像的物體的三維幾何形狀。
40. 如權(quán)利要求38所述的方法，其中對所述相應的對極線位置的所述確定包括產(chǎn)生所述被捕獲的圖像中所述相應的確定的特征類型與所述 被投影的圖樣中相同的所述特征類型的位置之間的關(guān)聯(lián)。
41. 在包括圖樣投影裝置和圖像捕獲裝置的系統(tǒng)中，所述圖樣投影裝 置操作地將多特征類型二維光圖樣投影到場景上使得所述多特征類型二 維光圖樣的每個特征從相應的反射點反射，所述圖像捕獲裝置操作地捕獲 所述場景的二維圖像，所述二維圖像包括所述被反射的特征， 一種獲得場 景數(shù)據(jù)的方法，所述方法包括a) 對于包括根據(jù)唯一的二維構(gòu)成可辨別的特征的特征集合中的每個 特征，其中所述二維光圖樣的第 一特征類型不同類的多個對極共線特征與 第 一對極線相關(guān)，而第二特征類型不同類的多個對極共線特征與不同于所 述第 一對極線的第二對極線相關(guān)，提供相應的反射點距離圖像點位置關(guān) 系的相應描述，從而提供多個所述反射點距離圖像點位置關(guān)系，b) 對于目標場景的被捕獲的二維圖像，對所述特征集合中的每個特 征，從所述場景的所述被捕獲的二維圖像根據(jù)所述唯一的二維構(gòu)成確定相 應的特征類型并確定所述每個特征的相應的對極線標識；c) 對所述特征集合中的所述每個特征，根據(jù)所述確定的特征類型和 所述對極線標識，使所述每個特征與從所述多個反射點距離圖像點位置 關(guān)系選4奪的相應的所述反射點距離圖像點位置關(guān)系關(guān)聯(lián)；以及d) 對所述特征集合中的所述每個特征，使用所述相應的選定的反射 點距離圖像點位置關(guān)系來從所述目標場景的所述被捕獲的二維圖像中的 位置確定所述目標場景中相應的反射點的位置。
42. —種系統(tǒng)，其用于從目標場景獲得場景數(shù)據(jù)，所述系統(tǒng)包括a)圖樣^投影裝置，其操作地將具有多個不同的特征類型的二維編碼光圖樣投影到所述場景上，以便每個特征從相應的反射點反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b) 圖像捕獲裝置，其操作地捕獲所述場景的二維圖像，所述二維圖像包括所述被反射的特征；以及c) 圖像處理元件，其對所述二維圖像的每個所述被反射的特征操作來i) 對每個所述被反射的特征A. 根據(jù)所述唯一的二維構(gòu)成確定特征類型；B. 確定相應的對一及線位置；以及ii) 根據(jù)所述相應的確定的特征類型并根據(jù)所述相應的確定的對 極線位置，對每個所述被反射的特征得出相應的相關(guān)反射點的相應距離。
43. —種系統(tǒng)，其用于從目標場景獲得場景數(shù)據(jù)，所述系統(tǒng)包括a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到所述場景上，以便每個特征從相應的反射點反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b) 圖像捕獲裝置，其操作地捕獲場景的二維圖像，所述二維圖像包 括所述被反射的特征，所述圖樣投影裝置和所述圖像捕獲裝置配置成使得 每個所述被反射的特征以不受場景距離影響的方式保持在所述被捕獲的 二維圖像中確定的對極線上；以及c) 圖像處理元件，其操作來i)根據(jù)所述二維圖像中的所述特征的所述唯一的二維構(gòu)成對每 個被反射的特征確定相應的特征類型
44. 一種系統(tǒng)，其用于從目標場景獲得場景數(shù)據(jù)，所述系統(tǒng)包括a)圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣投影到所述場景上，以便每個特征從相應的反射點反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b)圖像捕獲裝置，其操作來捕獲所述場景的二維圖像，所述二維圖 像包括所述被反射的特征，其中所迷圖樣投影裝置和所述圖像捕獲裝置以 不受離所述目標場景的距離影響的方式操作，使得對于在所述被捕獲的二維圖像中的多線對極線集合中的每個不同的對極線i) 所述二維光圖樣的特征類型不同類的多個投影特征存在于所述每個對極線上；ii) 至多一個特征類型存在于所述每個對極線上。
45. —種方法，其用于確定出現(xiàn)在兩個得到的二維圖像中的被成像的 物體的三維形狀，所述得到的圖像通過限定的對極場彼此相關(guān)，所述方法 包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述被成像的物體上，捕獲所述被成像的物體的第一二維圖像，捕獲所述被成像的物體的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX的所述內(nèi)容的出現(xiàn) 的相對位置。
46. 如權(quán)利要求45所述的方法，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對位置根據(jù)三角測量確定被成像的物體的相應的三維空間坐標。
47. 如權(quán)利要求46所述的方法，其中所述被成像的物體是在城市場 景中的物體，且所述三維空間坐標用于對所述場景進行三維建模。
48. —種裝置，其用于確定出現(xiàn)在兩個得到的二維圖像中的被成像的 物體的三維形狀，所述二維圖像從至少兩個實質(zhì)上相鄰的成像設備得到， 所述圖像通過限定的對極場彼此相關(guān)，所述裝置包括具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述被成像的物體上，第 一成像設備，其用于捕獲所述被成像的物體的第一二維圖像，第二成像設備，其用于捕獲所述被成像的物體的第二二維圖像，圖像處理設備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中的特定的對極線EPm上，b) 在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對位置。
49. 如權(quán)利要求48所述的裝置，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對位置根據(jù)三角測量確定被成像的物體的相應的三維空間坐標。
50. 如權(quán)利要求49所述的裝置，其中所述被成像的物體是在城市場 景中的物體，且所述三維空間坐標用于對所述場景進行三維建模。
51. —種基于三角測量的方法，其用于對城市場景的三維建模，所述 方法捕獲具有投影在所述城市場景上的被投影的結(jié)構(gòu)光圖樣的所述城市 場景的至少兩個圖像，所述圖像通過限定的對極場彼此相關(guān)，每個圖像進 一步具有與投影儀有關(guān)的額外的對極場，所述方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將編碼光圖樣投影到所述城市場景上，捕獲包括被反射的所述特征類型的、所述城市場景的第一二維圖像， 捕獲包括被反射的所述特征類型的、所述城市場景的第二二維圖像， 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對位置，以及獨立地對于每個所述被捕獲的圖像，進一步根據(jù)所述唯一的二維構(gòu)成 提取所述被反射的特征類型，并提取所述特征類型在相應的對才及線上的位置。
52. 如權(quán)利要求51所述的方法，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定在所述城市場景中一皮成像的物 體的相應的三維空間坐標。
53. 如權(quán)利要求51所述的方法，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對位置根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三 維空間坐標。
54. 如權(quán)利要求53所述的方法，其中所述三維空間坐標用于對所述 城市場景進行三維建模。
55. 如權(quán)利要求54所述的方法，其中城市場景的所述三維建模在顯 示器上被顯示給用戶，所述顯示器允許所述用戶在所述城市場景中巡視。
56. 如權(quán)利要求54所述的方法，其中紋理信息被添加以補充所述城 市建模。
57. 如權(quán)利要求56所述的方法，其中空中數(shù)據(jù)被添加以補充所述城 市建模。
58. —種裝置，其用于對城市場景進行基于三角測量的三維建模，所 述裝置包括用于捕獲所述城市場景的至少兩個圖像的至少兩個實質(zhì)上相 鄰的成像設備，所述裝置進一步具有用于將結(jié)構(gòu)光圖樣投影在所述場景中 的物體上的投影儀，所述圖像通過限定的對極場彼此相關(guān)，每個圖像進一 步具有與所述投影儀有關(guān)的額外的對極場，所述裝置包括具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述城市場景上，第一成像設備，其用于捕獲包括被反射的所述特征類型的、所述^^市 場景的第一二維圖像，第二成像設備，其用于捕獲包括被反射的所述特征類型的、所述城市 場景的第二二維圖像，圖像處理設備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，b) 在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)答,c) 確定在所述第一圖^f象和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對位置，以及d) 獨立地在每個圖像中根據(jù)所述唯一的二維構(gòu)成提取所述被反 射的特征類型并提取所述特征類型在相應的對極線上的位置。
59. 如權(quán)利要求58所述的裝置，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定在所述城市場景中被成像的物 體的相應的三維空間坐標。
60. 如權(quán)利要求59所述的裝置，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對位置根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三 維空間坐標。
61. 如權(quán)利要求60所述的裝置，其中所述三維空間坐標用于對所述 城市場景進行三維建模。
62. 如權(quán)利要求61所述的裝置，其中城市場景的所述三維建模在顯 示器上被顯示給用戶，所述顯示器允許所述用戶在所述城市場景中巡視。
63. 如權(quán)利要求61所述的裝置，其中紋理信息被添加以補充所述城 市建模。
64. 如權(quán)利要求61所述的裝置，其中空中數(shù)據(jù)被添加以補充所述城 市建模。
65. 如權(quán)利要求61所述的裝置，其進一步配置成在對所述城市場景 的所述成像期間相對于所述城市場景中的物體在三維中移動。
66. 如權(quán)利要求61所述的裝置，其進一步配置成捕獲相對于所述裝 置在三維中移動的所述城市場景中的物體的所述圖像。
67. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個所述 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上， 捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第一被捕獲的圖像中減去所述第二被捕荻的圖像來荻得合成 圖像，以及在所述合成圖像中，根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征 類型并提取所述特征類型在相應的對極線上的位置。
68. 如權(quán)利要求67所述的方法，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的相應的三 維空間坐標。
69. 如權(quán)利要求67所述的方法，其中所述光圖樣在時間上被投影。
70. 如權(quán)利要求67所述的方法，其中所述光圖樣以光的不同譜值被投影。
71. 如權(quán)利要求70所述的方法，其中具有不同謙值的所述光圖樣在 時間上被投影。
72. 如權(quán)利要求67所述的方法，其中所述第一圖像和所述第二圖像 在時間上被捕獲。
73. 如權(quán)利要求72所述的方法，其中所述時間成像在不均勻的時間 間隔上實施。
74. 如權(quán)利要求67所述的方法，其中所述第一圖像和所述第二圖像 使用譜分化被同時捕獲。
75. 如權(quán)利要求67所述的方法，進一步包括對所述被成像的物體的 第三圖像的捕獲，所述第三圖像包括紋理信息。
76. 如權(quán)利要求67所述的方法，其中所述合成圖像中所述特征類型 的所述提取通過確定采樣點的直接強度值來實施。
77. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述方法包括提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供具有多個不同的可識別的特征類型的、不同于所述第一圖樣的第 二二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述第一編碼光圖樣和所述第二編碼光圖樣投影在所述物體上，捕獲1)具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一 圖像，所述第 一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，獨立地在每個圖像中根據(jù)所述唯 一 的二維構(gòu)成提取所述被反射的特征類型并提取所述特征類型在相應的對極線上的位置；比較所述第二圖像中的對極線的區(qū)域與第 一 圖像中沿著相同的對極 線的相似區(qū)域，以^S正第 一圖像中的特征標識。
78. —種方法，其用于從兩個二維圖像獲得紋理數(shù)據(jù)，每個所述圖像 包括用于對每個圖像獨立地獲得被成像的物體的深度數(shù)據(jù)的反射碼，所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上，捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第二被捕獲的圖像與所述第 一被捕獲的圖像的相加中獲得合 成圖像，所述合成圖像提供所述被成像的物體的紋理信息。
79. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型由變化的光強度的點組成，其中所述特征類型的一個點是最大值或最 小值，提供第二二維編碼光圖樣，所述第二二維編碼光圖樣包括具有所述最 大值或最小值反轉(zhuǎn)了的所述第一圖樣，將所述第一編碼光圖樣和所述第二編碼光圖樣投影在物體上，捕獲` 1 )具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一 圖像，所述第 一 圖像包括被反射的所述特征類型，`2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，從所述第 一被捕獲的圖像中減去所述第二被捕獲的圖像來獲得合成 圖像，所述合成圖像包括所述被反射的特征類型的所述最大值點和所述最 小值點，以及在所述合成圖像中提取所述最大值點和所述最小值點以及在所述相 應的對極線上的所述最大值點和所述最小值點的位置。
80. 如權(quán)利要求79所述的方法，其中最大值和最小值的所述位置用 于確定所述第一圖像中相應的特征類型位置。
81. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述方法包括提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個 特征類型由變化的光強度的點組成，其中所述特征類型的 一個點是最大值 或最小值，提供第二二維編碼光圖樣，所述第二二維編碼光圖樣包括具有所述最 大值或最小值反轉(zhuǎn)了的所述第 一 圖樣， 將所述第一編碼光圖樣和所述第二編碼光圖樣^:影在所述物體上，捕獲`1 )具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一圖像，所述第 一 圖像包括被反射的所述特征類型，`2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，從所述第 一被捕獲的圖像與所述第二被捕獲的圖像的相加來獲得合 成圖像，所述合成圖像包括所述被反射的特征類型的非最大值強度點和非最小值強度點，以及在所述合成圖像中提取所述被反射的特征類型的所述非最大值點和 所述非最小值點以及所述非最大值點和所述非最小值點在所述相關(guān)的所 述對極線上的位置。
82. 如權(quán)利要求79和81所述的方法，其中沿著相應的對極線的所述最大值和所述最小值的所述位置以及所述非最大值點和所述非最小值點 的沿著相應的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的 相應的三維空間坐標。
83. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為 特征，所述方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上， 捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第一被捕獲的圖像與所述第二被捕獲的圖像的相減的絕對值 來獲得合成圖像，所述合成圖像包括所述被反射的特征類型的輪廓，在所述合成圖像中提取所述輪廓以及所述輪廓在相應的所述對極線 上的位置。
84. 如權(quán)利要求83所述的方法，其中所述輪廓沿著相應的對極線的 所述位置根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
85. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影在所述物體上，捕獲1)具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的環(huán)境光的所述物體的第二圖像，從所述第一被捕獲的圖像中減去所述第二被捕獲的圖像來獲得合成 圖像，在所述合成圖像中提取所述被反射的特征類型和所述特征類型在相 應的所述對極線上的位置。
86. 如權(quán)利要求85所述的方法，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的相應的三 維空間坐標。
87. —種方法，其用于確定出現(xiàn)在兩個得到的二維圖像中的被成像的 解剖表面元件的三維形狀，所述得到的圖像通過限定的對極場彼此相關(guān)， 所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述解剖表面元件上，捕獲所述解剖表面元件的第一二維圖像，捕獲所述解剖表面元件的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域pxi，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對位置。
88. 如權(quán)利要求87所述的方法，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對位置根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
89. —種裝置，其用于確定出現(xiàn)在兩個得到的二維圖像中的被成像的 解剖表面元件的三維形狀，所述二維圖像從至少兩個實質(zhì)上相鄰的成像設 備得到，所述圖像通過限定的對極場彼此相關(guān)，所述裝置包括具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型 根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述解剖表面元件上，第一成像設備，其用于捕獲所述被成像的解剖表面元件的第一二維圖像，第二成像設備，其用于捕獲所述被成像的解剖表面元件的第二二維圖像，圖像處理設備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，b) 在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對位置。
90. 如權(quán)利要求89所述的裝置，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對位置根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
91. 一種基于三角測量的方法，其用于對解剖表面元件的三維建模， 所述解剖表面元件的至少兩個圖像，所述圖像通過限定的對極場彼此相關(guān)，每個圖像進一步具有與投影儀有關(guān)的額外的對極場，所述方法包括提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述解剖表面元件上，捕獲包括被反射的所述特征類型的、所述解剖元件的第一二維圖像， 捕獲包括被反射的所述特征類型的、所述解剖元件的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對位置，以及獨立地對于每個所述被捕獲的圖像，進一步根據(jù)所述唯一的二維構(gòu)成 提取所述被反射的特征類型并提取所述特征類型在相應的對極線上的位置。
92. 如權(quán)利要求91所述的方法，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定被成像的解剖表面元件的相應 的三維空間坐標。
93. 如權(quán)利要求92所述的方法，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對位置根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
94. 如權(quán)利要求93所述的方法，其中所述三維空間坐標用于對所述 解剖表面元件進行三維建;f莫。
95. 如權(quán)利要求94所述的方法，其中解剖表面元件的所述三維建模 在顯示器上被顯示給用戶，所述顯示器允許所述用戶在所述解剖表面元件 周圍巡-見。
96. 如權(quán)利要求94所述的方法，其中紋理信息被添加以補充所述解 剖表面元件建模。
97. —種裝置，其用于對解剖表面元件進行基于三角測量的三維建模， 所述裝置包括用于捕獲所述解剖元件的至少兩個圖像的至少兩個實質(zhì)上 相鄰的成像設備，所述裝置進一步具有用于將結(jié)構(gòu)光圖樣投影在解剖元件 上的投影儀，所述圖像通過限定的對極場彼此相關(guān)，每個圖像進一步具有與所述投影儀有關(guān)的額外的對極場，所述裝置包括二維編碼光圖樣，其具有多個不同的特征類型，所述被反射的特征類 型依據(jù)所述唯 一 的二維構(gòu)成以及所述特征類型在相應的對極線上的位置，投影儀，其用于將所述編碼光圖樣投影到所述解剖元件上，第一成像設備，其用于捕獲包括被反射的所述特征類型的、所述解剖 元件的第一二維圖像，第二成像設備，其用于捕獲包括被反射的所述特征類型的、所述解剖 元件的第二二維圖像，圖像處理設備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對極線EPm上，b) 在所述第二圖像中沿著所述對極線EPm找到PX1的所述內(nèi)容,c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對位置，以及d) 獨立地在每個圖像中提取所述被反射的特征類型和所述特征 類型在相應的所述對極線上的位置。
98. 如權(quán)利要求97所述的裝置，其中所述被反射的特征類型沿著相 應的對極線的所述位置根據(jù)三角測量確定被成像的解剖表面元件的相應 的三維空間坐標。
99. 如權(quán)利要求98所述的裝置，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對位置根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
100. 如權(quán)利要求99所述的裝置，其中所述三維空間坐標用于對所述 解剖表面元件進行三維建模。
101. 如權(quán)利要求100所述的裝置，其中解剖表面元件的所述三維建 模在顯示器上被顯示給用戶，所述顯示器允許所述用戶在所述解剖表面元 件周圍巡視。
102. 如權(quán)利要求100所述的裝置，其中紋理信息被添加以補充所述 解剖表面元件建才莫。
103. 如權(quán)利要求97所述的裝置，其進一步配置成在對所述解剖元件 的所述成像期間相對于所述解剖表面元件在三維中移動。
104. 如權(quán)利要求97所述的裝置，其配置成捕獲相對于所述裝置在三 維中移動的所述解剖表面元件的所述圖像。
105. —種可安裝在機動車輛上的裝置，所述裝置配置成獲得在離所 述車輛的尾部的一定范圍內(nèi)的物體的深度數(shù)據(jù)，并進一步配置成獲得二維 圖像以便從所述二維圖像確定所述深度數(shù)據(jù)，所述二維圖像以可辨別的幾 何分離的對極線為特征，所述裝置包括二維編碼光圖樣，其具有多個預定的可識別的特征類型，每個特征類 型根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述物體上，圖樣的所述物體的圖像，所述被捕獲的圖像包括被反射的所述特征類型， 以及解碼器，其配置成根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類 型并提取所述特征類型在所述被捕獲的圖像中相應的所述對極線上的位置。
106. 如權(quán)利要求105所述的裝置，其中所述被反射的特征類型沿著 相應的對極線的所述位置根據(jù)三角測量確定所述被成像的物體的相應的 三維空間坐標。
107. 如權(quán)利要求105所述的裝置，其進一步配置成在對所述對象的所述成像期間相對于所述物體在三維中移動。
108. 如權(quán)利要求105所述的裝置，其配置成捕獲相對于所述裝置在 三維中移動的所述物體的所述圖像。
109. —種系統(tǒng)，其用于獲得位于機動車輛后的目標場景的深度數(shù)據(jù)， 所述系統(tǒng)包括a) 圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼 光圖樣」投影到所述場景上，使得每個特征從相應的反射點反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣上可辨別為唯一的；b) 圖像捕獲裝置，其可安裝在所述機動車輛上，并操作地捕獲所述 場景的二維圖像，所述二維圖像包括所述被反射的特征；以及c) 圖像處理元件，其對所述二維圖像的每個所述被反射的特征操作來i) 對所述每個^f皮反射的特征A. 根據(jù)所述唯一的二維構(gòu)成確定特征類型；B. 確定相應的對極線位置；以及ii) 根據(jù)所述相應的確定的特征類型并根據(jù)所述相應的確定的對 極線位置，對每個所述被反射的特征得出相應的相關(guān)反射點的相應距離。
110. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二 維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對極線 為特征，所述方法包括提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述物體上， 捕獲1)具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的均勻光的所述物體的第二圖像， 從所述第一被捕獲的圖像被所述第二被捕獲的圖像除，來獲得合成圖像，在所述合成圖像中提取所述被反射的特征類型和所述特征類型在相 應的所述對4及線上的位置。
111. 一種系統(tǒng)或方法，其用于實質(zhì)上如在上文或在任何附圖中描述 或示出的三維成像。
全文摘要
一種方法和裝置，其用于獲得圖像以使用具有多個不同的可識別的特征類型的二維編碼光圖樣來確定靜止或移動物體的三維形狀。編碼光圖樣投影到物體上，使得每個可識別的特征類型在可辨別的對極線的預定部分上出現(xiàn)至多一次。捕獲物體的圖像，并提取被反射的特征類型連同其在被捕獲的圖像中已知對極線上的位置。根據(jù)三角測量映射，在二維圖像中被識別的特征類型的位置對應到空間中的三維坐標。因此獲得在一個時間處的被成像的物體的三維映射或建模。
文檔編號G01B11/25GK101627280SQ200780050227
公開日2010年1月13日 申請日期2007年11月20日 優(yōu)先權(quán)日2006年11月21日
發(fā)明者伊亞爾·戈登, 古爾·阿里·比坦 申請人:曼蒂斯影像有限公司