根據(jù)立體視圖原理的3d相機(jī)和用于獲取深度圖的方法
【專利摘要】本發(fā)明涉及根據(jù)立體視圖原理的3D相機(jī)和用于獲取深度圖的方法。本發(fā)明提出了一種根據(jù)用于獲取監(jiān)控區(qū)域的深度圖的立體視圖原理的3D相機(jī)(10)，其具有：至少兩個相機(jī)模塊，其中每一個都具有在相互偏移角度下的圖像傳感器以拍攝二維原始圖像；以及，立體視圖單元，其被設(shè)計用于使用立體視圖算法來生成深度圖，方式是將兩張從偏移角度拍攝的二維圖像中彼此關(guān)聯(lián)的部分區(qū)域在視差范圍內(nèi)識別出來并借助視差計算其距離。設(shè)置像素組合單元，以通過組合來自二維圖像的多個像素生成分辨率較低的二維中間圖像，還設(shè)置合成單元，其將至少兩張深度圖合并成共同的深度圖，其中至少一張深度圖由中間圖像生成。
【專利說明】根據(jù)立體視圖原理的3D相機(jī)和用于獲取深度圖的方法
[0001]本發(fā)明涉及根據(jù)權(quán)利要求1或10前序部分所述的一種根據(jù)立體視圖原理的3D相機(jī)和一種用于獲取深度圖的方法。
[0002]與傳統(tǒng)的相機(jī)相比，3D相機(jī)也采集深度信息，并因此通過關(guān)于3D圖像各個像素的間距值或距離值生成三維圖像信息，所述圖像也被稱為距離圖像或深度圖。額外的距離維度可在多種應(yīng)用中使用，以得到更多有關(guān)由相機(jī)所獲取的場景中對象的信息，從而解決工業(yè)傳感器領(lǐng)域中的不同任務(wù)。
[0003]在自動化技術(shù)中可借助三維圖像信息來獲取對象并將其分類，以便根據(jù)其采取進(jìn)一步的自動處理步驟，在所述步驟中識別對象，優(yōu)選包括其位置和方向。因此例如可有助于控制機(jī)器人或傳送帶上的各種致動器。一種典型的安全技術(shù)上的應(yīng)用是為危險性設(shè)備提供安全防護(hù)，例如為壓力設(shè)備或機(jī)器人提供安全防護(hù)，在所述危險設(shè)備處當(dāng)身體進(jìn)入在機(jī)器周圍的危險區(qū)域時便進(jìn)行安全防護(hù)。
[0004]在移動應(yīng)用中，不管是有司機(jī)的車輛如轎車(PKW)、載重汽車(LKW)、工作機(jī)或叉車還是無人駕駛的車輛如(AGV:自動導(dǎo)引車)或搬運(yùn)車，都應(yīng)盡可能全面且三維地獲取周圍環(huán)境，特別是計劃的行駛路徑。為此，應(yīng)該有可能進(jìn)行自主導(dǎo)航或給司機(jī)提供幫助，以便識別障礙，避免碰撞或便于裝載和卸載包括紙箱、托盤、集裝箱或拖車在內(nèi)的在運(yùn)貨物。
[0005]一種已知的用于獲得深度信息的方法是以人的雙眼視覺為基礎(chǔ)的立體視圖。為此，兩臺相機(jī)從不同視角拍攝圖像對(Bildpaar)，并在其中將彼此對應(yīng)的像素或圖像元素識別出來。其被稱為視差的相互偏移代表了距離的測量，從而使得一旦獲悉立體相機(jī)的光學(xué)參數(shù)就可通過三角測量法將相應(yīng)的距離計算出來。立體系統(tǒng)可以被動運(yùn)行，即僅用環(huán)境光運(yùn)行，或具有自己的照明，所述照明優(yōu)選生成照明圖形，以便使得在無結(jié)構(gòu)場景中也能夠估計出距離。
[0006]對象的距離與相應(yīng)的視差之間的關(guān)系不是線性的，而是雙曲線型的。因此，近場中對應(yīng)圖像元素的相對位移大大增加。為此具有常規(guī)圖像傳感器的立體相機(jī)在近場中的分辨率比在遠(yuǎn)場中要精細(xì)得多，其中所述圖像傳感器等距地掃描場景。
[0007]在搜索相應(yīng)的圖像元素時，通過稱之為視差范圍的搜索區(qū)域來確定兩個圖像中的圖像元素最大可以相距多遠(yuǎn)。視差范圍對應(yīng)于立體相機(jī)可獲取的距離范圍:為此較大的視差范圍會導(dǎo)致更大、更廣泛地延伸的距離范圍，但需要的分析能力也越多。
[0008]然而，實(shí)際上通常并不需要在立體相機(jī)的近距離范圍中有非常高的距離分辨率。但是由于在距離與視差之間的相互關(guān)系，在確定像素或圖像元素匹配時大部分的分析成本都消耗在近距離范圍。為了實(shí)時且有效地運(yùn)行，可在能并行處理的模塊上，如FPGA (現(xiàn)場可編程門陣列)上執(zhí)行立體算法。如此一來可同時處理不同的圖像部分。但在此過程中許多資源，如門或存儲器不成比例地負(fù)責(zé)處理近距離范圍并與此緊密相關(guān)。
[0009]因此，本發(fā)明的任務(wù)在于提供一種更有效的立體視圖方法。
[0010]此任務(wù)通過權(quán)利要求1或10所述的根據(jù)立體視法的3D相機(jī)和用于獲取深度圖的方法得以實(shí)現(xiàn)。深度圖，即三維圖像信息(例如以距離值的像素解析矩陣形式的圖像信息)是由立體視圖算法構(gòu)成，所述立體視圖算法例如通過相關(guān)性來識別兩個相機(jī)模塊的兩個圖像中彼此對應(yīng)的圖像元素并根據(jù)視差計算出距離，即從像素的相互位移計算出距離。匹配對象只尋找到最大位移，所述位移由視差窗指定。
[0011]現(xiàn)在，本發(fā)明的基本思路是，用不同方式來處理近距離范圍和遠(yuǎn)距離范圍。為此從所拍攝的圖像通過將多個像素相應(yīng)地合并(“像素疊加”)首先生成分辨率較低的中間圖像。從這些中間圖像中通過立體算法構(gòu)成分辨率被相應(yīng)降低的，特別是邊緣處分辨率被降低的深度圖。由于分辨率有所降低，比在分析近距離范圍中分辨率較高的原始圖像時更小的視差范圍就夠了。從原始圖像或額外的中間圖像得到另一幅深度圖，所述額外的中間圖像具有的分辨率與最初通過另外將像素組合所觀測到的中間圖像的分辨率不同。由分辨率被降低的深度圖和另外一幅深度圖合并成共同的深度圖。為此，共同的深度圖有兩個來源:一個是分辨率較高的深度圖，其范圍優(yōu)選將更大的距離覆蓋；另一個是分辨率被降低的深度圖，其優(yōu)選用于近距離范圍且特別是對其進(jìn)行最終補(bǔ)充。
[0012]本發(fā)明的優(yōu)點(diǎn)在于，可大大降低近距離范圍的分析成本。代價是近距離范圍的距離分辨率較低，但由于在近距離范圍中不成比例的精細(xì)的距離分辨率，因此所述距離分辨率較低這一情況實(shí)際上并不明顯。因此通過明顯降低的硬件成本或計算成本可將預(yù)先給定的距離范圍覆蓋。反過來在資源確定時可得到更大的可分析的距離范圍。
[0013]優(yōu)選使用兩個以上的相機(jī)模塊并成對地分析其圖像。由此來防止細(xì)長結(jié)構(gòu)的偽匹配(Scheinkorrespondenzen),所述細(xì)長結(jié)構(gòu)與兩個相機(jī)模塊的連接線平行地布置。
[0014]立體單元優(yōu)選具有多通道結(jié)構(gòu)，以便并行計算至少一個由第一對圖像構(gòu)成的第一深度圖和由第二對圖像構(gòu)成的第二深度圖。如此一來，近距離范圍和遠(yuǎn)距離范圍的距離信息的獲取速度明顯加快。根據(jù)本發(fā)明的方法接近所述并行處理的時間特性。因?yàn)閷τ诮嚯x范圍分析來說，由于像素組合，只需要較小的視差范圍就夠了。因此，特別是分析通道可用相同的視差范圍來運(yùn)行，并因此可更容易依次同步。原則上也有可能將原始圖像或中間圖像串行處理成深度圖。優(yōu)選地，還可在分析通道內(nèi)進(jìn)行進(jìn)一步并行化處理，所述并行化同時處理各種圖像部分。
[0015]像素組合單元優(yōu)選設(shè)計用于分別將矩形或正方形的像素相鄰區(qū)域從多個像素組合成一個像素。其中特別是原始圖像的n*m個像素的矩形或n*n個像素的正方形分別組合成中間圖像的一個像素。例如通過將每2*2個像素進(jìn)行疊加來實(shí)現(xiàn)中間圖像的分辨率減半。由于立體算法的相關(guān)性核心通常是逐行運(yùn)行，因此n*l個像素的疊加也是可以設(shè)想的，即只在圖像行內(nèi)。因此，中間圖像只在行方向損失分辨率，而在列方向沒有損失分辨率。
[0016]像素組合單元優(yōu)選被設(shè)計用于將組合的像素設(shè)置成待組合像素的平均值、最大值、最小值或中間值。此外，被組合像素的值一般為待組合像素的值的預(yù)定函數(shù)。所述函數(shù)可確保的是，被組合的像素盡可能好地描繪待組合的像素。此種用法(Sprachgebrauch)是根據(jù)單色圖像數(shù)據(jù)，例如是根據(jù)灰值圖像或亮度值圖像。若為彩色圖像，則應(yīng)該用類似的方式相應(yīng)地考慮各像素的其它值。
[0017]立體視圖單元優(yōu)選被設(shè)計用于確定所計算的距離的可靠性程度。此可靠性程度特別是直接與彼此對應(yīng)的圖像區(qū)域的一致性的質(zhì)量有關(guān)。由于匹配情況通常通過相關(guān)性來識另IJ，因此提供相應(yīng)的相關(guān)系數(shù)時額外的花費(fèi)很少或不需要額外花費(fèi)。所測得距離的可靠性在后面的分析中可以代表重要信息。
[0018]合并單元優(yōu)選被設(shè)計用于分別將根據(jù)兩張深度圖最可靠地確定的距離放在共同的深度圖中。所述共同的深度圖的值會超定(u berbestimmt),條件是兩個引入的深度圖提供距離值。然后，根據(jù)本實(shí)施形式，可靠性程度被用作決策準(zhǔn)則，用于確定哪個距離值更好。
[0019]合并單元優(yōu)選被設(shè)計用于在某種程度上將分辨率最高的深度圖中的已有距離放在共同的深度圖中并且根據(jù)分辨率較低的深度圖只填補(bǔ)間隙(LUcke)。中間圖像會因像素組合而損失分辨率。因此，如果立體算法用原始圖像或使用分辨率最高的中間圖像來計算距離的話，則這些值通常更好。接著通過由較低分辨率的中間圖像構(gòu)成的深度圖來填充可能的間隙，其中視差范圍是為較近的對象設(shè)計的。
[0020]優(yōu)選使用近距離范圍的被減小的深度圖也是可以設(shè)想的，因?yàn)樵诓煌膽?yīng)用中，例如安全技術(shù)相關(guān)的對象在近距離范圍內(nèi)具有更重大的意義。在此形式中，被減小的深度圖的間隙由高分辨率深度圖的值來補(bǔ)充。
[0021]合并單元優(yōu)選被設(shè)計用于通過復(fù)制像素來提高深度圖的分辨率。這是一個中間步驟，以便在合并具有相同分辨率的深度圖時能運(yùn)行。簡單來說，由此可將組合(“像素疊加”)反過來，正好還可借助被降低的信息實(shí)現(xiàn)(“升采樣”)。一種簡單的提高分辨率的方法在于，由分辨率低的深度圖的每個原始像素生成具有原始像素值的n*m個像素。例如用于填充對象結(jié)構(gòu)或平滑過渡而進(jìn)行后處理也是可能的。
[0022]合并單元優(yōu)選被設(shè)計用于合并三張或三張以上的具有不同分辨率的深度圖。為此在這里不僅將距離范圍劃分成近距離范圍和遠(yuǎn)距離范圍，而且還增加至少一個中間區(qū)域，所述中間區(qū)域由具有不同分辨率的中間圖像覆蓋。因此可使用三張用于合并的深度圖，它們分別來自原始圖像，來自使用第一像素組合的第一中間圖像對和使用第二像素組合的第二中間圖像對，或可替代地使用三個中間圖像對，其中所述三個中間圖像對成對地使用不同的像素組合。在合并四張或四張以上的深度圖時上述方法也同樣適用。相應(yīng)的視差范圍和距離范圍以及像素組合優(yōu)選彼此匹配，由此使得共同的深度圖整體覆蓋作為3D相機(jī)的工作區(qū)的期望的距離范圍。
[0023]根據(jù)本發(fā)明的方法可用類似的方式進(jìn)一步改進(jìn)并同時顯示出類似的優(yōu)點(diǎn)。所述有利的特征是示例性的，但是并不限于隸屬于獨(dú)立權(quán)利要求的從屬權(quán)利要求所述的范圍。
[0024]下面示例性地借助實(shí)施形式并參考附圖來進(jìn)一步詳細(xì)說明本發(fā)明的其它特征和優(yōu)點(diǎn)。附圖中的圖片示出:
[0025]圖1為立體相機(jī)的示意性剖視圖；
[0026]圖2為用立體相機(jī)估計距尚時的光學(xué)關(guān)系不意圖；
[0027]圖3示出了在統(tǒng)一分析立體相機(jī)的原始圖像時視差和分辨率與距離相關(guān)的特性；
[0028]圖4為使用額外的深度圖的立體分析的框圖，所述深度圖來源于通過像素組合產(chǎn)生的中間圖像和隨后進(jìn)行的合并；
[0029]圖5為與圖3類似的視圖，示出了在原始圖像和中間圖像的兩部分分析時視差和分辨率與距尚相關(guān)的特性；
[0030]圖6a示出了在統(tǒng)一分析時的原始圖像和深度圖；
[0031]圖6b示出了原始圖像，從中通過像素組合生成的中間圖像，相應(yīng)的根據(jù)原始圖像和中間圖像的深度圖以及在合并深度圖后得到的共同的深度圖。
[0032]圖1以框圖形式示出了 3D相機(jī)10的結(jié)構(gòu)，所述3D相機(jī)10用于拍攝監(jiān)控區(qū)域或空間區(qū)域12的深度圖。其中兩個相機(jī)模塊14a-b以已知彼此間固定的間距進(jìn)行安裝并且分別拍攝空間區(qū)域12的圖像。每臺相機(jī)中都設(shè)置了圖像傳感器16a-b，通常為拍攝矩形像素圖像的矩陣式攝像芯片，例如CCD傳感器或CMOS傳感器。圖像傳感器16a-b分別有一個成像光學(xué)元件的物鏡，該物鏡被表示成透鏡18a-b并且實(shí)際上可作為任意已知的成像光學(xué)元件來實(shí)現(xiàn)。在兩個相機(jī)模塊14a-b之間示出了具有光源22的可選擇的照明單元20，其空間排列僅理解為示例性的。
[0033]組合的分析和控制單元26與兩個圖像傳感器16a_b和照明單元20連接，且具有立體單元28、像素組合單元30以及合并單元32。其中用待描述的方式用立體算法由圖像傳感器16a-b的圖像信息來生成空間區(qū)域12的三維圖像信息(距離圖像，深度圖)。分析和控制單元26可包括一個或多個數(shù)字模塊，特別是具有被設(shè)計用于快速地、并行地處理大量數(shù)據(jù)的模塊，例如FPGA(現(xiàn)場可編程門陣列)或GPU(圖形處理單元)。
[0034]3D相機(jī)10能夠通過輸出端34輸出深度圖或其它測量結(jié)果，例如相機(jī)模塊14a_b的原始圖像信息，但是也可以是分析結(jié)果如對象數(shù)據(jù)或特定對象的識別。特別是在安全技術(shù)相關(guān)的應(yīng)用中可將未經(jīng)允許侵入保護(hù)區(qū)識別出來，所述保護(hù)區(qū)在空間區(qū)域12中進(jìn)行了定義，這會導(dǎo)致輸出與安全性相關(guān)的關(guān)閉信號。為此，輸出端34優(yōu)選被設(shè)計成安全輸出端(0SSD，輸出信號切換裝置)且3D相機(jī)總體上按照相關(guān)安全標(biāo)準(zhǔn)來防止故障地構(gòu)造。
[0035]圖2示意性地顯示了根據(jù)立體視法原理獲取深度圖和計算距離時的光學(xué)關(guān)系。兩個相機(jī)模塊14a_b具有圖像傳感器16a_b和被顯不成透鏡18a_b的物鏡,這兩個相機(jī)模塊并排地并且根據(jù)彼此平行的光軸以沿著基線測得的基準(zhǔn)距離b來布置。透鏡18a_b的焦距為f。所獲取的對象36在以物距z指示的距離處。由于圖像傳感器16a_b的角度不同，因此對象36的結(jié)構(gòu)，所述結(jié)構(gòu)例如在其中一個圖像傳感器16a的中心成像，而在另一個圖像傳感器16b上以偏移視差d成像。可獲取的、從Zmin到Zmax的距離對應(yīng)于視差區(qū)域38，在所述視差區(qū)域內(nèi)搜尋在圖像傳感器16a-b的兩個圖像中相對應(yīng)的圖像元素。在視差d和距離Z之間的關(guān)系用幾何變量表示為Z = Z’ b/d ^ fb/d，前提是物距Z比像距Z’大得多。
[0036]因此偏移量或視差反比于距離增加或以l/ζ增加。這樣一來用于尋找匹配對象的成本被不成比例地增加，這是因?yàn)榉浅４蟮囊暡罘秶跇O端情況下等于與基線平行的圖像傳感器16a-b每行的像素。同時，立體相機(jī)10的對象越靠近，距離分辨率就越好。圖3示出了視差(虛線)和分辨率(實(shí)線，用對數(shù)表示)與距離相關(guān)的特性。
[0037]圖4以框圖形式示出了使用額外深度圖的立體分析，所述額外深度圖是由像素組合產(chǎn)生的中間圖像以及隨后進(jìn)行的合并而生成的。這樣一來有可能的是，在具有相對較小視差范圍的近距離范圍中也能識別對象36的匹配。同時，距離分辨率有所降低，以便節(jié)省費(fèi)用，因?yàn)樵诮嚯x范圍中通常不需要那么高的距離分辨率。
[0038]分析和控制單元26由兩張圖像的圖像傳感器16a_b引入分析周期以生成共同的深度圖，所述兩張圖像在圖4中被稱為左圖和右圖。在圖4的下部，分別用參考標(biāo)記來命名分析和控制單元26的相關(guān)子單元28-32。此種任務(wù)分配是示例性的而不應(yīng)僵化理解，因?yàn)閱卧?8-32能夠與在其它實(shí)施形式中的任務(wù)相互替代。
[0039]在第一通道內(nèi)，直接將原始圖像送入立體單元30，并在此處借助立體算法生成第一深度圖。為此，如往常一樣確定在所屬視差范圍內(nèi)的視差。但是，該視差與3D相機(jī)10全部距離范圍所需視差相比有所減小，例如減半，從而使得從第一通道的深度圖中還可獲取相對較遠(yuǎn)的，優(yōu)選中心和更廣的距離范圍。視差范圍的限制允許相應(yīng)地節(jié)省第一通道中的硬件資源或計算成本。
[0040]與此類似，在第二通道中計算第二深度圖，該第二深度圖將剩余的近距離范圍覆蓋。在這里，首先將圖像傳感器16a_b的左圖和右圖送入像素組合單元30。在這里將相鄰像素組合(“疊加”)成一個像素疊加塊，例如將每二乘二個像素(在水平方向上的兩個像素和在垂直方向上的兩個像素)合并成一個組合像素。通過組合產(chǎn)生尺寸更大的準(zhǔn)像素(“降采樣”)，如此一來與左圖和右圖相比生成的中間圖像的邊緣分辨率會降低，因而距離分辨率也會降低。中間圖像的組合像素的值由左圖和右圖中組合像素的值通過函數(shù)如平均值、中值、最大值或最小值來確定。
[0041]像素組合單元30傳送立體單元28的中間圖像，所述立體單元從中間圖像生成分辨率降低的第二深度圖。像素匹配的搜尋優(yōu)選在對應(yīng)于待覆蓋的近距離的視差范圍內(nèi)進(jìn)行。但是由于像素組合的緣故，無論如何都會減少成本，從而使得可替代地能夠在更廣的或由總像素所給定有意義的框架內(nèi)甚至用最大可能的視差范圍來操作。通道中的視差范圍優(yōu)選不管怎樣都應(yīng)彼此一致，以便能夠確保完全覆蓋3D相機(jī)10所要求的距離范圍。
[0042]在其它實(shí)施形式中，可選擇性地布置第三通道或其它通道。這些通道原則上與第二通道一樣操作，其中分別實(shí)施不同的像素組合并且相應(yīng)地選擇和分配視差范圍，從而使得整個3D相機(jī)10的距離范圍無間隙地覆蓋，同時通道中有重疊或無重疊。在另一種可替代的實(shí)施形式中，也在第一通道進(jìn)行像素合并，該像素合并與其它通道中的像素合并不同。
[0043]這種在通道中生成的兩張或多于兩張的深度圖接著在合并單元32彼此合并成共同的深度圖。在準(zhǔn)備中，將分辨率被降低的深度圖調(diào)至所提供的深度圖的最高分辨率，特別是調(diào)至左圖和右圖的分辨率。這是通過復(fù)制像素(“升采樣”，“像素復(fù)制”)來進(jìn)行的，其方式是由分辨率被降低的深度圖的每個像素生成具有多個像素的相鄰塊。
[0044]接著在合并時逐像素地比較引入的深度圖的距離。不同的合并策略是可以設(shè)想的。例如為共同的深度圖分別選擇最可靠的計算距離，其中可靠性是對分別找到的視差進(jìn)行立體視圖算法的根據(jù)距離逐像素存儲的質(zhì)量尺度，例如相關(guān)系數(shù)。也可以設(shè)想的是，只有一張深度圖在像素中包含有效距離。然后，其中一張深度圖的間隙能夠在相應(yīng)的可靠性下通過來自另一張深度圖或其它深度圖的信息來補(bǔ)充。
[0045]通過上面圖2中所示換算法將視差換算成距離，所述換算在用于各深度圖的立體視圖單元30中進(jìn)行或者優(yōu)選僅在合并單元32中進(jìn)行，所述深度圖由分別在此處選擇的視差構(gòu)成，因?yàn)樗枰挠嬎悴襟E較少。因此，與上述用法相反合并單元32不是比較距離而是比較視差，由于換算規(guī)則是單調(diào)的因此距離和視差是等效的。
[0046]圖5用與圖3類似的示意圖示出了根據(jù)圖4的部分分析的、與距離相關(guān)的視差特性(虛線)和分辨率特性(實(shí)線)。分辨率在兩通道的交匯處40會出現(xiàn)跳躍。因此分辨率并不總是越接近越好。大多數(shù)應(yīng)用并不利用所述較高的分辨率，可以通過選擇像素合并和視差范圍來確保，所述跳躍仍然在要求的最低分辨率以下。
[0047]最后，圖6示出了在示例圖像上通過像素合并成應(yīng)用分部立體視圖方法。該示例是以將根據(jù)本發(fā)明的方法應(yīng)用到數(shù)據(jù)集為基礎(chǔ)，作者D.Scharstein和R.Szeliski于2003年6月在威斯康星州麥迪遜出版的IEEE Computer Society Conference on ComputerVis1n and Pattern Recognit1n(關(guān)于計算機(jī)視覺和模式識別的計算機(jī)協(xié)會會議)(CVPR2OO3)第 I 卷第 I95-2O2 頁的“High-accuracy stereo depth maps using structuredlight (使用結(jié)構(gòu)光的高精度立體深度圖)”一文的網(wǎng)頁上非常友好地使用了所述數(shù)據(jù)集并將其發(fā)表使用。其中圖6a為了進(jìn)行比較描述了常規(guī)的分析，其中所述分析具有64個像素寬的視差范圍，而圖6b描述了部分分析，其中所述分析具有關(guān)于兩個通道被減半的32個像素的視差范圍。
[0048]在圖6a所示的常規(guī)方法中，由原始圖像(替代該原始圖像，左圖42被示出)通過立體視圖算法直接生成待確定的深度圖44。
[0049]圖6b在左列中示出了相同的左圖42，根據(jù)在第一通道中的、相對于圖6a減半的視差范圍生成第一深度圖46。與圖6a中的深度圖44相比，清晰可見第一深度圖46在近距離范圍內(nèi)具有間隙，原因在于近距離范圍內(nèi)的匹配會因視差變小而不能被識別出來。首先，在圖6b的右列的上方顯示了在第二通道的像素組合單元30由左邊圖像42生成的、分辨率被降低的中間圖像48，其中分別將2*2個像素合并成一個像素。立體視圖單元28從中間圖像48計算出分辨率相應(yīng)降低的第二深度圖50。此處可看到與第一深度圖46互補(bǔ)的、在近距離范圍中的結(jié)構(gòu)以及在遠(yuǎn)距離范圍的間隙。
[0050]合并單元32由第一深度圖46和第二深度圖50生成共同的深度圖52。在這過程中首先要將相互間隙填充好。對于在兩張深度圖46、50中以其指定了距離值的像素而言，必須為這些像素做出決定或進(jìn)行分配，例如通過立體算法的效果來進(jìn)行。中間步驟沒有在圖6b中示出，在所述步驟中通過將第二深度圖50的每個像素復(fù)制成2*2個像素的塊來提高其分辨率。能立刻看出來的是，共同的深度圖52較之各單獨(dú)的深度圖46、50能更好地再現(xiàn)場景。特別地，在常規(guī)方法中將視差范圍簡單地減半會產(chǎn)生重要影響，正如相比于深度圖44,52來觀察第一深度圖46就可看出這一點(diǎn)。
[0051 ] 將常規(guī)的用寬視差范圍生成的深度圖44和共同的深度圖52進(jìn)行比較會看到在近距離范圍某些地方出現(xiàn)一定程度的分辨率損失。如多次提到的那樣，這種分辨率損失實(shí)際上大多無關(guān)緊要。為此只有共同的深度圖52才會分解特別近的結(jié)構(gòu)，這是因?yàn)閼?yīng)用到中間圖像的、適當(dāng)?shù)囊暡罘秶x3D相機(jī)10靠得更近了。主要是關(guān)于被減半的視差范圍的成本大大降低。當(dāng)依次實(shí)現(xiàn)分析信道時，這是特別有用的。
【權(quán)利要求】
1.一種根據(jù)用于獲取監(jiān)控區(qū)域(12)的深度圖(52)的立體視法原理的3D相機(jī)(10)，所述3D相機(jī)具有至少兩個相機(jī)模塊(14a-b)，其中每一個都具有在相互偏移角度下的圖像傳感器(16a-b)用于拍攝二維原始圖像(42);以及，立體視圖單元(28)，所述立體視圖單元被設(shè)計用于使用立體視圖算法來生成深度圖(46、50)，方式是將兩張從偏移角度拍攝的二維圖像中彼此關(guān)聯(lián)的部分區(qū)域在視差范圍內(nèi)被識別出來并借助視差計算其距離， 其特征在于 具有像素組合單元(30)，以便通過組合來自二維圖像(42)的多個像素生成分辨率較低的二維中間圖像(48)，還具有合成單元(32)，所述合成單元將至少兩張深度圖(46、50)合并成共同的深度圖(52)，其中至少一張深度圖(50)由中間圖像(48)生成。
2.如權(quán)利要求1所述的3D相機(jī)(10)，其中所述立體單元(28)具有多通道結(jié)構(gòu)，以便并行計算至少一個由第一對圖像(42)構(gòu)成的第一深度圖(46)和由第二對圖像(48)構(gòu)成的第二深度圖(50)。
3.如權(quán)利要求1或2所述的3D相機(jī)(10)，其中所述像素組合單元(30)被設(shè)計用于分別將矩形或正方形的像素相鄰區(qū)域從多個像素組合成一個像素。
4.如前述權(quán)利要求中任一項所述的3D相機(jī)(10)，其中所述像素組合單元(30)被設(shè)計用于將組合的像素設(shè)置成待組合像素的平均值、最大值、最小值或中間值。
5.如前述權(quán)利要求中任一項所述的3D相機(jī)(10)，其中所述立體視圖單元(28)被設(shè)計用于確定所計算的距離的可靠性程度。
6.如權(quán)利要求5所述的3D相機(jī)(10)，其中所述合并單元(32)被設(shè)計用于分別將根據(jù)兩張深度圖(46、50)最可靠地確定的距離放在共同的深度圖(52)中。
7.如前述權(quán)利要求中任一項所述的3D相機(jī)(10)，其中所述合并單元(32)被設(shè)計用于將分辨率最高的深度圖(46)中的已有距離放在共同的深度圖(52)中并且根據(jù)分辨率較低的深度圖(50)只填補(bǔ)間隙。
8.如前述權(quán)利要求中任一項所述的3D相機(jī)(10)，其中所述合并單元(32)被設(shè)計用于通過復(fù)制像素來提高深度圖(50)的分辨率。
9.如前述權(quán)利要求中任一項所述的3D相機(jī)(10)，其中所述合并單元(32)被設(shè)計用于合并三張或三張以上的具有不同分辨率的深度圖(46、50)。
10.一種用于借助立體視圖算法獲取監(jiān)控區(qū)域(12)的深度圖(52)的方法，所述立體視圖算法將所述監(jiān)控區(qū)域(12)的兩張由偏移角度拍攝的二維圖像(42)中彼此關(guān)聯(lián)的部分區(qū)域在視差范圍內(nèi)識別出來并且借助視差來計算相應(yīng)的距離， 其特征在于， 由二維圖像(42)通過組合多個像素生成分辨率較低的二維中間圖像(48)，以及由至少兩張深度圖(46、50)合并成共同的深度圖(52)，其中至少一張深度圖(50)由中間圖像(48)生成。
【文檔編號】H04N13/04GK104519343SQ201410490534
【公開日】2015年4月15日 申請日期:2014年9月23日 優(yōu)先權(quán)日:2013年9月26日
【發(fā)明者】沃爾克·齊克, 馬賽厄斯·海因茨 申請人:西克股份公司