用于環(huán)境表示的方法
【專利摘要】本發(fā)明涉及一種用于環(huán)境表示的方法，其中分別拍攝環(huán)境（U）的兩個(gè)圖像并借助立體圖像處理獲得視差圖。根據(jù)本發(fā)明，在所述視差圖中通過如下方式識別出無障礙的自由空間（F）：使視差圖的每個(gè)像點(diǎn)根據(jù)相應(yīng)像點(diǎn)的視差值或者被分派給無障礙的地面（B）或者被分派給多個(gè)顯示組（S11至Snu）之一，其中相同寬度的顯示組（S11至Snu）由與圖像平面距離相同或相近的像點(diǎn)形成，其中借助一個(gè)顯示組（S11至Snu）或多個(gè)顯示組（S11至Snu）使所述環(huán)境（U）中位于自由空間（F）外的目標(biāo)（O1至Ok）被模型化。
【專利說明】用于環(huán)境表示的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于環(huán)境表示的方法，其中分別拍攝環(huán)境的兩個(gè)圖像并且借助立體圖像處理/體視圖像處理獲取視差圖。
【背景技術(shù)】
[0002]由文獻(xiàn)DE102009009047A1已知用于目標(biāo)檢測的方法，其中分別拍攝環(huán)境的兩個(gè)圖像并且借助立體圖像處理獲取視差圖。視差圖也稱為距離圖像(Entfernungsbild)。由獲取的視差來確定環(huán)境的景深圖/高度地圖，其中識別自由空間邊界線，其劃定環(huán)境的無障礙的區(qū)域。在自由空間邊界線之外并且沿著自由空間邊界線分割景深圖，其方法是適合寬度的顯示組(組合成一組的圖像元素，Segment)由與圖像平面/層相同或相似距離的像素形成。每個(gè)顯示組的高度被估計(jì)為位于在無障礙的區(qū)域之外的目標(biāo)的顯示組，從而使每個(gè)顯示組通過其底點(diǎn)的二維位置(通過與車輛縱軸線的距離和角度給出)以及其高度得到表征。視差圖和景深圖三維地描述和表示環(huán)境。

【發(fā)明內(nèi)容】

[0003]作為本發(fā)明的基礎(chǔ)的任務(wù)在于，提出一種相對于現(xiàn)有技術(shù)得到改善的用于環(huán)境表示的方法。
[0004]該任務(wù)按照本發(fā)明以具有權(quán)利要求1中所給出特征的方法來完成。
[0005]本發(fā)明有利的設(shè)計(jì)方案是從屬權(quán)利要求的主題。
[0006]在用于環(huán)境表示的方法中分別拍攝環(huán)境的兩個(gè)圖像并且借助立體圖像處理獲取視差圖。
[0007]按照本發(fā)明，在視差圖中通過如下方式識別出無障礙的自由空間:使視差圖的每個(gè)像點(diǎn)根據(jù)相應(yīng)像點(diǎn)的視差值或者被分派給無障礙的地面或者被分派給多個(gè)顯示組之一。其中相同寬度的顯示組由與圖像平面距離相同或相近的像點(diǎn)形成，其中借助一個(gè)顯示組或多個(gè)顯示組使所述環(huán)境中位于自由空間外的目標(biāo)被模型化。
[0008]通過視差圖描述的三維環(huán)境通過無障礙的自由空間得以近似。該自由空間例如是可行駛的區(qū)域，然而其并非必須是絕對平面的。自由空間通過柱狀顯示組限制，該柱狀顯示組整體地使包圍自由空間的目標(biāo)模型化。這些顯示組在最簡單情況下位于地面上并對在相應(yīng)顯示組的區(qū)域中的目標(biāo)的平均高度進(jìn)行近似。具有變化高度的目標(biāo)、例如側(cè)面的騎自行車的人便通過分段恒定的高度函數(shù)來描述。
[0009]也稱為“stixel (柱狀物建模)”的顯示組是對目標(biāo)的緊湊和魯棒/穩(wěn)健的表示，僅需要有限的數(shù)據(jù)量。對于每個(gè)stixel都存儲位置和高度。該表示以特別有利的方式適用于必要情況下的隨后步驟，例如目標(biāo)形成和場景解讀。“Stixel”表示是在與應(yīng)用相關(guān)的立體分析與應(yīng)用專有的分析處理之間的理想接口。
[0010]與現(xiàn)有技術(shù)相比，直接來自于視差圖的無障礙自由空間的按照本發(fā)明的識別以特別有利的方式實(shí)現(xiàn)了:不需要為獲得自由空間而額外地獲得景深圖。由此降低了工作的復(fù)雜性并且可以節(jié)省處理相關(guān)的資源。此外，由于直接由視差圖識別出自由空間，所以可以通過全局優(yōu)化根據(jù)可靈活限定的誤差范圍來獲得最優(yōu)表示。
[0011]此外，通過將每個(gè)像點(diǎn)或者分派給無障礙的地面或者分派給一個(gè)顯示組，使得能夠在一個(gè)圖像間隙或圖像條中存在多個(gè)目標(biāo)，從而完整地、無缺陷地實(shí)現(xiàn)了環(huán)境表示。因此也可能的是，“以第二順序”表示目標(biāo)。換句話說:因?yàn)椴皇莾H僅搜索“最可能的”目標(biāo)，而是考慮了所有目標(biāo)，所以不存在大的背景目標(biāo)遮蓋在視差圖中更小的和可能重要的目標(biāo)。
[0012]另外，通過按照本發(fā)明的方法整體上顯著降低了錯(cuò)誤的Stixel的出現(xiàn)概率并且顯著提高了立體分析也就是說立體圖像處理的作用范圍。該提高特別是在50%至100%的范圍中。如果作用范圍的提高是不需要的，那么以特別有利的方式可能的是，在獲取兩個(gè)圖像的圖像獲取單元之間的基本寬度是可減小的，從而需要更小的安裝空間并且可以實(shí)現(xiàn)設(shè)計(jì)上的優(yōu)勢。
【專利附圖】

【附圖說明】
[0013]在下文中根據(jù)附圖進(jìn)一步闡述本發(fā)明的實(shí)施例。其中:
[0014]圖1示意地示出根據(jù)現(xiàn)有技術(shù)的車輛環(huán)境的二維示圖，其具有無障礙的自由空間和用于使環(huán)境中的目標(biāo)模型化的多個(gè)顯示組；以及
[0015]圖2示意地示出根據(jù)本發(fā)明方法的車輛環(huán)境的二維示圖，其具有無障礙的自由空間和用于對環(huán)境中的目標(biāo)進(jìn)行模型化的多個(gè)顯示組。
【具體實(shí)施方式】
[0016]彼此相應(yīng)的部分在所有附圖中設(shè)有相同的附圖標(biāo)記。
[0017]圖1示出根據(jù)現(xiàn)有技術(shù)的、車輛(未示出)的環(huán)境U的二維示圖，其具有無障礙的自由空間F和用于使環(huán)境U中的目標(biāo)01至Ok模型化的多個(gè)顯示組SI至Sm。
[0018]顯示組SI至Sm—也稱為“stixel”——使目標(biāo)01至Ok模型化，所述目標(biāo)限制了所規(guī)定的無障礙的自由空間F。為了建立所示示圖而采用由文獻(xiàn)DE102009009047A1已知的用于目標(biāo)檢測的方法。
[0019]在此，首先分別拍攝環(huán)境U的兩個(gè)圖像并且借助立體圖像處理獲取視差圖。由獲取的視差確定環(huán)境U的景深圖。
[0020]識別未詳細(xì)示出的自由空間邊界線，該自由空間邊界線劃定了環(huán)境U的無障礙的自由空間F。在自由空間邊界線之外并且沿著自由空間邊界線以如下方式分割景深圖:由與一個(gè)圖像獲取單元或多個(gè)圖像獲取單元的圖像平面距離相同或相近的像點(diǎn)一也稱為像素一來形成具有預(yù)定寬度的顯示組SI至Sm。該圖像獲取單元是攝像機(jī)。
[0021]所發(fā)現(xiàn)的自由空間邊界線向具有任意預(yù)定寬度的顯示組SI至Sm的逼近提供了設(shè)計(jì)為柱狀的所述顯示組SI至Sm的距離。在圖像獲取單元到環(huán)境U的取向已知一例如在設(shè)有圖像獲取單元的車輛前方的道路的所示例子中——并且三維走向已知的情況下，在圖像中得出顯示組SI至Sm的相應(yīng)的底點(diǎn)。
[0022]隨后估計(jì)每個(gè)顯示組SI至Sm的高度，從而使每個(gè)顯示組SI至Sm通過底點(diǎn)的二維位置以及其高度得到表征。
[0023]高度的估計(jì)在動態(tài)編程中借助對在相應(yīng)顯示組SI至Sm的區(qū)域中所有三維點(diǎn)的基于直方圖的分析處理實(shí)現(xiàn)。
[0024]不具有顯示組SI至Sm的區(qū)域是這些其中由自由空間分析沒有發(fā)現(xiàn)目標(biāo)01至Ok的區(qū)域。
[0025]不利的是，如果在景深圖的分析中沒有獲取到小的或更遠(yuǎn)的目標(biāo)01至0k，則沒有顯示組SI至Sm生成。這由此導(dǎo)致:具有少量視差測量值的小的目標(biāo)01至Ok僅僅覆蓋由噪聲提供的小的信號強(qiáng)度。因此對目標(biāo)01至Ok的檢測可能性隨距離(增大)而下降并且在所述的stixel范圍中產(chǎn)生“孔”，這是因?yàn)闊o法分派每個(gè)像點(diǎn)。
[0026]假如在景深圖的間隙中在相應(yīng)的視角下具有多個(gè)目標(biāo)01至0k，則算法決定目標(biāo)01至Ok中的最近的一個(gè)。為了實(shí)現(xiàn)對于干擾的魯棒性，同時(shí)發(fā)生的單元的證據(jù)被一并分析處理。在此，最多可能是視差圖的每個(gè)間隙有一個(gè)顯示組SI至Sm，從而以不利的方式被限制到每個(gè)間隙一個(gè)平面。在罕見的、但是在實(shí)際中重要的情況下，可能例如房子掩蓋一個(gè)位于在其前面的籬笆，從而該籬笆不能被檢測到并且因此不再是可見的。因?yàn)閮H僅表示出了最近的目標(biāo)01至0k，所以不能表示顯示組覆蓋的目標(biāo)01至0k，例如位于在車輛后面的行人。
[0027]此外，顯示組SI至Sm必須站立在地面表面B上。這可能對于在一定高度上伸出的目標(biāo)導(dǎo)致錯(cuò)誤的解讀。
[0028]再者，景深圖中的干擾可能導(dǎo)致存在錯(cuò)誤的顯示組SI至Sm。
[0029]圖2根據(jù)本發(fā)明方法示出了與圖1相同的環(huán)境U的二維示圖，該環(huán)境具有無障礙的自由空間F和用于使環(huán)境U中的目標(biāo)01至Ok模型化的多個(gè)顯示組S11至Snu。
[0030]與由現(xiàn)有技術(shù)已知的根據(jù)圖1的按照文獻(xiàn)DE102009009047A1的方法的不同之處在于，本發(fā)明方法不再需要借助景深圖的步驟。
[0031]雖然，同樣首先借助于圖像獲取單元分別拍攝環(huán)境U的兩個(gè)圖像并且借助于立體圖像處理獲取視差圖。圖像獲取單元是攝像機(jī)，然而也可以設(shè)計(jì)為光混合檢測器、三維攝像機(jī)、激光雷達(dá)和/或雷達(dá)。例如對于立體圖像處理可以應(yīng)用在“H.HirschmiilIer:Accurateand efficient stereo processing by sem1-global matching and mutual information.CVPR2005, San Diego, CA.Volume2.(June2005)，pp.807 - 814” 中描述的方法。
[0032]但是，以如下方式直接在視差圖中識別無障礙的自由空間F:使視差圖的每個(gè)像點(diǎn)根據(jù)相應(yīng)像點(diǎn)的視差值或者被分配給無障礙的地面B或者分配給多個(gè)顯示組S11至Sn11之一。所基于的幾何上的假設(shè)是:通常在多個(gè)平面El至En中存在目標(biāo)01至Ok的深度梯級。也就是說存在如下可能:在視差圖的間隙中可以示出多個(gè)目標(biāo)01至0k。為了能示出該深度梯級，根據(jù)在相應(yīng)間隙中平面El至En的數(shù)量多個(gè)顯示組S11至Sn11疊置地設(shè)置在視差圖的相關(guān)間隙中。在此，符號η說明在視差圖的相應(yīng)間隙中的顯示組號碼，而符號U、所謂的圖像間隙符號說明在視差圖中的相應(yīng)間隙的號碼。在示出的實(shí)施例中，視差圖分為三個(gè)平面El 至 Ε3。
[0033]自由空間F在此由使目標(biāo)01至Ok模型化的顯示組S11至Sn11界定。因?yàn)槊總€(gè)像點(diǎn)都被分派，所以在所謂的stixel范圍中不產(chǎn)生“孔”。也就是說，如在示出的實(shí)施例中示出的那樣，可以使環(huán)境U中的所有目標(biāo)01至Ok都被表示出，其中顯著提高了立體圖像處理的有效的作用范圍，從而也可以獲取更遠(yuǎn)的目標(biāo)01至0k。
[0034]在此，使相同寬度的顯示組S11至Sn11由與圖像獲取單元的圖像平面距離相同或相近的像點(diǎn)形成，借助該圖像獲取單元來獲取圖像。借助顯示組S11至Sn11又在自由空間F外使目標(biāo)Ol至Ok模型化。在此，每個(gè)顯示組S11至Sn11通過底點(diǎn)的二維位置以及其高度得到表征。也可以替代或附加于所示的垂直設(shè)置，使顯示組S11至Sn11以未詳細(xì)示出的方式水平地設(shè)置。
[0035]在同一個(gè)間隙中疊置有多個(gè)顯示組S11至Sn11的所示方案中，需要對相應(yīng)顯示組S11至Sn11的下棱邊和上棱邊作出特別精確的分析。也就是說，除了顯示組S11至Sn11的豎直邊界之外也確定其水平邊界。
[0036]顯示組S11至Sn11的水平和豎直邊界借助能量函數(shù)的數(shù)學(xué)優(yōu)化由像點(diǎn)的視差值確定。在此，優(yōu)選使用二次能量函數(shù)。然而這不是必要的。
[0037]特別優(yōu)選地，使用動態(tài)編程進(jìn)行數(shù)學(xué)優(yōu)化，其中在所述動態(tài)編程中相互獨(dú)立地確定相鄰的間隙。由于彼此獨(dú)立地確定顯示組S11至Sn11涉及一維問題，該問題借助于動態(tài)編程可以特別有效地得以解決。動態(tài)編程例如按照“David Gallup, Marc Pollefeys andJan-Michael Frahm: 3d reconstruction using an n-layer heightmap;In:Proc.DAGM,pagesl - 10, September2010，，實(shí)施。
[0038]為了產(chǎn)生環(huán)境U的有表現(xiàn)力的表示，給顯示組S11至Sn11分派多種多樣的屬性。為此，在待優(yōu)化的函數(shù)中考慮相應(yīng)像點(diǎn)的運(yùn)動信息、待確定目標(biāo)級的對應(yīng)關(guān)系、灰度值信息和/或顏色信息。此外，確定顯示組S11至Sn11與一個(gè)或多個(gè)目標(biāo)01至Ok的對應(yīng)關(guān)系，并給所述顯示組S11至Sn11設(shè)置關(guān)于其對應(yīng)關(guān)系的信息。
[0039]描述在空間中的運(yùn)動的運(yùn)動信息優(yōu)選通過對相應(yīng)像點(diǎn)的光流(optischen Fluss)進(jìn)行積分來獲取，并被分派給每個(gè)顯示組S11至Sn11作為運(yùn)動向量，其中為此順序地獲取并且處理多個(gè)視差圖并且光流由相繼的視差圖中的變化獲取。因此，對于顯示組S11至Sn11中的每一個(gè)估計(jì)出真實(shí)的運(yùn)動。相應(yīng)的方法例如由用于6D版本的工作已知，該工作在文獻(xiàn)DE102005008131A1中公開。該運(yùn)動信息進(jìn)一步簡化了對目標(biāo)01至Ok的分組，因?yàn)榭梢詸z查出一致的/兼容的運(yùn)動進(jìn)行檢查。
[0040]基于對運(yùn)動信息處理的認(rèn)識和可能性，也可以表示出運(yùn)動的情景并且例如將其用于對目標(biāo)01至Ok的預(yù)期運(yùn)動進(jìn)行預(yù)測。這種類型的運(yùn)動跟蹤也作為“tracking”是已知的。在此，為了確定顯示組S11至Sn11的運(yùn)動而獲取車輛自身運(yùn)動并且對其進(jìn)行考慮以用于補(bǔ)償。顯示組SI至Sm的緊湊性和魯棒性由在相應(yīng)顯示組S11至Sn11的范圍中多個(gè)像點(diǎn)的積分以及-在使用tracking時(shí)-由在時(shí)間上的附加的積分引起。
[0041]相應(yīng)顯示組S11至Sn11的底點(diǎn)的位置、顯示組S11至Sn11的高度和運(yùn)動信息優(yōu)選借助于所謂的場景流獲取。場景流涉及如下種類的方法:由至少兩個(gè)依次的立體圖像對嘗試盡可能對于每個(gè)像點(diǎn)獲取在空間中正確的運(yùn)動及其三維位置。
[0042]顯示組S11至Sn11具有明確的相鄰關(guān)系，由此可以將它們非常簡單地分組到目標(biāo)01至Ok。在最簡單的情況下，對于每個(gè)顯示組S11至Sn11可以僅僅傳輸距離和高度，在顯示組S11至Sn11的已知寬度下由一個(gè)符號產(chǎn)生角度，也就是在圖像中的間隙。
[0043]所示出的stixel范圍——其也是所謂的多層stixel范圍——代表在環(huán)境U中的幾何情況并且以特別的方式也適用于另外的處理步驟。
[0044]在此，可以基于所識別出的顯示組S11至Sn11在車輛中生成用于駕駛員輔助系統(tǒng)的信息，在所述車輛上設(shè)有用于拍攝圖像的圖像獲取單元。[0045]例如，在自動運(yùn)動的車輛中根據(jù)所確定的自由空間F能用于注意力控制或用于進(jìn)行規(guī)劃/計(jì)劃。
[0046]另外，可以估計(jì)在車輛與通過顯示組S11至Sn11表示的目標(biāo)01至Ok相撞之前所剩余的時(shí)間。此外，可以將行駛通道設(shè)置到無障礙自由空間F中，該自由空間應(yīng)該由車輛利用，其中獲取目標(biāo)01至Ok中至少一個(gè)與行駛通道的側(cè)向間距。
[0047]同樣地重要的是:識別出特別是運(yùn)動的目標(biāo)01至Ok從而為轉(zhuǎn)彎輔助系統(tǒng)、自動行車燈電路、行人保護(hù)系統(tǒng)和緊急制動系統(tǒng)提供支持。
[0048]再者，另外的傳感器的信息與被分派給顯示組S11至Sn11的、用于支持駕駛員輔助系統(tǒng)的信息在同一個(gè)傳感器組合系統(tǒng)中被組合。為此特別考慮有源傳感器，例如激光雷達(dá)。
[0049]附圖標(biāo)記列表
[0050]B 地面
[0051]El 平面
[0052]E2 平面
[0053]E3 平面
[0054]F自由空間
[0055]01 至 Ok 目標(biāo)
[0056]SI至Sm顯示組
[0057]S11 至 Sn11 顯示組
[0058]U 環(huán)境
【權(quán)利要求】
1.一種用于環(huán)境表示的方法，其中分別拍攝環(huán)境(U)的兩個(gè)圖像并且借助立體圖像處理獲得視差圖， 其特征在于，在所述視差圖中通過如下方式識別出無障礙的自由空間(F):使視差圖的每個(gè)像點(diǎn)根據(jù)相應(yīng)像點(diǎn)的視差值或者被分派給無障礙的地面(B)或者被分派給多個(gè)顯示組(S11至Sn11)之一，其中相同寬度的顯示組(S11至Sn11)由與圖像平面距離相同或相近的像點(diǎn)形成，其中借助一個(gè)顯示組(S11至Sn11)或多個(gè)顯示組(S11至Sn11)使所述環(huán)境(U)中位于自由空間(F)外的目標(biāo)(Ol至Ok)被模型化。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，如果在視差圖的一個(gè)間隙中在不同平面(El至E3)內(nèi)示出多個(gè)目標(biāo)(01至0k)，則在視差圖的該一個(gè)間隙中使多個(gè)顯示組(S11至Sn11)疊置。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，作為顯示組(S11至Sn11)的邊界相應(yīng)地確定出側(cè)邊界、下邊界和上邊界。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，顯示組(S11至Sn11)的邊界借助于能量函數(shù)的數(shù)學(xué)優(yōu)化由像點(diǎn)的視差值來確定。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，使用二次能量函數(shù)。
6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，使用動態(tài)編程進(jìn)行數(shù)學(xué)優(yōu)化，其中在所述動態(tài)編程中相互獨(dú)立地確定相鄰的間隙。
7.根據(jù)權(quán)利要求3至6之一所述的方法，其特征在于，在確定顯示組(S11至SnIi)的邊界時(shí)考慮相應(yīng)像點(diǎn)的運(yùn)動信息、灰度值信息和/或顏色信息。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，依次獲得多個(gè)視差圖并對所述多個(gè)視差圖進(jìn)行處理，其中通過對相應(yīng)像點(diǎn)的光流進(jìn)行積分而由相繼的視差圖中的變化獲得運(yùn)動信息并將所述運(yùn)動信息分派給每個(gè)顯示組(S11至Sn11)作為運(yùn)動向量。
9.根據(jù)上述權(quán)利要求之一所述的方法，其特征在于，確定出顯示組(S11至Sn11)與一個(gè)或多個(gè)目標(biāo)(01至Ok)的對應(yīng)關(guān)系，給顯示組(S11至Sn11)設(shè)置關(guān)于其對應(yīng)關(guān)系的信息。
10.根據(jù)上述權(quán)利要求之一所述的方法，其特征在于，基于顯示組(S11至Sn11)生成供拍攝圖像的圖像獲取單元所在的車輛中的駕駛員輔助系統(tǒng)使用的信息。
【文檔編號】G06T7/00GK103765439SQ201280042239
【公開日】2014年4月30日 申請日期:2012年7月21日 優(yōu)先權(quán)日:2011年8月30日
【發(fā)明者】U·弗蘭克, D·普法伊費(fèi)爾 申請人:戴姆勒股份公司