專利名稱：立體圖像檢測系統(tǒng)的基礎(chǔ)寬度的確定的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于確定立體檢測系統(tǒng)的基礎(chǔ)寬度的方法、一種相應(yīng)的設(shè)備以及一種相應(yīng)的計算機(jī)程序產(chǎn)品。
背景技術(shù)：
駕駛員輔助系統(tǒng)的基于視頻的環(huán)境感知變得越來越重要。其中使用由一個或多個攝像機(jī)組成的傳感器。由于外部影響——如溫度變化或機(jī)械力可能的是，以前校準(zhǔn)的攝像機(jī)系統(tǒng)變得未經(jīng)校準(zhǔn)。在此，不僅調(diào)整攝像機(jī)彼此的定向而且調(diào)整立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度——接下來稱作“立體基礎(chǔ)寬度”。攝像機(jī)模型的現(xiàn)在錯誤的參數(shù)導(dǎo)致基于立體三角測量法和所有由此推導(dǎo)的參量的錯誤的深度測量。為此，DE 10 2005 039 561 Al描述一種用于光學(xué)系統(tǒng)的溫度補(bǔ)償?shù)姆椒ā?br>
發(fā)明內(nèi)容
在此背景下，通過本發(fā)明提供根據(jù)獨立權(quán)利要求的用于確定立體檢測系統(tǒng)的基礎(chǔ)寬度的方法、使用所述方法的設(shè)備以及(最后)相應(yīng)的計算機(jī)程序產(chǎn)品。有利的構(gòu)型從相應(yīng)的從屬權(quán)利要求和后續(xù)說明中得出。根據(jù)本發(fā)明的方法可以基于用于借助參考對象確定內(nèi)在攝像機(jī)參數(shù)和外在攝像機(jī)參數(shù)的已知方法。在此，在一個或多個視頻圖像中探測參考對象，所述參考對象的幾何特征是已知的。由幾何特征的探測可以借助已知方法(如其例如在SCHREER，0.所著的《Stereoanalyse und Bildsynthese》， Springer Berlin Heidelberg,2005 年，ISBN978-3-540-23439-5 (印刷)中描述的那樣)計算攝像機(jī)參數(shù)。在已知的攝像機(jī)參數(shù)的情況下，可以借助立體三角測量法求得世界點、即所記錄的場景中的點與攝像機(jī)系統(tǒng)的距離。根據(jù)本發(fā)明的方法現(xiàn)在基于，基于所檢測的對象來確定立體基礎(chǔ)寬度。對于立體攝像機(jī)系統(tǒng)的應(yīng)用領(lǐng)域，可以通過圖像中的已知幾何參量的測量來確定立體基礎(chǔ)寬度。已知幾何參量在此例如可以是號牌的高度、交通標(biāo)志的直徑或也可以是交通柱的寬度。這些值通常是標(biāo)準(zhǔn)化的并且因此是已知的。根據(jù)本發(fā)明的系統(tǒng)可以通過立體測量原理求得這些參量并且在偏差的情況下校正攝像機(jī)參數(shù)。在此可以通過已知的方法確定兩個攝像機(jī)彼此的相對定向。與此相反，既可以同時或者也可以在第二步驟中單獨通過根據(jù)本發(fā)明的方法重新求得立體基礎(chǔ)寬度。用于自動確定攝像機(jī)的定向的已知方法不包括立體基礎(chǔ)寬度的校正。有利地，可以借助根據(jù)本發(fā)明的方法避免實施迄今所需的、借助參考對象對攝像機(jī)系統(tǒng)的完整重新校準(zhǔn)。迄今必須“離線地(offline)”實施這種費(fèi)時的步驟。有利地，根據(jù)本發(fā)明的方法能夠在攝像機(jī)系統(tǒng)運(yùn)行期間(“在線”模式:“0nline”-ModuS)實現(xiàn)深度測量的自動校正。因此，在攝像機(jī)系統(tǒng)運(yùn)行期間，根據(jù)本發(fā)明通過立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的自動確定可以測量可能改變的系統(tǒng)結(jié)構(gòu)的立體基礎(chǔ)寬度。攝像機(jī)不僅在離線模式中而且在在線模式中工作。在此，車輛可以始終處于運(yùn)動中。因此，可以在車輛行駛期間實施基礎(chǔ)寬度的確定。然而，不同于在線模式，在離線模式中后續(xù)的圖像處理算法不運(yùn)行，例如用于探測車輛或行人。本發(fā)明提供一種用于確定立體檢測系統(tǒng)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的方法，其包括以下步驟:基于由立體檢測系統(tǒng)檢測的對象的所檢測的尺寸(其中所檢測的尺寸代表通過立體檢測系統(tǒng)求得的值)、在對象與立體檢測系統(tǒng)的參考距離的情況下對于所述對象預(yù)先確定的對象參考尺寸、參考距離和立體檢測系統(tǒng)的與所述對象相關(guān)的視差值來確定基礎(chǔ)寬度。因此，可以基于與立體檢測系統(tǒng)具有一確定間距的、由立體檢測系統(tǒng)檢測的對象在圖像中的擴(kuò)展一例如寬度、高度或深度以及立體檢測系統(tǒng)的與所述對象相關(guān)的視差值來進(jìn)行基礎(chǔ)寬度的確定。所述間距在此優(yōu)選由圖像中的擴(kuò)展求得，但替代地例如也可以通過用于距離測量的單獨設(shè)備——例如雷達(dá)傳感器、激光傳感器或PMD傳感器獲得。立體檢測系統(tǒng)可以具有兩個彼此相鄰設(shè)置的檢測裝置，例如兩個具有鏡頭的攝像機(jī)。借助這兩個檢測裝置可以分別生成立體檢測系統(tǒng)的周圍環(huán)境的同一區(qū)域的圖像。兩個檢測裝置的光軸之間的間距在此可以相應(yīng)于基礎(chǔ)寬度。所述對象可以涉及設(shè)置在立體檢測系統(tǒng)的周圍環(huán)境中并且位于立體檢測系統(tǒng)的檢測區(qū)域中的物體或標(biāo)記。在所述確定的步驟中，可以基于由立體檢測系統(tǒng)產(chǎn)生的記錄實現(xiàn)所檢測的尺寸。對象的所檢測的尺寸例如可以相應(yīng)于立體檢測系統(tǒng)的傳感器元件上表征對象的邊緣的兩個像點之間的間距或像點數(shù)量。如果以子像素工作，則所述間距可以不是整數(shù)。以相應(yīng)的方式可以用子像素說明參考尺寸。一個子像素可以理解為一個像點的一小部分。如果檢測參考距離上的對象，則所檢測的尺寸相應(yīng)于預(yù)先確定的參考尺寸?？梢蕴崆皽y量對象，從而參考尺寸在相應(yīng)參考距離的情況下是已知的。參考尺寸和參考距離可以存儲在存儲器中并且從所述存儲器中讀取?？梢酝ㄟ^合適的接口接收關(guān)于在圖像攝取時刻與對象的距離的信息，由所述信息確定對象的所檢測的尺寸。所述距離可以通過分析處理由立體檢測系統(tǒng)提供的信息、例如通過對象在圖像中的擴(kuò)展來實現(xiàn)。替代地，可以通過其他合適的方式一例如借助雷達(dá)傳感器、激光傳感器或PMD傳感器來確定所述距離。可以從由兩個檢測裝置提供的圖像或圖像信息中確定視差值。在此，“視差”可以理解為兩個檢測裝置的兩個對應(yīng)的像點之間的偏差，所述兩個檢測裝置分別成像立體檢測系統(tǒng)的周圍環(huán)境中的相同的真實的點。也可以使用多個與對象相關(guān)的視差值或關(guān)于整個對象求得的視差信息。立體檢測系統(tǒng)例如可以設(shè)置在車輛上并且可以被構(gòu)造用于檢測車輛的周圍環(huán)境。在在線運(yùn)行中，可以持續(xù)產(chǎn)生立體檢測系統(tǒng)的周圍環(huán)境的記錄。一個或多個在在線運(yùn)行期間產(chǎn)生的記錄可以作為用于確定立體檢測系統(tǒng)的基礎(chǔ)寬度的基礎(chǔ)。為了確定是否需要基礎(chǔ)寬度的校正，可以以兩種不同的方式確定與所檢測的對象的當(dāng)前間距。如果兩個間距值一致，則不需要校正。如果與此相反兩個間距值不一致，則需要校正。一方面，可以基于在確定的時刻檢測的對象尺寸、對象的參考尺寸和參考尺寸所基于的對象參考距離來確定所述間距。另一方面，可以基于當(dāng)前調(diào)節(jié)的基礎(chǔ)寬度和在確定的時刻求得的視差值來求得所述間距。此外，可以基于立體檢測系統(tǒng)的焦距和傳感器元件的大小來確定基礎(chǔ)寬度。傳感器在此是圖像攝取裝置。特別地，可以由距離、視差值和傳感器元件的大小的乘積與焦距的商來確定基礎(chǔ)寬度。
根據(jù)一種實施方式，基于所檢測的對象與立體檢測系統(tǒng)的距離和視差值求得基礎(chǔ)寬度，其中基于所檢測的尺寸、參考尺寸和參考距離來確定所述距離。因此，優(yōu)選地，不需要其他裝置來確定與對象的當(dāng)前間距。此外，所述方法包括在立體檢測系統(tǒng)的周圍環(huán)境的由立體檢測系統(tǒng)檢測的記錄中識別對象的步驟和將參考尺寸和參考距離分配給所述對象的步驟。優(yōu)選地，可以借助對象識別方法在立體檢測系統(tǒng)在線運(yùn)行期間檢測的記錄中識別所述對象。在查找表中可以存放與多個參考對象相應(yīng)的參考尺寸和參考距離。對于每個參考對象可以分別存放多個不同的參考尺寸和所屬的參考距離。此外，可以存放一個或多個參考對象的合適的特征，其能夠?qū)崿F(xiàn)參考對象的識別。在此，在識別的步驟中，對象可以被識別為多個已知的參考對象中的一個，對于所述多個已知的參考對象分別已知至少一個參考尺寸和至少一個參考距離。因此，對于每個參考對象可以存放一個或多個參考對，其中每個參考對分別包括參考尺寸的值和參考間距的值。如果立體檢測系統(tǒng)設(shè)置在車輛上，則參考對象通?？梢允窃谲囕v的周圍環(huán)境中出現(xiàn)的對象一例如交通基礎(chǔ)設(shè)施或其他車輛的區(qū)域。因此參考對象可以涉及由立體檢測系統(tǒng)原本在正常運(yùn)行期間檢測的對象。根據(jù)一種實施方式，可以執(zhí)行響應(yīng)于在記錄中識別對象確定基礎(chǔ)寬度的步驟。因此可以通過識別合適的對象來自動觸發(fā)本方法。所述方法可以包括基于分配給立體檢測系統(tǒng)的立體算法確定視差值的步驟。借助立體算法可以確定立體檢測系統(tǒng)的記錄的深度信息。對象的視差值可以與分配給對象的一個點或一個邊相關(guān)。此外，本發(fā)明提供一種用于確定立體檢測系統(tǒng)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的設(shè)備，其包括以下特征:用于基于由立體檢測系統(tǒng)檢測的對象的所檢測的尺寸、在對于與立體檢測系統(tǒng)的參考距離的情況下對于所述對象預(yù)先確定的對象參考尺寸、參考距離和立體檢測系統(tǒng)的與對象相關(guān)的視差值來確定基礎(chǔ)寬度的裝置，其中所檢測的尺寸代表通過立體檢測系統(tǒng)求得的值。所述設(shè)備可以是立體檢測系統(tǒng)的一部分。所述設(shè)備被構(gòu)造用于在相應(yīng)的裝置中實施或?qū)崿F(xiàn)根據(jù)本發(fā)明的方法的步驟。通過本發(fā)明的設(shè)備形式的實施變型方案也可以快速和有效地解決本發(fā)明所基于的任務(wù)。設(shè)備在此理解為處理傳感器信號并且據(jù)此輸出控制信號的電設(shè)備。所述設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是包括所述設(shè)備的最不同功能的所謂的系統(tǒng)ASIC或所謂的FPGA的一部分。然而，還可能的是，接口是單獨的集成電路或至少部分地由分立部件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。當(dāng)在相應(yīng)于計算機(jī)的設(shè)備上執(zhí)行程序時，具有以下程序代碼的計算機(jī)程序產(chǎn)品也是有利的:所述程序代碼可以存儲在機(jī)器可讀的載體一如半導(dǎo)體存儲器、硬盤存儲器或光學(xué)存儲器上并且被用于實施根據(jù)以上描述的實施方式之一的方法。


下面根據(jù)附圖示例性地詳細(xì)解釋本發(fā)明。附圖示出:圖1:本發(fā)明的一個實施例的概略示圖；圖2:本發(fā)明的一個實施例的流程圖；圖3:根據(jù)本發(fā)明的一個實施例的立體檢測系統(tǒng)的示意圖。
具體實施例方式在本發(fā)明的優(yōu)選實施例的后續(xù)描述中，對于在不同附圖中示出并且起類似作用的元件使用相同的或類似的參考標(biāo)記，其中不重復(fù)描述這些元件。圖1示出根據(jù)本發(fā)明的一個實施例的具有立體攝像機(jī)系統(tǒng)102的車輛100。所述立體攝像機(jī)系統(tǒng)102可以被用作立體測量系統(tǒng)。立體攝像機(jī)系統(tǒng)102被構(gòu)造用于在車輛100處于運(yùn)動期間以及在車輛100的靜止?fàn)顟B(tài)中攝取車輛100的周圍環(huán)境的圖像。例如車輛可以位于車道上，并且交通標(biāo)志104可以位于立體攝像機(jī)系統(tǒng)102的檢測區(qū)域中。因此，立體攝像機(jī)系統(tǒng)102可以檢測交通標(biāo)志104。由立體攝像機(jī)系統(tǒng)檢測的圖像例如可以提供給駕駛員輔助功能并且由其分析處理。例如可以借助對象識別來識別交通標(biāo)志104。此外，立體攝像機(jī)系統(tǒng)102的圖像或單獨的圖像可以提供給用于確定立體攝像機(jī)系統(tǒng)102的基礎(chǔ)寬度的設(shè)備106。設(shè)備106可以是立體攝像機(jī)系統(tǒng)102的一部分或可以被實現(xiàn)為通過接口與立體攝像機(jī)系統(tǒng)102連接的單獨單元。設(shè)備106被構(gòu)造用于例如根據(jù)交通標(biāo)志104確定基礎(chǔ)寬度。為此,設(shè)備106可以處理由立體攝像機(jī)系統(tǒng)102求得的關(guān)于交通標(biāo)志104的視差信息。通過設(shè)備106確定的基礎(chǔ)寬度可以被用于更新立體攝像機(jī)系統(tǒng)102的基礎(chǔ)寬度的現(xiàn)有值。圖2示出根據(jù)本發(fā)明的一個實施例的用于確定立體檢測系統(tǒng)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的方法的流程圖。所述方法可以被用于確定在圖1中示出的攝像機(jī)系統(tǒng)的基礎(chǔ)寬度。在步驟210中，分析由立體檢測系統(tǒng)攝取的關(guān)于一個或多個預(yù)先確定的對象的記錄。為此，可以執(zhí)行合適的對象識別。如果識別到相應(yīng)的對象一例如在圖1中示出的交通標(biāo)志，則可以在步驟212中確定與所述對象的距離。這例如可以通過以下方式實現(xiàn):測量對象的確定特征的尺寸并且將其與所存放的參考尺寸相關(guān)聯(lián)。所述尺寸可以相應(yīng)于立體檢測系統(tǒng)的記錄或圖像中的特征的擴(kuò)展。所述特征例如可以代表交通標(biāo)志牌的高度、寬度或其他參量。參考尺寸與相應(yīng)的特征相關(guān)。參考尺寸例如可以被存放在存儲器中并且在對象識別的情形中被讀取。在步驟214中，可以確定分配給所述對象的視差值。隨后在步驟216中可以基于視差值和距離確定當(dāng)前現(xiàn)有的基礎(chǔ)寬度。在步驟218中，可以通過當(dāng)前確定的基礎(chǔ)寬度取代立體檢測系統(tǒng)的迄今假設(shè)的基礎(chǔ)寬度。圖3示出根據(jù)本發(fā)明的一個實施例的立體檢測系統(tǒng)的軸平行的立體幾何的俯視圖。立體檢測系統(tǒng)具有第一檢測系統(tǒng)以及第二檢測系統(tǒng)，所述第一檢測系統(tǒng)具有第一透鏡321或由一個或多個透鏡組成的第一鏡頭和第一傳感器兀件323,所述第二檢測系統(tǒng)具有第二透鏡325或由一個或多個透鏡組成的第二鏡頭和第二傳感器元件327。第一和第二檢測系統(tǒng)的光軸彼此平行地延伸通過點331、333并且通過基礎(chǔ)寬度B彼此間隔開。第一和第二檢測系統(tǒng)分別具有相同的焦點f。示出由立體檢測系統(tǒng)檢測的對象的一個點341，其成像到第一傳感器兀件323的第一像點343上和第二傳感器兀件327的第二像點345上。矢量U1, U2表示像點343、345與相應(yīng)的光軸之間的間距。還示出點341與立體檢測系統(tǒng)并且尤其與設(shè)置有傳感器元件323、327的平面的距離P。根據(jù)一個實施例，對于用于自動確定立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的方法而言前提是，在一個或多個給定的參考距離的情況下，已知對象——例如號牌或交通標(biāo)志在圖像中的擴(kuò)展是已知的。為了描述所述方法，Iitl在接下來的流程中示例性地表示在P flOm的參考距離的情況下在攝像機(jī)圖像中號牌的高度，以像素為單位說明。如上面已經(jīng)描述的那樣，具有已知的幾何特征的其他對象也是可能的。其他的參考距離同樣是可能的。因此，對象的當(dāng)前距離P1可以通過當(dāng)前高度Iitl和參考高度Iltl以及參考距離P。的關(guān)系說明。
權(quán)利要求
1.一種用于確定設(shè)置在車輛上的立體檢測系統(tǒng)(102)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的方法，所述方法包括以下步驟: 檢測由所述立體檢測系統(tǒng)(102)檢測的對象(104)的尺寸， 其中，所檢測的尺寸代表通過所述立體檢測系統(tǒng)求得的值， 將所述尺寸與在所述對象與所述立體檢測系統(tǒng)的參考距離的情況下所述對象的對于所述對象預(yù)先確定的參考尺寸和所述參考距離相關(guān)聯(lián)，用于確定所檢測的對象(104)與所述立體檢測系統(tǒng)的距離， 以及基于所述距離和所述立體檢測系統(tǒng)的與所述對象有關(guān)的視差值確定所述基礎(chǔ)寬度， 其中，在運(yùn)行中持續(xù)產(chǎn)生所述立體檢測系統(tǒng)的周圍環(huán)境的記錄，所述記錄被用作所述基礎(chǔ)寬度的確定的基礎(chǔ)，并且在所述車輛行駛期間實施所述基礎(chǔ)寬度的確定。
2.根據(jù)權(quán)利要求1所述的方法，其中，還基于所述立體檢測系統(tǒng)的焦距和傳感器元件的大小確定所述基礎(chǔ)寬度。
3.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，當(dāng)以兩種不同的方式確定與所檢測的對象的當(dāng)前間距并且其不一致時，才校正所述基礎(chǔ)寬度，其中，基于所述對象的在確定時刻檢測的尺寸、所述對象的參考尺寸和所述對象的基于所述參考尺寸的參考距離確定一個間距，并且基于當(dāng)前調(diào)節(jié)的基礎(chǔ)寬度和在確定時刻求得的視差值求得另一個間距。
4.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，所述距離替代地通過用于距離測量的單獨設(shè)備——例如雷達(dá)傳感器、激光傳感器或PMD傳感器獲得。
5.根據(jù)以上權(quán)利要求中任一項所述的方法，所述方法具有在所述記錄中識別所述對象(104)的步驟和將所述參考尺寸和所述參考距離分配給所述對象的步驟。
6.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，在所述識別的步驟中，作為多個已知的參考對象中的一個識別所述對象(104)，對于所述多個已知的參考對象分別至少一個參考尺寸和至少一個參考距離是已知的。
7.根據(jù)權(quán)利要求5或6中任一項所述的方法，其中，執(zhí)行響應(yīng)于在記錄中識別所述對象(104)確定所述基礎(chǔ)寬度的步驟。
8.根據(jù)以上權(quán)利要求中任一項所述的方法，所述方法具有基于分配給所述立體檢測系統(tǒng)(102)的立體算法確定所述視差值的步驟。
9.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，所述參考對象通常是在所述車輛的周圍環(huán)境中出現(xiàn)的對象，例如交通基礎(chǔ)設(shè)施或其他車輛的區(qū)域，例如號牌或交通標(biāo)志。
10.根據(jù)以上權(quán)利要求中任一項所述的方法，其中，將所述參考尺寸存放在存儲器中并且在識別到所述對象的情形中讀取所述參考尺寸。
11.一種用于確定設(shè)置在車輛上的立體檢測系統(tǒng)(102)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的設(shè)備，其包括以下特征: 用于檢測由所述立體檢測系統(tǒng)(102)檢測的對象(104)的尺寸的裝置(106)， 其中，所檢測的尺寸代表通過所述立體檢測系統(tǒng)求得的值， 所述裝置將所述尺寸與在所述對象與所述立體檢測系統(tǒng)的參考距離的情況下所述對象的對于所述對象預(yù)先確定的參考尺寸和所述參考距離相關(guān)聯(lián)，用于確定所檢測的對象(104)與所述立體檢測系統(tǒng)的距離， 隨后基于所述距離和所述立體檢測系統(tǒng)的與所述對象有關(guān)的視差值來確定所述基礎(chǔ)寬度， 所述裝置在運(yùn)行中持續(xù)產(chǎn)生所述立體檢測系統(tǒng)的周圍環(huán)境的記錄，所述記錄被用于所述基礎(chǔ)寬度的確定的基礎(chǔ)， 所述裝置在所述車輛行駛期間實施所述基礎(chǔ)寬度的確定。
12.—種具有程序代碼的計算機(jī)程序產(chǎn)品，所述程序代碼用于當(dāng)在設(shè)備上執(zhí)行所述程序時，實施根據(jù)權(quán) 利要求1至11中任一項所述的方法。
全文摘要
本發(fā)明涉及一種用于確定立體檢測系統(tǒng)(102)、尤其是立體攝像機(jī)系統(tǒng)的基礎(chǔ)寬度的方法。所述方法包括以下步驟基于由立體檢測系統(tǒng)(102)檢測的對象(104)的所檢測的尺寸、在對象與立體檢測系統(tǒng)的參考距離的情況下對于所述對象預(yù)先確定的對象參考尺寸、參考距離和立體檢測系統(tǒng)的與所述對象相關(guān)的視差值來確定基礎(chǔ)寬度，其中所檢測的尺寸代表通過立體檢測系統(tǒng)求得的值。
文檔編號G06T7/00GK103180877SQ201180050596
公開日2013年6月26日 申請日期2011年10月7日 優(yōu)先權(quán)日2010年10月22日
發(fā)明者M·許澤, P-S·勞爾 申請人:羅伯特·博世有限公司