專利名稱：用于校準(zhǔn)圖象傳感器的裝置及方法
現(xiàn)有技術(shù)本發(fā)明涉及用于確定圖像傳感器的校準(zhǔn)參數(shù)的裝置及方法。
機(jī)動(dòng)車制造者計(jì)劃使用傳感機(jī)構(gòu)、尤其是圖像傳感器來監(jiān)測(cè)機(jī)動(dòng)車內(nèi)空間。所考慮的是在氣囊智能控制上使用圖像傳感器。在氣囊智能控制的范圍中將致力于機(jī)動(dòng)車中座位占用情況的分類，以便例如防止在后座安裝兒童座椅的情況下由氣囊的釋放引起兒童受傷。另一方面，計(jì)劃通過所謂“離位時(shí)的檢測(cè)”來監(jiān)測(cè)乘客身體部分的位置，如頭或軀干和/或乘客相對(duì)氣囊的坐姿，以防止尤其在氣囊組件釋放時(shí)由于頭部在氣囊組件上的過緊密的定位而使其受傷。
例如WO 01/60662 A1公開了一種用于借助視頻傳感器及腳部空間傳感機(jī)構(gòu)識(shí)別座位占用的方法及裝置。其中提出，一個(gè)坐在座位上的人的頭部高度由視頻傳感機(jī)構(gòu)來檢測(cè)，與腳部空間傳感機(jī)構(gòu)一起來進(jìn)行座位占用情況的分類及根據(jù)座位占用情況來控制氣囊。但在該WO 01/60662 A1中未指出用于確定視頻傳感機(jī)構(gòu)的圖像傳感器的校準(zhǔn)參數(shù)的裝置及方法。
本發(fā)明的優(yōu)點(diǎn)以下所述的用于確定至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的裝置-其中在識(shí)別出該至少一個(gè)圖像傳感器的偏離校準(zhǔn)時(shí)，至少一個(gè)處理單元將根據(jù)圖像信號(hào)來確定至少一個(gè)校準(zhǔn)參數(shù)，這些圖像信號(hào)由該至少一個(gè)圖像傳感器至少從至少一個(gè)不變的圖案中導(dǎo)出-具有其優(yōu)點(diǎn)，由偏離校準(zhǔn)可識(shí)別出至少一個(gè)圖像傳感器的功能誤差并且對(duì)其附加地自動(dòng)校正。變換地或附加地，有利的是，將識(shí)別的偏離校準(zhǔn)傳送給至少一個(gè)后置系統(tǒng)和/或機(jī)動(dòng)車駕駛員(操作人員)。該校準(zhǔn)的自動(dòng)檢測(cè)以有利的方式對(duì)圖像傳感器的功能可靠性作出貢獻(xiàn)及由此尤其允許圖像傳感器使用在機(jī)動(dòng)車內(nèi)空間中與安全休戚相關(guān)的應(yīng)用中。
此外，以有利方式通過至少一個(gè)校準(zhǔn)參數(shù)的自動(dòng)確定減小了在機(jī)動(dòng)車中至少一個(gè)圖像傳感器的安裝成本。由此取消了在機(jī)動(dòng)車制造和/或在修理時(shí)執(zhí)行專門校準(zhǔn)方法的必要性。此外該裝置還有助于允許窄的制造公差加大，在無以下將描述的用于保持校準(zhǔn)參數(shù)的裝置時(shí)該窄的制造公差必需被規(guī)定。由此產(chǎn)生了在機(jī)動(dòng)車制造和/或修理時(shí)特別有利的成本下降?？偟貋碚f，以下將描述的裝置以有利的方式適用于圖像傳感器在機(jī)動(dòng)車中與安全休戚相關(guān)的應(yīng)用上批量地使用，尤其是應(yīng)用在氣囊的智能控制上，因?yàn)閳D像傳感器的功能誤差尤其可用偏離校準(zhǔn)的形式被識(shí)別。
尤其有利的是，該至少一個(gè)不變的圖案通過至少一個(gè)為了確定至少一個(gè)校準(zhǔn)參數(shù)而設(shè)置在場(chǎng)景中的參考目標(biāo)來構(gòu)成。有利地，利用信號(hào)化參考目標(biāo)來校準(zhǔn)至少一個(gè)圖像傳感器，特別有利的是，信號(hào)化的參考目標(biāo)是在機(jī)動(dòng)車內(nèi)空間中。信號(hào)化參考目標(biāo)具有其優(yōu)點(diǎn)，即它可由傳感機(jī)構(gòu)簡(jiǎn)單地檢測(cè)及通過信號(hào)化由信號(hào)處理裝置在測(cè)量數(shù)據(jù)中可靠地識(shí)別出來。
有利地的是，參考目標(biāo)的信號(hào)化(發(fā)出信號(hào))是通過特別的亮度來達(dá)到的，即或有源地通過發(fā)光裝置如LED二極管和/或紅外線發(fā)光二極管和/或無源地通過高反射率(反射能力，反射系數(shù))的表面來達(dá)到的。因此特別有利地設(shè)有這樣的參考目標(biāo)，這些參考目標(biāo)被構(gòu)造成發(fā)光裝置，尤其是構(gòu)造成發(fā)光二極管(LED二極管)和/或具有高反射率。這樣構(gòu)成的參考目標(biāo)有助于通過處理單元簡(jiǎn)單獲得所述至少一個(gè)不變的圖案的可能性。
此外有利的是，至少一個(gè)參考目標(biāo)的信號(hào)化通過一個(gè)特殊的形狀來實(shí)現(xiàn)。尤其有利的是具有幾何形狀的參考目標(biāo)，該幾何形狀例如是一個(gè)點(diǎn)和/或一個(gè)圓和/或一個(gè)三角形和/或一個(gè)四邊形和/或一個(gè)正方形。變換地或附加地，字母和/或編碼順序和/或標(biāo)記作為參考目標(biāo)也是有利的。這有助于簡(jiǎn)單識(shí)別圖像信號(hào)中至少一個(gè)不變的圖案的可能性。
有利的還在于，對(duì)至少一個(gè)兩維(2D)和/或至少一個(gè)三維(3D)的不變的圖案設(shè)置多個(gè)參考目標(biāo)，其中所述圖案具有一個(gè)幾何形狀，例如一個(gè)十字和/或一個(gè)圓和/或一個(gè)編碼順序。特別有利的是，以下將描述的裝置的該方案與信號(hào)化參考目標(biāo)、尤其是與通過發(fā)光裝置如發(fā)光二極管發(fā)出信號(hào)的參考目標(biāo)相聯(lián)系。這有助于，該至少一個(gè)不變的圖案通過處理單元簡(jiǎn)單地再識(shí)別及需要時(shí)可使不同的不變的圖案相互被區(qū)分。
特別有利的是，在場(chǎng)景的、在該至少一個(gè)圖像傳感器的監(jiān)測(cè)功能方面重要的至少一個(gè)目標(biāo)上設(shè)置該至少一個(gè)參考目標(biāo)。尤其是，當(dāng)在至少一個(gè)對(duì)于相應(yīng)的應(yīng)用重要的目標(biāo)、例如氣囊擋板和/或氣囊本身和/或方向盤上具有至少一個(gè)已知的參考目標(biāo)和/或不變的圖案(參考圖案)時(shí)，該裝置應(yīng)用在機(jī)動(dòng)車中是特別有利的。這允許在機(jī)動(dòng)車內(nèi)空間中至少一個(gè)或多個(gè)這種重要目標(biāo)與其它的、非信號(hào)化的目標(biāo)之間的距離測(cè)量，而無需事先知道-例如通過用另一傳感器測(cè)量-傳感機(jī)構(gòu)即該至少一個(gè)圖像傳感器相對(duì)該至少一個(gè)重要目標(biāo)的位置及定向。
有利的還在于，該至少一個(gè)不變的圖案變換地或附加地由場(chǎng)景中的至少一個(gè)自然存在的目標(biāo)構(gòu)成。特別有利的是，為了校準(zhǔn)，在圖像信號(hào)中監(jiān)測(cè)及跟蹤在機(jī)動(dòng)車中存在的由結(jié)構(gòu)形式限定的目標(biāo)的位置。在機(jī)動(dòng)車中存在的由結(jié)構(gòu)形式限定的目標(biāo)例如是至少一個(gè)車門立柱和/或至少一個(gè)儀表盤和/或至少一個(gè)機(jī)動(dòng)車頂板。
以下將描述的用于確定至少一個(gè)CMOS圖像傳感器和/或至少一個(gè)CCD圖像傳感器和/或至少一個(gè)單目圖像傳感器和/或至少一個(gè)立體攝像機(jī)和/或至少一個(gè)提供景深圖像的圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的裝置是有利的。
以上所述的裝置的優(yōu)點(diǎn)也適用于相應(yīng)的用于確定至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的方法。
特別有利的是一個(gè)具有程序碼媒介的計(jì)算機(jī)程序，用于當(dāng)該程序在一個(gè)計(jì)算機(jī)上被執(zhí)行時(shí)，執(zhí)行以下將描述的方法的所有步驟或至少主要的步驟。計(jì)算機(jī)程序的應(yīng)用允許該方法快速及低成本地適配不同的不變的圖案和/或不同的場(chǎng)景，尤其是機(jī)動(dòng)車的不同內(nèi)空間。
由以下參照附圖對(duì)實(shí)施例的說明及相關(guān)的權(quán)利要求書可得到其它的優(yōu)點(diǎn)。


以下將借助在附圖中所示的實(shí)施形式來詳細(xì)描述本發(fā)明。
附圖表示-圖1是一個(gè)概示圖，-圖2是一個(gè)框圖，-圖3是一個(gè)優(yōu)選實(shí)施例的概示圖，-圖4是一個(gè)流程圖，-圖5是另一個(gè)實(shí)施例的概示圖。
具體實(shí)施例方式
以下將描述用于至少一個(gè)圖像傳感器的幾何校準(zhǔn)的至少一個(gè)校準(zhǔn)參數(shù)的監(jiān)測(cè)、跟蹤及確定的裝置及方法，其中所述至少一個(gè)圖像傳感器這樣地構(gòu)型，即，它監(jiān)測(cè)部分上固定的場(chǎng)景。在一個(gè)實(shí)施例中，該至少一個(gè)圖像傳感器用于監(jiān)測(cè)一個(gè)機(jī)動(dòng)車的內(nèi)空間。
當(dāng)在機(jī)動(dòng)車內(nèi)空間中的智能氣囊控制的范圍中、尤其在座位占用分類和/或離開位置時(shí)的檢測(cè)上使用圖像傳感器時(shí)，必需在測(cè)量數(shù)據(jù)與機(jī)動(dòng)車內(nèi)空間、例如車身和/或氣囊組件之間建立幾何位置關(guān)系。對(duì)此可考慮兩個(gè)不同的方案。一個(gè)方案是，可以通過一個(gè)數(shù)學(xué)模型來明確地描述測(cè)量值記錄(Messwerter fassung)。該數(shù)學(xué)模型包含描述該至少一個(gè)圖像傳感器相對(duì)機(jī)動(dòng)車的位置的數(shù)字的校準(zhǔn)參數(shù)(外部校準(zhǔn)的外部校準(zhǔn)參數(shù))和/或表示在該至少一個(gè)圖像傳感器中的測(cè)量值記錄的特征的數(shù)字的校準(zhǔn)參數(shù)(內(nèi)部校準(zhǔn)的內(nèi)部校準(zhǔn)參數(shù))，內(nèi)部校準(zhǔn)參數(shù)例如為至少一個(gè)攝像機(jī)常數(shù)和/或至少一個(gè)主攝像機(jī)點(diǎn)和/或至少一個(gè)目錄參數(shù)。在第二方案中直接進(jìn)行測(cè)量數(shù)據(jù)的求值，例如通過一個(gè)分類器求值。在此情況下，在圖像傳感器及求值部分的整個(gè)系統(tǒng)中明確地不存在數(shù)字校準(zhǔn)參數(shù)。為了分類，在處理單元中使用一個(gè)有學(xué)習(xí)功能的分類器，例如一個(gè)神經(jīng)網(wǎng)絡(luò)。該分類器首先受訓(xùn)練。為此借助傳感器記錄不同的座位占用，例如空座位和/或兒童座位，及對(duì)于該情況手動(dòng)地存儲(chǔ)所希望的正確的判斷、例如空座位。具有正確判斷的測(cè)量數(shù)據(jù)被傳送給分類器，后者從這些數(shù)據(jù)中提取用于分類的數(shù)據(jù)(神經(jīng)網(wǎng)絡(luò)的訓(xùn)練)。在后來的使用中，分類器將由收到的測(cè)量數(shù)據(jù)推導(dǎo)出一個(gè)判斷。但分類器對(duì)于幾何及校準(zhǔn)一無所知。當(dāng)圖像傳感器改變了它在機(jī)動(dòng)車中的位置時(shí)，則不能保證分類器在未重新訓(xùn)練的情況下提供正確的結(jié)果。當(dāng)一個(gè)圖像傳感器在機(jī)動(dòng)車中投入工作來監(jiān)測(cè)內(nèi)空間時(shí)，根據(jù)這兩種方案或者必需已知和/或確定校準(zhǔn)參數(shù)或隱含地假定測(cè)量值記錄的特性是已知的及在應(yīng)用時(shí)間間隔中是不改變的。該至少一個(gè)圖像傳感器的這些特性，即，在測(cè)量數(shù)據(jù)與被監(jiān)測(cè)的場(chǎng)景、尤其是機(jī)動(dòng)車內(nèi)空間之間存在一個(gè)明確和/或隱含地已知的幾何位置關(guān)系，被稱為該至少一個(gè)圖像傳感器的幾何校準(zhǔn)。
以下所述的裝置及方法提供該至少一個(gè)圖像傳感器的偏離校準(zhǔn)--例如通過測(cè)量值記錄中的失調(diào)和/或改變--自動(dòng)監(jiān)測(cè)及識(shí)別。此外，該裝置及方法允許在傳感器工作期間自動(dòng)確定和/或跟蹤該至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)。對(duì)于該至少一個(gè)圖像傳感器的偏離校準(zhǔn)的自動(dòng)監(jiān)測(cè)及校準(zhǔn)將使用至少一個(gè)專門的信號(hào)化的參考目標(biāo)，在一個(gè)優(yōu)選實(shí)施例中該參考目標(biāo)被安裝在一個(gè)機(jī)動(dòng)車的內(nèi)空間中，和/或使用場(chǎng)景中的至少一個(gè)自然存在的目標(biāo)作為參考目標(biāo)，在一個(gè)優(yōu)選的實(shí)施例中該目標(biāo)為至少一個(gè)在機(jī)動(dòng)車中因結(jié)構(gòu)形式原因而存在的目標(biāo)。這些參考目標(biāo)將由所述至少一個(gè)圖像傳感器來觀察。此外，對(duì)該至少一個(gè)圖像傳感器的屬于參考目標(biāo)的測(cè)量數(shù)據(jù)求值，其方式是將測(cè)量數(shù)據(jù)與給定數(shù)據(jù)比較。根據(jù)測(cè)量數(shù)據(jù)與給定數(shù)據(jù)之間的差值將監(jiān)測(cè)該至少一個(gè)圖像傳感器的功能和/或在確定至少一個(gè)校準(zhǔn)參數(shù)后校準(zhǔn)該至少一個(gè)圖像傳感器。
圖1表示一個(gè)優(yōu)選實(shí)施例的概示圖，它用于解釋圖像傳感器12的使用，該圖像傳感器被用來監(jiān)測(cè)一個(gè)機(jī)動(dòng)車的內(nèi)空間28。圖像傳感器12被這樣地安裝在機(jī)動(dòng)車的風(fēng)擋玻璃30及車頂36的區(qū)域中，以致圖像傳感器12的圖像檢測(cè)區(qū)域可覆蓋機(jī)動(dòng)車的內(nèi)空間28。這里圖像傳感器12攝取座位38，例如副駕駛座位，和/或頭枕40。此外，必要時(shí)，圖像傳感器12檢測(cè)內(nèi)空間28中、尤其是座位38上的一個(gè)未示出的人和/或其它物件。圖像傳感器12通過一個(gè)信號(hào)導(dǎo)線26與一個(gè)處理單元14相連接。在圖1中表示圖像傳感器12相對(duì)機(jī)動(dòng)車參考系統(tǒng)32的位置30。此外，圖1示出一個(gè)氣囊組件50，該氣囊組件用于在機(jī)動(dòng)車事故中保護(hù)內(nèi)空間28中的人員。
圖2表示圖1的實(shí)施例的一個(gè)框圖，它由待監(jiān)測(cè)的場(chǎng)景10、圖像傳感器12及一個(gè)處理單元14組成。待監(jiān)測(cè)的場(chǎng)景10是機(jī)動(dòng)車內(nèi)空間。圖像傳感器12由待監(jiān)測(cè)的場(chǎng)景10的光輻射20產(chǎn)生圖像信號(hào)22。這些圖像信號(hào)22作為測(cè)量數(shù)據(jù)通過圖1中所示的信號(hào)導(dǎo)線26傳送到處理單元14。在處理單元14中一方面執(zhí)行以下將描述的用于確定至少一個(gè)校準(zhǔn)參數(shù)的方法。另一方面，在該處理單元14中進(jìn)行圖像傳感器12的圖像信號(hào)22的處理，以便完成圖像傳感器12的監(jiān)測(cè)功能。圖像傳感器12及處理單元14構(gòu)成測(cè)量系統(tǒng)16。在該優(yōu)選實(shí)施例中圖像傳感器12用于氣囊的智能控制。處理單元14對(duì)圖像信號(hào)22求值，以便將測(cè)量系統(tǒng)24的信號(hào)通過信號(hào)導(dǎo)線傳送到下個(gè)用于氣囊控制的系統(tǒng)18。測(cè)量系統(tǒng)24的信號(hào)包括用于座位占用分類的信息和/或關(guān)于機(jī)動(dòng)車座位上人員離開位置時(shí)的檢測(cè)的數(shù)據(jù)。圖像信號(hào)22和/或測(cè)量系統(tǒng)24的信號(hào)在信號(hào)導(dǎo)線上的傳送是通過電和/或光和/或通過無線電來實(shí)現(xiàn)的。在一個(gè)優(yōu)選實(shí)施例的方案中，圖像傳感器12和/或處理單元14和/或所述下個(gè)系統(tǒng)18用一個(gè)或需要時(shí)用多個(gè)單元來實(shí)現(xiàn)。
圖3表示具有一個(gè)用于確定圖像傳感器12的至少一個(gè)校準(zhǔn)參數(shù)的裝置的優(yōu)選實(shí)施例的概示圖。圖3是圖1的一個(gè)擴(kuò)展。下面將僅說明圖3中的附加部分。在機(jī)動(dòng)車的內(nèi)空間28中這樣地安裝了專門信號(hào)化的目標(biāo)42，即它們?cè)趫D像傳感器的圖像檢測(cè)范圍內(nèi)。信號(hào)化的目標(biāo)42是這樣的目標(biāo)，即可由相應(yīng)的傳感器系統(tǒng)、在該優(yōu)選實(shí)施例中由圖像傳感器12良好地自動(dòng)檢測(cè)的目標(biāo)。在該優(yōu)選實(shí)施例中使用紅外線發(fā)光二極管(IR發(fā)光二極管)。在圖像傳感器12(視頻傳感器)的測(cè)量數(shù)據(jù)(圖像信號(hào))中的信號(hào)化目標(biāo)42的位置將在處理單元14中與信號(hào)化目標(biāo)42的給定位置相比較。當(dāng)有偏差時(shí)則識(shí)別出偏離校準(zhǔn)。此外，在傳感器測(cè)量數(shù)據(jù)中的信號(hào)化目標(biāo)42的位置被用來跟蹤和/或確定至少一個(gè)校準(zhǔn)參數(shù)。在該優(yōu)選實(shí)施例的一個(gè)變型中使用具有高反射率的表面的參考目標(biāo)作為信號(hào)化參考目標(biāo)42。最好使用具有在0.5與1.0之間的反射率的信號(hào)化參考目標(biāo)42。同義詞反射率，反射能力，反射系數(shù)給出入射到表面的光線被反射的分量。反射率的值可取0至1之間的值，其中值1表示入射光線的100％被反射。另外需要時(shí)參考目標(biāo)具有一個(gè)幾何形狀。作為幾何形狀例如可使用例如至少一個(gè)點(diǎn)和/或至少一個(gè)圓和/或至少一個(gè)三角形和/或至少一個(gè)四邊形和/或至少一個(gè)正方形。對(duì)幾何形狀替代地或附加地，在另外的方案中使用至少一個(gè)字母和/或至少一個(gè)編碼順序和/或至少一個(gè)標(biāo)記來作為參考目標(biāo)。在另一方案中對(duì)一個(gè)2維的或3維的圖案替換地或附加地設(shè)置了多個(gè)參考目標(biāo)，例如至少一個(gè)十字和/或至少一個(gè)圓和/或至少一個(gè)編碼順序。此外這些參考目標(biāo)和/或圖案可替換地或附加地被設(shè)置在至少一個(gè)對(duì)相應(yīng)的應(yīng)用重要的目標(biāo)，例如氣囊擋板和/或氣囊本身和/或方向盤上。處理單元14包括至少一個(gè)微處理器及由多個(gè)在圖4中所示的模塊組成，這些模塊被構(gòu)成為該至少一個(gè)微處理器的程序和/或程序步驟。
圖4表示一個(gè)優(yōu)選實(shí)施例的方法的流程圖，它用于自動(dòng)控制和/或跟蹤和/或確定所述至少一個(gè)圖像傳感器的幾何校準(zhǔn)的至少一個(gè)校準(zhǔn)參數(shù)。該方法的前提是已知關(guān)于機(jī)動(dòng)車內(nèi)空間中參考目標(biāo)的幾何位置的模型60和/或機(jī)動(dòng)車內(nèi)空間中參考目標(biāo)的至少一個(gè)圖像傳感器的測(cè)量數(shù)據(jù)的給定值64。在使用(工作)期間通過圖像傳感器12檢測(cè)圖像信號(hào)22形式的、屬于已知的參考目標(biāo)的傳感器測(cè)量數(shù)據(jù)。參考目標(biāo)的傳感器測(cè)量數(shù)據(jù)(圖像信號(hào)22)在差值形成模塊66中與給定數(shù)據(jù)64相比較及由此在確定校準(zhǔn)數(shù)據(jù)的模塊68中識(shí)別圖像傳感器的偏離校準(zhǔn)和/或它由參考目標(biāo)的傳感器測(cè)量數(shù)據(jù)(圖像信號(hào)22)通過圖像傳感器成像的數(shù)學(xué)模型來確定至少一個(gè)校準(zhǔn)參數(shù)。在機(jī)動(dòng)車內(nèi)空間中定義了一種歐幾里德坐標(biāo)系統(tǒng)(機(jī)動(dòng)車坐標(biāo)系統(tǒng))。在機(jī)動(dòng)車內(nèi)空間中具有一些點(diǎn)狀的、帶有已知3維坐標(biāo)(xi，yi，zi)的參考目標(biāo)Pi(i＝1...N)。此外以3維機(jī)動(dòng)車坐標(biāo)系統(tǒng)給出了一個(gè)圖像傳感器的給定位置(外部校準(zhǔn)參數(shù))。該給定位置由6個(gè)參數(shù)組成，即機(jī)動(dòng)車中圖像傳感器的投影中心的位置(tx，ty，tz)及機(jī)動(dòng)車與圖像傳感器之間的旋轉(zhuǎn)，它用轉(zhuǎn)動(dòng)角度α，ψ，γ給出。由旋轉(zhuǎn)角度得到旋轉(zhuǎn)矩陣
R=r11r12r13r21r22r23r31r32r33=cosψcosγcosψsinγ-sinψsinαsinψcosγ-cosαsinγsinαsinψsinγ+cosαcosγsinαcosψcosαsinψcosγ+sinαsinγcosαsinψsinγ-sinαcosγcosαcosψ---(1)]]>此外已知內(nèi)部校準(zhǔn)參數(shù)，攝像機(jī)常數(shù)cx，cy及主圖像點(diǎn)坐標(biāo)xH，yH。這些點(diǎn)目標(biāo)的3維坐標(biāo)(xi，yi，zi)在所述圖像中、在圖像坐標(biāo)(x’i，y’i)中的投影可用數(shù)學(xué)式來描述
結(jié)果得到圖像中點(diǎn)狀參考目標(biāo)的給定坐標(biāo)x’si，y’si。圖像中點(diǎn)狀參考目標(biāo)的測(cè)量提供圖像坐標(biāo)x’Mi，y’Mi。給定位置與實(shí)際位置之間的距離為dSMi=(x′Si-x′Mi)2+(y′Si-y′Mi)2---(3)]]>該距離被用于識(shí)別傳感器系統(tǒng)的偏離校準(zhǔn)。當(dāng)該距離超過一個(gè)預(yù)給定的閾值(dMSi＞dMSmax)時(shí)，則出現(xiàn)圖像傳感器的偏離校準(zhǔn)。為了校正圖像傳感器的外部校準(zhǔn)參數(shù)(α，ψ，γ，tx，ty，tz)使參數(shù)(α，ψ，γ，tx，ty，tz)改變，以使得測(cè)量的圖像坐標(biāo)與投影的圖像坐標(biāo)之間的誤差平方和為最小Σi(x′Mi-x′(α,ψ,γ,tx,ty,tz,xi,yi,zi))2+(y′Si-y′(α,ψ,γ,tx,ty,tz,xi,yi,zi))2→min---(4)]]>由上述投影法則(2)得到圖像坐標(biāo)x’(α，ψ，γ，tx，ty，tz)或y’(α，ψ，γ，tx，ty，tz)。
圖5表示具有用于確定圖像傳感器12的至少一個(gè)校準(zhǔn)參數(shù)的裝置的第二實(shí)施例的概示圖。圖5是圖1的擴(kuò)展。下面將僅說明圖5中的附加部分。為了監(jiān)測(cè)偏離校準(zhǔn)和/或確定幾何校準(zhǔn)的至少一個(gè)校準(zhǔn)參數(shù)，在該實(shí)施例中以傳感器測(cè)量數(shù)據(jù)監(jiān)測(cè)在機(jī)動(dòng)車中存在的由結(jié)構(gòu)形式限定的目標(biāo)的位置。在機(jī)動(dòng)車中存在的由結(jié)構(gòu)形式限定的目標(biāo)，如車門立柱44和/或機(jī)動(dòng)車頂板46和/或儀表盤48可被用作參考目標(biāo)，其中它們的位置將根據(jù)圖像傳感器12的圖像信號(hào)來測(cè)量及控制。處理單元14如圖3中的優(yōu)選實(shí)施例那樣包括至少一個(gè)微處理器及由圖4中所示的多個(gè)模塊組成，這些模塊作為該至少一個(gè)微處理器的程序和/或程序段構(gòu)成。在另一實(shí)施形式中作為參考目標(biāo)不僅使用至少一個(gè)為了確定至少一個(gè)校準(zhǔn)參數(shù)在場(chǎng)景中施加的參考目標(biāo)(信號(hào)化參考目標(biāo))而且至少一個(gè)在場(chǎng)景中自然存在的目標(biāo)，即在機(jī)動(dòng)車內(nèi)空間中存在的由結(jié)構(gòu)形式限定的目標(biāo)。
所述的用于確定至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的裝置及方法不被限制在機(jī)動(dòng)車技術(shù)的應(yīng)用上。而所述具有相應(yīng)特征的方案也可在機(jī)動(dòng)車以外使用。前提僅在于，至少一個(gè)圖像傳感器這樣地構(gòu)成，以致該至少一個(gè)圖像傳感器適合監(jiān)測(cè)部分上固定的場(chǎng)景。一個(gè)部分上固定的場(chǎng)景的特征是，該場(chǎng)景的這些部分在時(shí)間上不變化。這種場(chǎng)景例如出現(xiàn)在監(jiān)測(cè)技術(shù)及安保技術(shù)中。在機(jī)場(chǎng)，火車站或街道監(jiān)測(cè)中這種場(chǎng)景也是部分上固定的。另一應(yīng)用例是用至少一個(gè)圖像傳感器監(jiān)測(cè)一個(gè)房間，例如一個(gè)銀行的保險(xiǎn)庫間。該場(chǎng)景也是部分上固定的。此外該方法可在至少一個(gè)圖像傳感器的情況下使用，該圖像傳感器用于監(jiān)測(cè)機(jī)動(dòng)車的外圍。這里的前提也是，該場(chǎng)景的一些部分在時(shí)間上不變化。當(dāng)機(jī)動(dòng)車的組成部分、例如發(fā)動(dòng)機(jī)蓋和/或保險(xiǎn)杠位于該至少一個(gè)圖像傳感器的圖像檢測(cè)范圍中時(shí)，則存在時(shí)間上不改變的部分。
在所述裝置及方法的一個(gè)變型中，在場(chǎng)景的、在該至少一個(gè)圖像傳感器的監(jiān)測(cè)功能方面重要的至少一個(gè)目標(biāo)上設(shè)置至少一個(gè)參考目標(biāo)。重要的目標(biāo)的特征是，它或直接是該至少一個(gè)圖像傳感器12的監(jiān)測(cè)功能的目標(biāo)或變換地或附加地間接地在功能上與該圖像傳感器的監(jiān)測(cè)功能相聯(lián)系。在機(jī)動(dòng)車技術(shù)的領(lǐng)域中，氣囊擋板(Airbagklappe)就是重要目標(biāo)的一個(gè)例子，它間接地在功能上與圖像傳感器的監(jiān)測(cè)功能相聯(lián)系。雖然圖像傳感器是主要用于監(jiān)測(cè)座位的占用情況，但該監(jiān)測(cè)功能在功能上通過氣囊控制與氣囊擋板相聯(lián)系。在安保技術(shù)的領(lǐng)域中，例如在檢測(cè)一個(gè)銀行的保險(xiǎn)庫間時(shí)，該銀行的保險(xiǎn)庫直接是該至少一個(gè)圖像傳感器的監(jiān)測(cè)功能的重要目標(biāo)。
在另外的變型中，上述的裝置及方法可在至少一個(gè)或多于一個(gè)的圖像傳感器的情況下應(yīng)用。作為圖像傳感器，使用至少一個(gè)單目(monokular)的圖像傳感器和/或至少一個(gè)立體攝像機(jī)和/或至少一個(gè)提供景深圖像的圖像傳感器。立體攝像機(jī)由至少兩個(gè)基本攝取同一場(chǎng)景的圖像傳感器組成。提供景深圖像的圖像傳感器為遠(yuǎn)距離圖像傳感器，例如航空(Time-of-Flight)光學(xué)傳感器(range video camera)。
權(quán)利要求
1.用于確定至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的裝置，其中，該至少一個(gè)圖像傳感器監(jiān)測(cè)部分上固定的場(chǎng)景，尤其是機(jī)動(dòng)車的內(nèi)空間，其中，至少一個(gè)處理單元根據(jù)圖像信號(hào)來識(shí)別在該至少一個(gè)圖像傳感器工作中該至少一個(gè)圖像傳感器的偏離校準(zhǔn)，其中，該至少一個(gè)處理單元在識(shí)別出偏離校準(zhǔn)時(shí)將該偏離校準(zhǔn)通報(bào)給一個(gè)后置系統(tǒng)和/或駕駛員，和/或根據(jù)圖像信號(hào)來確定至少一個(gè)校準(zhǔn)參數(shù)，其中，該至少一個(gè)圖像傳感器至少從該至少一個(gè)圖像傳感器的圖像檢測(cè)范圍中的至少一個(gè)不變的圖案中導(dǎo)出圖像信號(hào)。
2.根據(jù)權(quán)利要求1的裝置，其特征在于該至少一個(gè)不變的圖案通過至少一個(gè)為了確定該至少一個(gè)校準(zhǔn)參數(shù)而設(shè)置在場(chǎng)景中的參考目標(biāo)來形成。
3.根據(jù)權(quán)利要求2的裝置，其特征在于該至少一個(gè)參考目標(biāo)是一個(gè)發(fā)光裝置；尤其是該至少一個(gè)參考目標(biāo)是一個(gè)紅外線發(fā)光二極管；和/或該至少一個(gè)參考目標(biāo)被這樣地構(gòu)成，以致它具有高的反射率；尤其是它具有在0.5與1.0之間的反射率。
4.根據(jù)權(quán)利要求2至3中一項(xiàng)的裝置，其特征在于該至少一個(gè)參考目標(biāo)具有一個(gè)幾何形狀，例如一個(gè)點(diǎn)和/或一個(gè)圓和/或一個(gè)三角形和/或一個(gè)四邊形和/或一個(gè)正方形，和/或該至少一個(gè)參考目標(biāo)是至少一個(gè)字母和/或至少一個(gè)編碼順序和/或至少一個(gè)標(biāo)記。
5.根據(jù)權(quán)利要求2至4中一項(xiàng)的裝置，其特征在于在該場(chǎng)景的、在該至少一個(gè)圖像傳感器的監(jiān)測(cè)功能方面重要的至少一個(gè)目標(biāo)上設(shè)置該至少一個(gè)參考目標(biāo)；尤其是，在機(jī)動(dòng)車內(nèi)空間中的至少一個(gè)氣囊擋板和/或至少一個(gè)氣囊和/或至少一個(gè)方向盤上設(shè)置該至少一個(gè)參考目標(biāo)。
6.根據(jù)以上權(quán)利要求中一項(xiàng)的裝置，其特征在于該至少一個(gè)不變的圖案由場(chǎng)景中的至少一個(gè)自然存在的目標(biāo)構(gòu)成；尤其是，該至少一個(gè)不變的圖案由至少一個(gè)在機(jī)動(dòng)車內(nèi)空間中存在的由結(jié)構(gòu)形式限定的目標(biāo)構(gòu)成。
7.用于確定至少一個(gè)圖像傳感器的至少一個(gè)校準(zhǔn)參數(shù)的方法，其中，該至少一個(gè)圖像傳感器監(jiān)測(cè)一個(gè)部分上固定的場(chǎng)景，尤其是機(jī)動(dòng)車的內(nèi)空間，其中，根據(jù)圖像信號(hào)來識(shí)別在該至少一個(gè)圖像傳感器工作期間該至少一個(gè)圖像傳感器的偏離校準(zhǔn)，其中，在識(shí)別出偏離校準(zhǔn)時(shí)，將該偏離校準(zhǔn)通報(bào)給一個(gè)后置系統(tǒng)和/或駕駛員，和/或根據(jù)圖像信號(hào)來確定該至少一個(gè)校準(zhǔn)參數(shù)，其中，由至少一個(gè)圖像傳感器至少從在該至少一個(gè)圖像傳感器的圖像檢測(cè)范圍中的至少一個(gè)不變的圖案中導(dǎo)出圖像信號(hào)。
8.根據(jù)權(quán)利要求7的方法，其特征在于這些圖像信號(hào)至少由至少一個(gè)為了確定該至少一個(gè)校準(zhǔn)參數(shù)而設(shè)置在場(chǎng)景中的參考目標(biāo)和/或場(chǎng)景中的至少一個(gè)自然存在的目標(biāo)導(dǎo)出，其中，該至少一個(gè)參考目標(biāo)尤其是一個(gè)發(fā)光裝置和/或該至少一個(gè)參考目標(biāo)具有一個(gè)高的反射率。
9.根據(jù)權(quán)利要求8的方法，其特征在于這些圖像信號(hào)至少由至少一個(gè)參考目標(biāo)導(dǎo)出，其中，在場(chǎng)景的、在該至少一個(gè)圖像傳感器的監(jiān)測(cè)功能方面重要的目標(biāo)上設(shè)置該至少一個(gè)參考目標(biāo)；尤其是，在機(jī)動(dòng)車內(nèi)空間中的至少一個(gè)氣囊擋板和/或至少一個(gè)氣囊和/或至少一個(gè)方向盤上設(shè)置該至少一個(gè)參考目標(biāo)。
10.具有程序碼媒介的計(jì)算機(jī)程序，用于當(dāng)該程序在一個(gè)計(jì)算機(jī)上被執(zhí)行時(shí)，實(shí)施權(quán)利要求7至9中任一項(xiàng)的所有步驟。
全文摘要
本發(fā)明涉及用于至少一個(gè)圖像傳感器的幾何校準(zhǔn)的至少一個(gè)校準(zhǔn)參數(shù)的監(jiān)測(cè)、跟蹤及確定的裝置及方法，其中，該至少一個(gè)圖像傳感器監(jiān)測(cè)部分上固定的場(chǎng)景。在一個(gè)實(shí)施例中，該至少一個(gè)圖像傳感器被用于監(jiān)測(cè)一個(gè)機(jī)動(dòng)車的內(nèi)空間。
文檔編號(hào)B60R25/10GK1777527SQ200480010989
公開日2006年5月24日 申請(qǐng)日期2004年2月19日 優(yōu)先權(quán)日2003年4月24日
發(fā)明者漢斯·迪特爾·博特, 斯特芬·亞伯拉罕 申請(qǐng)人:羅伯特·博世有限公司