專利名稱：用于以紅外圖像和可見(jiàn)圖像與環(huán)境相關(guān)的結(jié)合來(lái)顯示車輛環(huán)境的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)相應(yīng)獨(dú)立權(quán)利要求前序部分的、用于顯示車輛環(huán)境的方法和裝置，以及用于校準(zhǔn)該裝置的校準(zhǔn)裝置。
背景技術(shù)：
由DE 695 06 174 T2已知用于車輛的后視系統(tǒng)(Nachsichtsystem)。該系統(tǒng)包括產(chǎn)生紅外圖像的紅外攝相機(jī)，紅外圖像表示車輛環(huán)境片段的、由人和物體所發(fā)出的熱輻射。紅外圖像通過(guò)抬頭顯示器(Head-up-Display)投影到擋風(fēng)玻璃的下部，并因此顯示給司機(jī)。
由司機(jī)將紅外圖像中的人物和物體與位于司機(jī)前方、視覺(jué)地通過(guò)擋風(fēng)玻璃可獲得的交通狀況相對(duì)應(yīng)。這在已知系統(tǒng)所應(yīng)該針對(duì)的黑暗環(huán)境中尤其困難，并且經(jīng)常甚至是不可能的，這是因?yàn)榧t外圖像顯示司機(jī)視覺(jué)不能識(shí)別的人和物體。因此，只在紅外圖像中可識(shí)別的人和物體的準(zhǔn)確定位通常是不可能的，并且以危險(xiǎn)的方式分散司機(jī)的注意力。

發(fā)明內(nèi)容
本發(fā)明的任務(wù)尤其在于提供用于顯示車輛環(huán)境的改進(jìn)方法和裝置，尤其是改進(jìn)的后視系統(tǒng)。
本發(fā)明的任務(wù)根據(jù)方法或根據(jù)裝置通過(guò)相應(yīng)的獨(dú)立權(quán)利要求來(lái)完成。在相應(yīng)的從屬權(quán)利要求中給出本發(fā)明的有利實(shí)施方式。
本發(fā)明的第一主要方面在于，表示或顯示車輛環(huán)境盡可能相同的片段的可視的圖像，以下稱為可視圖像，和紅外的圖像，以下稱為紅外圖像的組合或疊加。通過(guò)同一場(chǎng)景不同譜范圍的圖像的疊加或結(jié)合，盡可能地消除現(xiàn)有技術(shù)的前述缺點(diǎn)。
第二主要方面在于，在結(jié)合各可視圖像和紅外圖像時(shí)根據(jù)具體行駛情況對(duì)這兩個(gè)譜分量(可視分量和紅外分量)的相互比例進(jìn)行加權(quán)。在加權(quán)的第一極端情況中，通過(guò)結(jié)合而產(chǎn)生的圖像盡可能只包括可視信息，在通常情況下疊加可視的和紅外的信息，并且在加權(quán)的第二極端情況中，通過(guò)結(jié)合而產(chǎn)生的圖像盡可能只包括紅外信息。
如果例如在公路上通過(guò)距離測(cè)量系統(tǒng)識(shí)別前面行駛的車輛，例如通過(guò)已知的雷達(dá)支持的ACC系統(tǒng)(自動(dòng)巡航控制)，在本發(fā)明的一個(gè)實(shí)施方式中規(guī)定，在結(jié)合這兩個(gè)譜分量時(shí)相對(duì)于行駛環(huán)境突出這個(gè)車輛，使得它在結(jié)合圖像中相對(duì)于環(huán)境明顯地顯示。這可以例如通過(guò)以下方式實(shí)現(xiàn)，即相對(duì)于行駛環(huán)境改變相關(guān)區(qū)域的兩個(gè)譜分量的加權(quán)；在這個(gè)例子中是結(jié)合圖像的、表示前面緊鄰行駛的車輛的圖像片段。例如，在白天，可視信息可以相對(duì)于紅外信息更高地被加權(quán)，并因此在結(jié)合圖像中產(chǎn)生更顯著的影響，而在黑暗時(shí)加權(quán)正好相反。
如果車輛行駛在照明很好的區(qū)域，那么在本發(fā)明的另一實(shí)施方式中，替代地或補(bǔ)充地規(guī)定，可視分量或可視信息相對(duì)于紅外分量或相對(duì)于紅外信息更高地加權(quán)。在較暗的公路和/或高速公路上，替代地或補(bǔ)充地相對(duì)于前述相反地進(jìn)行加權(quán)，使得紅外信息或紅外分量在結(jié)合圖像中相對(duì)于可視分量更明顯地顯示。
替代地或補(bǔ)充地，在本發(fā)明的再一個(gè)實(shí)施方式中，規(guī)定，在較暗的公路和/或高速公路上，通過(guò)在結(jié)合時(shí)更高的加權(quán)而相對(duì)于較遠(yuǎn)物體的可視信息突出其紅外信息，與距離車輛更近的物體不同。在顯示器上呈現(xiàn)給司機(jī)的結(jié)合圖像可能可以在近區(qū)包括更高分量的可視信息，并且在遠(yuǎn)區(qū)包括更高分量的紅外信息。
在雨天、霧天或潮濕的車行道時(shí)，紅外信道或紅外信息的實(shí)用性相對(duì)于標(biāo)準(zhǔn)條件受到了限制。為了在這樣的天氣條件下與由最多受限的可用紅外信息所引起的結(jié)合圖像的惡化相反地起作用，替代地或補(bǔ)充地規(guī)定，相對(duì)于紅外分量提高可視分量，即相應(yīng)地在可視信息方向上改變結(jié)合圖像中兩個(gè)譜分量的加權(quán)。
為了識(shí)別前述天氣情況，可以在車輛上特別設(shè)置雨滴傳感器(Regensensor)或霧傳感器(Nebelsensor)。同樣，可以分析哪些車燈被接通，尤其是汽車霧燈。但是，這些信息也可以通過(guò)設(shè)置在車輛中的動(dòng)態(tài)導(dǎo)航系統(tǒng)提供，車輛當(dāng)前所在點(diǎn)的、或者尤其是為計(jì)劃的行駛路線所預(yù)測(cè)的動(dòng)態(tài)交通或天氣情況被傳輸?shù)皆撓到y(tǒng)中。這個(gè)傳輸可以通過(guò)移動(dòng)無(wú)線電網(wǎng)絡(luò)(Mobilfunknetz)或者通過(guò)車輛與車輛的通信而實(shí)現(xiàn)。
替代地或補(bǔ)充地，在本發(fā)明的一個(gè)實(shí)施方式中規(guī)定，司機(jī)可以手動(dòng)調(diào)節(jié)這兩個(gè)譜分量在結(jié)合圖像中的相互加權(quán)，并且因此可以最優(yōu)地匹配其需要和特定情況。在本發(fā)明的一個(gè)實(shí)施方式中規(guī)定了從可視信息到紅外信息顯示的連續(xù)轉(zhuǎn)換和相反轉(zhuǎn)換。這使得司機(jī)可以對(duì)于更快并更可靠地獲取交通狀況有利地，更容易和更快地使用可視和紅外信息之間的關(guān)系以及通過(guò)譜分量之間的移動(dòng)對(duì)行駛環(huán)境的結(jié)合圖像的影響。
在另一個(gè)實(shí)施方式中，替代地或補(bǔ)充地，為司機(jī)提供多個(gè)結(jié)合圖像，以選擇適于向其顯示的結(jié)合圖像，其中為了選擇而提供的結(jié)合圖像在可視信息與紅外信息分量關(guān)系上是不同的。特別地，在結(jié)合時(shí)可以對(duì)可視分量相對(duì)于紅外分量進(jìn)行不同的加權(quán)。
在根據(jù)本發(fā)明的后視系統(tǒng)的一個(gè)具體實(shí)施方式
中，可視攝相機(jī)或第一傳感器及其光學(xué)系統(tǒng)包括第一光軸，紅外攝相機(jī)或第二光學(xué)傳感器及其光學(xué)系統(tǒng)包括第二光軸，它們?cè)诳臻g上相互偏移。因此，攝相機(jī)或傳感器攝取車輛環(huán)境的至少部分不同的片段，即第一和第二片段。而且，它們與距離相關(guān)?？梢岳斫猓鶕?jù)本發(fā)明，也可以設(shè)置多于兩個(gè)的紅外攝相機(jī)或紅外傳感器，其靈敏度覆蓋不同的波長(zhǎng)，并且由它們提供的車輛環(huán)境數(shù)字圖像可以疊加或結(jié)合。
為了獲得盡可能無(wú)失真的結(jié)合圖像以向司機(jī)顯示，在根據(jù)本發(fā)明的一個(gè)實(shí)施方式中規(guī)定，由疊加或結(jié)合設(shè)備以像素方式和/或區(qū)域方式全部或部分地疊加或結(jié)合已經(jīng)提供的第一片段和已經(jīng)提供的第二片段。為了提供結(jié)合圖像，通過(guò)至少一個(gè)匹配參數(shù)匹配第一片段和/或第二片段和/或結(jié)合圖像及其直接的或處理后的數(shù)字?jǐn)?shù)據(jù)。
優(yōu)選地在校準(zhǔn)根據(jù)本發(fā)明的攝相機(jī)或傳感器系統(tǒng)及后視系統(tǒng)時(shí)，為攝相機(jī)或傳感器與校準(zhǔn)裝置之間的至少兩個(gè)距離范圍(Entfernungsbereich)或間隔范圍(Abstandsbereich)確定這個(gè)或這些與距離相關(guān)的參數(shù)。一個(gè)主要目的在于，調(diào)節(jié)這個(gè)或這些匹配參數(shù)，使得在疊加或結(jié)合圖像時(shí)所產(chǎn)生的相關(guān)距離范圍內(nèi)的物體結(jié)合圖像盡可能不失真，尤其是沒(méi)有重影(Geisterbilder)或雙影(Doppelbilder)。根據(jù)本發(fā)明，這個(gè)或這些匹配參數(shù)尤其涉及至少一個(gè)記錄參數(shù)(Registrierungsparameter)或變換參數(shù)(Transformationsparameter)。一個(gè)類似的參數(shù)例如由數(shù)字圖像處理系統(tǒng)的記錄和由其進(jìn)行的兩個(gè)圖像的疊加而已知。這個(gè)或這些與行駛狀況或距離相關(guān)的匹配參數(shù)優(yōu)選地在校準(zhǔn)時(shí)被存儲(chǔ)在車輛的數(shù)據(jù)存儲(chǔ)器中。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中，第一距離范圍對(duì)應(yīng)于市內(nèi)行駛典型的行駛狀況，尤其是為大約15至75m的距離范圍。
替代地或補(bǔ)充地，第二距離范圍對(duì)應(yīng)于公路行駛(Landstrassenfahrt)典型的行駛狀況，尤其是大約30至150m的距離范圍。
替代地或補(bǔ)充地，第三距離范圍對(duì)應(yīng)于高速公路典型的行駛狀況，尤其是大約50至250m的距離范圍。
應(yīng)該理解，作為對(duì)上述與距離相關(guān)或與距離范圍相關(guān)的匹配參數(shù)的替代或補(bǔ)充，也可以確定其他、尤其具有前述目的的、與行駛狀況相關(guān)的匹配參數(shù)。在這里，其可以例如涉及對(duì)于在太陽(yáng)很低、在霧天、在開(kāi)始黑時(shí)(einsetzende Dunkelheit)或黑暗中的行駛適當(dāng)?shù)钠ヅ鋮?shù)。
本發(fā)明的另一個(gè)主要方面在于，自動(dòng)地確定車輛的當(dāng)前行駛狀況，并且提供對(duì)應(yīng)于當(dāng)前行駛狀況或環(huán)境狀況的、尤其是通過(guò)校準(zhǔn)獲得的并存儲(chǔ)在車輛中的匹配參數(shù)，以便由根據(jù)本發(fā)明的對(duì)準(zhǔn)裝置(Ausricht-vorrichtung)或由疊加或結(jié)合設(shè)備使用。疊加或結(jié)合設(shè)備對(duì)以數(shù)字?jǐn)?shù)據(jù)形式存在的可視圖像和紅外圖像進(jìn)行像素和/或區(qū)域方式的疊加或結(jié)合，其中一個(gè)或多個(gè)與距離相關(guān)的匹配參數(shù)這樣影響紅外圖像和/或可視圖像和/或結(jié)合圖像，使得優(yōu)選地為司機(jī)提供環(huán)境的盡可能無(wú)失真和/或無(wú)重影的結(jié)合圖像。
作為對(duì)前述自動(dòng)確定的替換或補(bǔ)充，在本發(fā)明的一個(gè)實(shí)施方式中規(guī)定，司機(jī)選擇適于向其顯示的、尤其是通過(guò)校準(zhǔn)獲得的并存儲(chǔ)在車輛中的匹配參數(shù)，以由根據(jù)本發(fā)明的對(duì)準(zhǔn)裝置或者由疊加或結(jié)合設(shè)備使用。因此，可以例如以手動(dòng)的選擇可能性的形式或通過(guò)語(yǔ)音輸入，向司機(jī)提供例如對(duì)于市內(nèi)行駛典型的、公路行駛典型的、高速公路行駛典型的和/或在可能的情況下其他行駛狀況的匹配參數(shù)，以供選擇。由此，司機(jī)無(wú)需車輛中的車輛導(dǎo)航系統(tǒng)就能夠自己產(chǎn)生盡可能無(wú)失真的或無(wú)重影的結(jié)合圖像。而且，由此為司機(jī)提供了這樣的可能性，即在可能的情況下不理會(huì)自動(dòng)選擇。同樣的，可以為司機(jī)提供這樣的可能性，即選擇在結(jié)合圖像中無(wú)失真地向其顯示其車輛周圍環(huán)境的一個(gè)或多個(gè)匹配參數(shù)，例如與其車輛20m之內(nèi)的距離。例如當(dāng)司機(jī)在黑暗中駛近其車庫(kù)并且通過(guò)結(jié)合圖像中的紅外信息確定在他后面是否有灌木叢時(shí)，司機(jī)可以進(jìn)行該選擇。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中，車輛的當(dāng)前位置由車輛導(dǎo)航系統(tǒng)，尤其是衛(wèi)星導(dǎo)航系統(tǒng)確定。借助于該位置，由車輛中的導(dǎo)航系統(tǒng)，通過(guò)與數(shù)字卡片數(shù)據(jù)(Kartendaten)比較，自動(dòng)地確定相應(yīng)的道路類別(Strassenkategorie)或行駛狀況，尤其是市內(nèi)道路(Stadtstrasse)、公路(Landstrasse)或高速公路。這些車輛導(dǎo)航系統(tǒng)為了路線引導(dǎo)(Routenfuehrung)等的目的目前已經(jīng)存在于大量的車輛中，并且可以無(wú)需很大的耗費(fèi)被用于車輛環(huán)境的結(jié)合圖像的前述自動(dòng)的、與行駛狀況和環(huán)境相關(guān)的最優(yōu)化。
替代地或補(bǔ)充地，在本發(fā)明的另一個(gè)實(shí)施方式中規(guī)定，行駛狀況借助于至少一個(gè)行駛動(dòng)態(tài)量，尤其是車輛速度和/或近距燈(Abblendlicht)或遠(yuǎn)光燈(Fernlicht)的操作和/或車輛加速度和/或亮度和/或霧，來(lái)確定。在目前的車輛中可能全部或部分地由其車載網(wǎng)絡(luò)(Bordnetz)已經(jīng)提供了這些信息，而更大的耗費(fèi)不是必需的。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中，彩色可視圖像與紅外圖像被結(jié)合及組合或疊加。與黑白可視圖像不同，產(chǎn)生包含可視圖像彩色信息，例如前面行駛的車輛的紅色剎車燈、紅色交通燈、彩色交通指示牌等，的結(jié)合圖像。結(jié)合圖像中的彩色信息使相應(yīng)配置的車輛的司機(jī)更容易快速地了解和獲取結(jié)合圖像中表示的交通狀況。而且，彩色信息減小了忽略彩色警示(紅色交通燈等)的危險(xiǎn)。
匯總消除了干擾作用，如紅外或可視圖像失真，尤其是由于各自使用的光學(xué)系統(tǒng)等的圖像缺陷，的不同譜范圍的環(huán)境或場(chǎng)景圖像。這優(yōu)選地根據(jù)軟件通過(guò)編輯數(shù)字圖像的已知措施來(lái)實(shí)現(xiàn)。盡可能消除了干擾作用的圖像或其數(shù)字圖像數(shù)據(jù)優(yōu)選地通過(guò)數(shù)字圖像處理相互對(duì)準(zhǔn)或覆蓋，使得由紅外和可視圖像或由其數(shù)字?jǐn)?shù)據(jù)提供時(shí)間和位置盡可能相同的圖像對(duì)。根據(jù)本發(fā)明，這是通過(guò)使用導(dǎo)致無(wú)失真結(jié)合圖像的至少一個(gè)與距離相關(guān)的和/或與行駛狀況相關(guān)的匹配參數(shù)而實(shí)現(xiàn)。用于數(shù)字圖像處理的軟件和硬件優(yōu)選地允許圖像相互的偏移、旋轉(zhuǎn)和縮放。通過(guò)這個(gè)編輯，可以經(jīng)濟(jì)地-盡管時(shí)間和位置相同的圖像對(duì)盡可能的實(shí)時(shí)處理-使后面的用于疊加或結(jié)合不同譜范圍的圖像的硬件消耗最小。
根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方式，以各自相同的圖像重復(fù)率(Bildwiederholrate)，優(yōu)選地由一個(gè)或兩個(gè)用于該譜范圍的攝相機(jī)或傳感器產(chǎn)生紅外圖像和可視圖像。由此，可以以特別簡(jiǎn)單的方式由紅外圖像和可視圖像產(chǎn)生同時(shí)的圖像對(duì)，這顯著地降低了用于后面的、根據(jù)本發(fā)明疊加或結(jié)合兩個(gè)圖像-盡可能實(shí)時(shí)地-的軟件和硬件消耗；用于中間存儲(chǔ)圖像的半導(dǎo)體存儲(chǔ)器的成本被降低。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施方式中，紅外圖像表現(xiàn)由人和物體所發(fā)出的紅外輻射或熱輻射，其波長(zhǎng)范圍約為8至14μm。優(yōu)選地，使用對(duì)大約8至10μm的范圍敏感的IR攝相機(jī)或IR傳感器。因此，以有利的方式不需要用于車輛環(huán)境的紅外線輻射器或這樣的燈(Beleuchtung)(典型波長(zhǎng)范圍為大約800nm至2.5μm)。不出現(xiàn)各自以已知方式配備有紅外燈的、相對(duì)行駛的車輛的交替眩目。同樣的，根據(jù)本發(fā)明的紅外圖像不限于紅外燈的射程。


以下借助于實(shí)施例詳細(xì)介紹本發(fā)明。
圖1表示用于顯示車輛環(huán)境片段的根據(jù)本發(fā)明的裝置的框圖，或借助于其介紹根據(jù)本發(fā)明的顯示方法的后視系統(tǒng)。
具體實(shí)施例方式
圖1中以框圖形式表示的、根據(jù)本發(fā)明的裝置或后視系統(tǒng)100包括攝取可視譜范圍的電子的、這里所謂的可視攝相機(jī)101，例如CCD傳感器，對(duì)大約8至10μm的紅外譜范圍敏感的電子紅外攝相機(jī)102，例如IR傳感器，第一歸一化裝置(Normalisierungsvorrichtung)103，第二歸一化裝置104，對(duì)準(zhǔn)裝置105以及疊加或結(jié)合設(shè)備106?？梢晹z相機(jī)101提供彩色的可視圖像。
攝相機(jī)101和102的光軸優(yōu)選地相互平行地對(duì)齊，由此可以減小視差(Parallaxenfehler)，并且優(yōu)選地相互相鄰排列，由此減小位錯(cuò)缺陷(Versetzungsfehler)。兩個(gè)攝相機(jī)或傳感器的像平面優(yōu)選地相互平行并且垂直于光軸地對(duì)齊，并且相互相鄰排列。兩個(gè)攝相機(jī)或傳感器的光敏傳感器面(Sensorflaeche)優(yōu)選地相互既不扭轉(zhuǎn)地也不傾斜地，而是盡可能相互平行地設(shè)置。而且，兩個(gè)攝相機(jī)或傳感器優(yōu)選地具有相同的孔徑角(Oeffnungswinkel)。通過(guò)這些措施可以實(shí)現(xiàn)，攝相機(jī)或傳感器提供不同譜范圍的圖像，其表示環(huán)境的盡可能相同的片段，并且相互以及相對(duì)于實(shí)際狀況不扭轉(zhuǎn)。由此，可以顯著降低用于處理圖像以由兩個(gè)圖像提供結(jié)合圖像的耗費(fèi)并由此顯著降低硬件和軟件耗費(fèi)。
攝相機(jī)的光學(xué)表面優(yōu)選地被不吸潮地(hydrophob)涂覆，并且優(yōu)選地為了其清潔設(shè)置高壓噴嘴(Hochdruckduese)等，如用于汽車大燈清潔已經(jīng)很普遍的那樣。兩個(gè)攝相機(jī)優(yōu)選地設(shè)置在共同的外殼中(易于安裝，與車輛軸共同對(duì)準(zhǔn)，沒(méi)有攝相機(jī)光學(xué)參數(shù)的相互偏移)。在攝相機(jī)的外殼上，優(yōu)選地設(shè)置夾具，其保證車輛上或內(nèi)攝相機(jī)的無(wú)振動(dòng)工作。對(duì)于攝相機(jī)的工作，設(shè)置用于工作電壓的接頭。攝相機(jī)的工作電壓應(yīng)該靈活地匹配各自車載網(wǎng)絡(luò)電壓，例如12伏和/或42伏。為了保護(hù)攝相機(jī)的電子部件和傳感器不受損壞，在工作電壓支路優(yōu)選地引入過(guò)載保護(hù)和極性變換保護(hù)(Verpolungsschutz)。由攝相機(jī)或傳感器所產(chǎn)生的視頻信號(hào)的輸出(譜范圍分離的或已經(jīng)結(jié)合的)應(yīng)該遵循標(biāo)準(zhǔn)(例如NTSC、PAL、SECAM或自身標(biāo)準(zhǔn))。使用存在的半導(dǎo)體元件作為數(shù)字/模擬轉(zhuǎn)換器。攝相機(jī)或傳感器可以安裝在車輛前方、后面、側(cè)面，以顯示車輛環(huán)境。
下面將更詳細(xì)地描述后視系統(tǒng)或裝置100的校準(zhǔn)。為了校準(zhǔn)，使用根據(jù)本發(fā)明的校準(zhǔn)裝置(未示出)。它包括優(yōu)選被交錯(cuò)形(schachbrettartig)排列的多個(gè)輝光燈。輝光燈特別突出的是，其既發(fā)出熱輻射，也發(fā)出視覺(jué)可見(jiàn)的輻射。優(yōu)選地，設(shè)置有多個(gè)輝光燈的板等連續(xù)地以不同的距離范圍被設(shè)置在兩個(gè)攝相機(jī)或傳感器101和102之前。這些距離范圍涉及典型的與環(huán)境或行駛狀況相關(guān)的距離范圍，在以下將詳細(xì)描述。
優(yōu)選地在黑暗環(huán)境中、且不與熱源相鄰地設(shè)置的、位于攝相機(jī)101和102之前的校準(zhǔn)裝置在可視攝相機(jī)101中產(chǎn)生(所謂的)可視圖像，該圖像表現(xiàn)交錯(cuò)形設(shè)置的輝光燈，如人眼看到的那樣。而且，校準(zhǔn)裝置在紅外攝相機(jī)102中產(chǎn)生熱圖像(Waermebild)，其也表現(xiàn)輝光燈的設(shè)置。典型地，尤其由于光學(xué)圖像缺陷等，可視圖像和所謂的紅外圖像表現(xiàn)各自圖像邊緣的失真。以已知方式，通過(guò)第一歸一化裝置103，盡可能地消除可視圖像中的失真或圖像缺陷。以已知方式，通過(guò)第二歸一化裝置104，盡可能地消除紅外圖像中的失真或圖像缺陷。優(yōu)選地，使用用于可視圖像的校準(zhǔn)參數(shù)107和用于紅外圖像的校準(zhǔn)參數(shù)108，通過(guò)已知的、根據(jù)軟件的措施對(duì)圖像數(shù)字?jǐn)?shù)據(jù)實(shí)現(xiàn)歸一化或缺陷消除(數(shù)字圖像處理)。
通過(guò)數(shù)字圖像處理中已知的記錄過(guò)程，通過(guò)對(duì)準(zhǔn)裝置105，使用記錄參數(shù)109相互對(duì)齊歸一化的或盡可能消除了干擾等的圖像或其數(shù)字?jǐn)?shù)據(jù)。在對(duì)齊過(guò)程中，圖像中的一個(gè)優(yōu)選地保持不變，并且用作另一個(gè)圖像的基準(zhǔn)。第二圖像的大小和位置這樣被改變，使得產(chǎn)生相對(duì)于第一圖像盡可能對(duì)象相同(objektgleich)的圖像。
歸一化的圖像也相互對(duì)齊，使得一個(gè)或同一個(gè)物體在結(jié)合圖像中出現(xiàn)在盡可能相同的位置并且大小盡可能相同。如果不執(zhí)行這個(gè)預(yù)處理步驟，則由于不同攝相機(jī)幾何尺寸和攝相機(jī)偏移，產(chǎn)生陰影圖(Schattenbilder)或重影圖(Zwillingsbilder)。這意味著，一個(gè)物體在結(jié)合圖像上出現(xiàn)在兩個(gè)位置上并且大小不同。這樣的圖像與其說(shuō)是為觀察者提供定位，不如說(shuō)是使其糊涂。
為了根據(jù)環(huán)境或行駛狀況最優(yōu)化像素準(zhǔn)確或區(qū)域準(zhǔn)確的結(jié)合，首先執(zhí)行用于市內(nèi)行駛典型行駛狀況的記錄過(guò)程。為此，校準(zhǔn)裝置與攝相機(jī)101和102之間的距離例如在大約15至75m之間的范圍內(nèi)變化，并且確定和存儲(chǔ)適于這個(gè)距離范圍的記錄參數(shù)。以相應(yīng)的方式，執(zhí)行用于公路典型行駛狀況的第二記錄過(guò)程，即例如大約30至150m的范圍。最后，以相應(yīng)的方式，執(zhí)行用于高速公路典型行駛狀況的第三記錄過(guò)程，即例如大約50至250m的范圍中。
使用由車輛導(dǎo)航系統(tǒng)(未示出)提供的當(dāng)前位置數(shù)據(jù)，由系統(tǒng)借助于數(shù)字卡片數(shù)據(jù)確定對(duì)應(yīng)于車輛位置的道路類別或行駛狀況，尤其是市內(nèi)道路、公路或高速公路。尤其是在黑暗時(shí)，對(duì)應(yīng)于行駛狀況的、并且在校準(zhǔn)過(guò)程中被存儲(chǔ)在車輛中的記錄或匹配參數(shù)被疊加或?qū)?zhǔn)裝置105用于符合行駛狀況地對(duì)齊圖像。因此，在相關(guān)行駛狀況的結(jié)合圖像中盡可能地避免了尤其是陰影圖或重影圖。
替代地或補(bǔ)充地，借助于至少一個(gè)行駛動(dòng)態(tài)量確定車輛的當(dāng)前行駛狀況。根據(jù)本發(fā)明，對(duì)應(yīng)于行駛動(dòng)態(tài)量的、且被存儲(chǔ)在車輛中的記錄或匹配參數(shù)被疊加或?qū)?zhǔn)裝置105用于符合行駛狀況地對(duì)齊圖像。通過(guò)該措施，在相關(guān)行駛狀況的結(jié)合圖像中也盡可能地避免了尤其是陰影圖或重影圖及重影。車輛的行駛動(dòng)態(tài)量尤其涉及其速度、近距燈或遠(yuǎn)光燈的接通，或者涉及其正的或負(fù)的加速度。
歸一化圖像的上述對(duì)齊可以被分為三個(gè)步驟移動(dòng)、旋轉(zhuǎn)和縮放。實(shí)際上證明了，順序旋轉(zhuǎn)、縮放和移動(dòng)提供質(zhì)量最好的結(jié)果。因?yàn)檫@些步驟的順序一般是不交換或不可交換的，所以應(yīng)該注意，這些步驟的順序在根據(jù)本發(fā)明的后視系統(tǒng)的校準(zhǔn)時(shí)以及后面的操作時(shí)是相同的。在可能的情況下，相應(yīng)地構(gòu)成后視系統(tǒng)的校準(zhǔn)和/或操作軟件。
相互對(duì)齊的圖像在疊加或結(jié)合設(shè)備106中，根據(jù)軟件地通過(guò)處理其數(shù)字?jǐn)?shù)據(jù)而被疊加或結(jié)合。由可視圖像和紅外圖像的每個(gè)時(shí)間和位置相同的或?qū)ο笙嗤膱D像對(duì)，生成結(jié)合或疊加的圖像，其優(yōu)選地在車輛中彩色監(jiān)視器上提供給車輛的司機(jī)。
優(yōu)選地，基于可視圖像和紅外圖像的各個(gè)相互對(duì)應(yīng)的像素對(duì)或使用這兩個(gè)圖像的多個(gè)像素實(shí)現(xiàn)這兩個(gè)圖像的時(shí)間和位置相同的圖像對(duì)的結(jié)合。這可以尤其根據(jù)提供了哪些希望的分辨率和/或哪些用于數(shù)字圖像處理的計(jì)算能力。如所述的預(yù)處理圖像通過(guò)數(shù)字處理其圖像數(shù)據(jù)而被疊加和顯示。從結(jié)果來(lái)看，這個(gè)過(guò)程幾乎可以與相同場(chǎng)景或行駛環(huán)境的膠片或幻燈片重疊相比。計(jì)算技術(shù)地或在數(shù)字圖像處理時(shí)，這通過(guò)像素信息的平均值計(jì)算，尤其是考慮其在各個(gè)圖像中的亮度和可視圖像和/或紅外圖像中包含的色彩信息，而實(shí)現(xiàn)。這不是必須必然地逐個(gè)像素的進(jìn)行，而是也可以通過(guò)為兩個(gè)圖像中的位置和時(shí)間相同的像素區(qū)域進(jìn)行平均值計(jì)算而實(shí)現(xiàn)。
而且，這可能是有意義的，即在平均值計(jì)算時(shí)，紅外圖像中的像素信息與可視圖像中時(shí)間和位置相同的像素信息不同地加權(quán)。這個(gè)不同加權(quán)可以例如根據(jù)自然光線和/或天氣和/或根據(jù)汽車大燈光線和/或根據(jù)可視圖像中的色彩而實(shí)現(xiàn)；由此可以例如實(shí)現(xiàn)，紅色交通燈在結(jié)合圖像中尤其明顯地可識(shí)別。而且，結(jié)合圖像部分區(qū)域的加權(quán)，例如前景和背景之間的不同，或整個(gè)結(jié)合圖像可以由車輛司機(jī)手動(dòng)地改變。
通過(guò)這個(gè)方式，可以特別地突出單個(gè)圖像區(qū)域。因此，例如可以更強(qiáng)地突出車輛的直接相鄰行駛區(qū)域，以確定地引導(dǎo)司機(jī)。
在越來(lái)越黑的情況下，在平均值計(jì)算時(shí)可以增加紅外信息相對(duì)于可視信息的加權(quán)。在接通近距燈時(shí)，與接通遠(yuǎn)光燈相比，可以提高紅外信息相對(duì)于可視信息的加權(quán)。
同樣地，各個(gè)圖像中一個(gè)區(qū)域的信息內(nèi)容可以確定加權(quán)。如果可視圖像的一個(gè)時(shí)間和位置相同區(qū)域內(nèi)的信息內(nèi)容例如明顯高于紅外區(qū)域的相同區(qū)域，則這樣是有意義的，即在平均值計(jì)算時(shí)通過(guò)可視信息的更高加權(quán)來(lái)考慮它。
如已經(jīng)描述的那樣，由攝相機(jī)或傳感器生成的圖像必須被預(yù)處理，以校正和對(duì)象可靠地對(duì)齊。為了節(jié)省昂貴的存儲(chǔ)器，軟件算法優(yōu)選地以像素方式存取攝相機(jī)101和102的傳感器信息。
圖1所示的用于數(shù)字圖像處理的裝置全部或部分地、優(yōu)選地涉及一個(gè)或多個(gè)軟件控制的數(shù)字處理器，其優(yōu)選被優(yōu)化以進(jìn)行實(shí)時(shí)數(shù)字圖像處理。但是同樣的，當(dāng)一個(gè)或多個(gè)軟件控制的PC處理器的處理速度允許盡可能實(shí)時(shí)地處理圖像以提供具有可視和紅外信息的結(jié)合圖像時(shí)，也可以考慮更經(jīng)濟(jì)地使用一個(gè)或多個(gè)軟件控制的PC處理器。
權(quán)利要求
1.用于尤其在黑暗時(shí)顯示車輛環(huán)境的方法，其特征在于，提供環(huán)境的可視圖像或其數(shù)字?jǐn)?shù)據(jù)，優(yōu)選為彩色可視圖像，其中所述可視圖像表現(xiàn)視覺(jué)可見(jiàn)的物體，以及提供環(huán)境的紅外圖像或其數(shù)字?jǐn)?shù)據(jù)，其中所述紅外圖像表現(xiàn)由視覺(jué)可見(jiàn)的物體和/或其他物體發(fā)出的紅外輻射。
2.根據(jù)權(quán)利要求1的方法，其特征在于，通過(guò)圖像的數(shù)字?jǐn)?shù)據(jù)的處理使所述可視圖像或歸一化可視圖像相對(duì)于所述紅外圖像或所述歸一化紅外圖像對(duì)齊，或者進(jìn)行相反的對(duì)齊，使得提供兩個(gè)譜范圍的時(shí)間盡可能相同和位置盡可能相同的圖像對(duì)。
3.根據(jù)權(quán)利要求1或2的方法，其特征在于，不同譜范圍的時(shí)間和位置盡可能相同的圖像的位置相同像素或像素區(qū)域通過(guò)其數(shù)字?jǐn)?shù)據(jù)的處理而相互疊加，或進(jìn)行平均值計(jì)算并且表示在結(jié)合的圖像中。
4.根據(jù)權(quán)利要求3的方法，其特征在于，像素或像素區(qū)域的亮度值和/或色值被疊加或進(jìn)行平均值計(jì)算。
5.根據(jù)權(quán)利要求3或4的方法，其特征在于，對(duì)所述可視圖像和所述紅外圖像的一個(gè)或多個(gè)位置盡可能相同的像素進(jìn)行加權(quán)疊加或平均值計(jì)算。
6.根據(jù)權(quán)利要求3至5中任一項(xiàng)的方法，其特征在于，所述加權(quán)是考慮車輛環(huán)境亮度和/或能見(jiàn)度情況而實(shí)現(xiàn)的。
7.根據(jù)權(quán)利要求3至6中任一項(xiàng)的方法，其特征在于，紅外像素和可視像素或這樣的像素區(qū)域在疊加或結(jié)合相互對(duì)應(yīng)的像素或像素區(qū)域時(shí)被不同地加權(quán)。
8.根據(jù)權(quán)利要求3至7中任一項(xiàng)的方法，其特征在于，在疊加或平均值計(jì)算時(shí)，所述可視圖像和/或所述紅外圖像的信息豐富區(qū)域相對(duì)于信息貧乏區(qū)域被更高地加權(quán)。
9.根據(jù)權(quán)利要求3至8中任一項(xiàng)的方法，其特征在于，譜分量的加權(quán)和/或疊加由司機(jī)在結(jié)合的圖像中根據(jù)環(huán)境或根據(jù)行駛條件手動(dòng)地調(diào)節(jié)。
10.根據(jù)權(quán)利要求3至9中任一項(xiàng)的方法，其特征在于，譜分量的加權(quán)和/或疊加通過(guò)疊加或結(jié)合設(shè)備(106)根據(jù)環(huán)境或根據(jù)行駛條件而調(diào)節(jié)，所述疊加或結(jié)合設(shè)備考慮根據(jù)環(huán)境或根據(jù)行駛條件的參數(shù)或車輛上設(shè)置的傳感器的輸出信號(hào)。
11.根據(jù)權(quán)利要求3至10的方法，其特征在于，為整個(gè)結(jié)合圖像或?yàn)榻Y(jié)合圖像的部分區(qū)域進(jìn)行所述根據(jù)環(huán)境或根據(jù)行駛條件的調(diào)節(jié)。
12.根據(jù)權(quán)利要求9至11中任一項(xiàng)的方法，其特征在于，所述根據(jù)環(huán)境或根據(jù)行駛條件的調(diào)節(jié)取決于當(dāng)前車輛環(huán)境，如天氣條件，例如霧和/或雨和/或潮濕或反射的車行道、與前面行駛的車輛的距離、市內(nèi)行駛、公路行駛或高速公路行駛，其中后一些信息例如借助于車輛中配置的導(dǎo)航系統(tǒng)通過(guò)處理制圖數(shù)據(jù)而確定。
13.根據(jù)權(quán)利要求9至12中任一項(xiàng)的方法，其特征在于，所述根據(jù)環(huán)境或根據(jù)行駛條件的調(diào)節(jié)取決于車輛的當(dāng)前環(huán)境亮度。
14.根據(jù)權(quán)利要求9至13中任一項(xiàng)的方法，其特征在于，所述根據(jù)行駛條件的調(diào)節(jié)取決于車輛的當(dāng)前行駛動(dòng)態(tài)量，如尤其是其速度和/或其加速度和/或其轉(zhuǎn)向角。
15.根據(jù)權(quán)利要求1的系統(tǒng)，其特征在于，所述可視圖像或其數(shù)字?jǐn)?shù)據(jù)通過(guò)對(duì)可視譜范圍敏感的可視攝相機(jī)，優(yōu)選為色敏感可視攝相機(jī)，或者這樣的第一傳感器提供，而紅外圖像或其數(shù)字?jǐn)?shù)據(jù)通過(guò)對(duì)紅外譜范圍敏感的紅外攝相機(jī)或這樣的第二傳感器提供。
16.根據(jù)權(quán)利要求15的方法，其特征在于，所述可視攝相機(jī)或所述第一傳感器及其光學(xué)系統(tǒng)包括第一光軸，所述紅外攝相機(jī)或所述第二光學(xué)傳感器及其光學(xué)系統(tǒng)包括第二光軸，所述光軸特別地相互平行地偏移，使得所述攝相機(jī)或傳感器提供車輛環(huán)境的至少部分不同的片段，即第一和第二片段。
17.根據(jù)權(quán)利要求16的系統(tǒng)，其特征在于，所提供的第一片段和所提供的第二片段全部或部分地通過(guò)疊加或結(jié)合設(shè)備(106)被以像素和/或區(qū)域方式疊加或結(jié)合，在結(jié)合時(shí)考慮至少一個(gè)與距離相關(guān)的、優(yōu)選為在為不同距離校準(zhǔn)時(shí)所獲得的匹配參數(shù)，如尤其為至少一個(gè)記錄或轉(zhuǎn)換參數(shù)，并且所述匹配參數(shù)優(yōu)選地在校準(zhǔn)時(shí)被存儲(chǔ)在車輛的數(shù)據(jù)存儲(chǔ)器中。
18.根據(jù)權(quán)利要求17的方法，其特征在于，所述至少一個(gè)與距離相關(guān)的匹配參數(shù)通過(guò)用于第一距離或第一距離范圍的第一校準(zhǔn)和用于至少一個(gè)其他距離或其他距離范圍的至少一個(gè)其他校準(zhǔn)而獲得。
19.根據(jù)權(quán)利要求18的方法，其特征在于，所述第一距離或第一距離范圍對(duì)應(yīng)于對(duì)于市內(nèi)行駛典型的行駛條件，如尤其為大約15至75m的距離范圍。
20.根據(jù)權(quán)利要求18或19的方法，其特征在于，第二距離或第二距離范圍對(duì)應(yīng)于對(duì)于公路行駛典型的行駛條件，如尤其為大約30至150m的距離范圍。
21.根據(jù)權(quán)利要求18至20的方法，其特征在于，第三距離或第三距離范圍對(duì)應(yīng)于對(duì)于高速公路行駛典型的行駛條件，如尤其為大約50至250m的距離范圍。
22.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，自動(dòng)確定車輛的當(dāng)前行駛條件和/或司機(jī)從多個(gè)匹配參數(shù)中選擇適于向其顯示的匹配參數(shù)，并且對(duì)應(yīng)于當(dāng)前行駛條件的或選擇的、由校準(zhǔn)獲得的且被存儲(chǔ)在車輛中的匹配參數(shù)在以像素和/或區(qū)域方式疊加或結(jié)合所述可視圖像和所述紅外圖像時(shí)由數(shù)字結(jié)合圖像處理加以考慮，由此優(yōu)選地產(chǎn)生盡可能無(wú)失真的和/或無(wú)重影的環(huán)境結(jié)合圖像。
23.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，車輛的當(dāng)前位置自動(dòng)地由車輛導(dǎo)航系統(tǒng)，尤其是衛(wèi)星導(dǎo)航系統(tǒng)確定，并且確定對(duì)應(yīng)于位置的道路類別或行駛條件，如尤其是市內(nèi)道路、公路或高速公路。
24.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，所述行駛條件自動(dòng)地借助于至少一個(gè)行駛動(dòng)態(tài)量，如尤其為車輛速度和/或近距燈或遠(yuǎn)光燈的工作和/或車輛加速度，來(lái)確定。
25.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，由視覺(jué)可見(jiàn)的物體和/或其他物體所發(fā)出的且被檢測(cè)到的紅外輻射包括大約7至14μm的波長(zhǎng)范圍，優(yōu)選為大約7.5至10.5μm。
26.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，由視覺(jué)可見(jiàn)物體和/或其他物體所發(fā)出的且被檢測(cè)到的紅外輻射包括大約3μm至大約5μm的波長(zhǎng)范圍。
27.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，由視覺(jué)可見(jiàn)物體和/或其他物體所發(fā)出的且被檢測(cè)到的紅外輻射包括大約800nm至大約2.5μm的波長(zhǎng)范圍。
28.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，使用校準(zhǔn)裝置歸一化以數(shù)字?jǐn)?shù)據(jù)形式存在的車輛環(huán)境可視圖像。
29.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，使用校準(zhǔn)裝置歸一化以數(shù)字?jǐn)?shù)據(jù)形式存在的環(huán)境片段紅外圖像。
30.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，由所述校準(zhǔn)裝置發(fā)出視覺(jué)可見(jiàn)輻射和紅外輻射。
31.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，所述校準(zhǔn)裝置包括至少一個(gè)輝光燈，在存在多個(gè)輝光燈的情況下，所述至少一個(gè)輝光燈優(yōu)選地被交錯(cuò)地設(shè)置。
32.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，可視圖像和/或所述紅外圖像的數(shù)字?jǐn)?shù)據(jù)被臨時(shí)存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)器中。
33.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，所述可視攝相機(jī)或所述第一傳感器與所述紅外攝相機(jī)或所述第二傳感器的圖像重復(fù)率至少盡可能地相同。
34.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，不同譜范圍的時(shí)間和位置盡可能相同的圖像的位置相同像素或像素區(qū)域通過(guò)其數(shù)字?jǐn)?shù)據(jù)的處理而被相互疊加或進(jìn)行平均值計(jì)算。
35.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，像素或像素區(qū)域的亮度值和/或色值被疊加或進(jìn)行平均值計(jì)算。
36.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于，為所述可視圖像和所述紅外圖像的一個(gè)或多個(gè)位置盡可能相同的像素進(jìn)行加權(quán)的疊加或平均值計(jì)算。
37.用于尤其在黑暗時(shí)顯示車輛環(huán)境的裝置(100)，其特征在于，所述裝置執(zhí)行根據(jù)權(quán)利要求1至36中任一項(xiàng)的方法。
38.根據(jù)權(quán)利要求37的裝置，其特征在于，可視攝相機(jī)(101)，優(yōu)選為色敏感可視攝相機(jī)，紅外攝相機(jī)(102)，第一歸一化裝置(103)，用于歸一化所述可視攝相機(jī)所提供的、優(yōu)選為彩色可視的車輛環(huán)境片段圖像，第二歸一化裝置(104)，用于歸一化由所述紅外攝相機(jī)(102)提供的車輛環(huán)境片段紅外圖像，對(duì)準(zhǔn)裝置(105)，用于由可視圖像和紅外圖像產(chǎn)生時(shí)間和位置盡可能相同的圖像對(duì)，以及結(jié)合或疊加設(shè)備(106)，所述結(jié)合或疊加設(shè)備以像素或區(qū)域方式疊加所述時(shí)間和位置盡可能相同的圖像對(duì)，或進(jìn)行平均值計(jì)算。
39.校準(zhǔn)裝置，其特征在于，所述校準(zhǔn)裝置用于校準(zhǔn)根據(jù)權(quán)利要求37或38的裝置，并且包括至少一個(gè)輻射源，所述輻射源發(fā)出視覺(jué)可見(jiàn)輻射以及紅外輻射，如尤其是輝光燈。
全文摘要
本發(fā)明涉及用于尤其是在黑暗中顯示車輛環(huán)境的方法。為了改善目前已知的方法，對(duì)可視圖像和紅外圖像進(jìn)行同時(shí)的、位置相同的圖像對(duì)的加權(quán)疊加，以形成結(jié)合圖像。為了進(jìn)一步改進(jìn)，加權(quán)是與環(huán)境相關(guān)的。因此，在黑暗中加權(quán)更高，并且在結(jié)合圖像中紅外信息被明顯高于可視圖像地加權(quán)。在霧天，可視圖像被明顯高于紅外圖像地加權(quán)，由此在霧中通常用處更小的紅外圖像不被(顯著地)考慮在結(jié)合圖像中。用于執(zhí)行所述方法的裝置包括色敏感可視攝相機(jī)(101)、紅外攝相機(jī)(102)和結(jié)合或疊加設(shè)備(106)，結(jié)合或疊加設(shè)備像素地或部分地疊加同時(shí)且位置相同的圖像對(duì)，并形成平均值。
文檔編號(hào)B60R16/00GK1748167SQ200480003555
公開(kāi)日2006年3月15日 申請(qǐng)日期2004年1月30日 優(yōu)先權(quán)日2003年2月6日
發(fā)明者沃爾弗岡·哈恩, 托馬斯·維德耐爾 申請(qǐng)人:寶馬股份公司