專利名稱：圖像融合系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像系統(tǒng)和方法，尤其涉及一種有選擇地融合或組合來(lái)自兩個(gè)或更多傳感器的圖像區(qū)，以形成一個(gè)單一處理圖像的成像系統(tǒng)和方法。
背景技術(shù)：
圖像融合一般是指將兩個(gè)或更多的圖像部分組合或合并成一個(gè)單一的處理圖像。一般在用兩個(gè)以上的檢測(cè)器產(chǎn)生一幅圖像時(shí)使用圖像融合，以便將每個(gè)傳感器提供的信息組合成向用戶顯示的或提供給自動(dòng)處理系統(tǒng)的圖像。
在一種用已知的系統(tǒng)將來(lái)自于不同傳感器的圖像進(jìn)行組合的方法中，僅僅將兩個(gè)圖像的像素逐一疊加在一起。因此，例如，為了獲得像素排列在一個(gè)n×m矩陣中的二維(2-D)處理圖像，其中該處理圖像中每個(gè)像素的位置是由位置(x，y)進(jìn)行標(biāo)識(shí)，則將第一個(gè)圖像的像素(1，1)的值或數(shù)據(jù)與第二個(gè)圖像的像素(1，1)的值或數(shù)據(jù)相加，將第一圖像的像素(1，2)的值或數(shù)據(jù)與第二個(gè)圖像的像素(1，2)的值或數(shù)據(jù)相加，依此類推，直到將兩個(gè)圖像中的像素(n，m)的值或數(shù)據(jù)相加。另一種已知的系統(tǒng)對(duì)這種技術(shù)進(jìn)行了改變，通過(guò)計(jì)算每個(gè)像素值的平均值，來(lái)取代將兩個(gè)值相加。因此，最終的圖像包含平均像素值。
但是，這些系統(tǒng)具有許多缺陷。首先，已知的圖像融合技術(shù)通常會(huì)導(dǎo)致不希望的和不必要的失真。例如，如果一個(gè)圖像的一個(gè)部分對(duì)于使用者是清晰并可理解的，而第二幅圖像的對(duì)應(yīng)部分則是模糊的，那么相加或平均像素值可能會(huì)使清楚的圖像失真而成為不太清楚的圖像。這種不希望的效果是通過(guò)相加或平均而把模糊像素的元素組合到清楚像素中的結(jié)果。另一個(gè)例子是，將不需要的背景區(qū)加到一個(gè)明亮圖像區(qū)上可能會(huì)降低明亮圖像區(qū)的對(duì)比度和質(zhì)量。例如，如果兩個(gè)圖像區(qū)具有高的優(yōu)勢(shì)度或均是明亮的，那么將兩個(gè)亮區(qū)加在一起可能導(dǎo)致最后的圖像“過(guò)度曝光”或太亮。這會(huì)帶來(lái)一個(gè)飽和圖像。最后，將兩個(gè)暗淡圖像區(qū)進(jìn)行平均可能會(huì)導(dǎo)致更暗淡的圖像，并且會(huì)使原來(lái)就暗淡的圖像區(qū)的亮度進(jìn)一步降低。
其它已知系統(tǒng)一直在試圖利用識(shí)別圖像中的圖案并且在圖案的基礎(chǔ)上形成一個(gè)融合圖像的技術(shù)來(lái)克服這些缺陷。利用具有不同帶寬的濾波器將每個(gè)源或原始圖像分解成多個(gè)低分辨率圖像(例如，基于高斯轉(zhuǎn)出(roll-off)法或拉普拉斯“金字塔(pyramid)”方法)。金字塔方法是對(duì)不同的圖像區(qū)使用不同分辨率——用低分辨率分析粗糙特征，以及用高分辨率分析精細(xì)特征。但是，這些系統(tǒng)的缺點(diǎn)在于，在構(gòu)造一個(gè)金字塔處理過(guò)程開(kāi)始之前接收來(lái)自每個(gè)傳感器的完整圖像。這種要求一般會(huì)導(dǎo)致來(lái)自最慢傳感器的圖像發(fā)生時(shí)間滯后。對(duì)于放置在諸如飛行器或其它運(yùn)輸工具之類的快速運(yùn)動(dòng)的，或希望實(shí)時(shí)操作的平臺(tái)來(lái)說(shuō)，傳感器中這種時(shí)間滯后是不可接受的。
其它已知系統(tǒng)使用一種改進(jìn)了的拉普拉斯方法，將源圖像分解成具有突出值或權(quán)數(shù)的圖像。如果圖形帶有用于理解圖像的信息，則它是“突出的”。最終圖像是根據(jù)“加權(quán)”圖形形成的。但是，這些技術(shù)的缺點(diǎn)在于，它們一般都涉及對(duì)每個(gè)像素或整個(gè)圖像區(qū)的分析和賦予突出權(quán)數(shù)。然后，再處理整個(gè)圖像。接下來(lái)，選擇突出圖形。結(jié)果，浪費(fèi)了過(guò)多的時(shí)間來(lái)分析整個(gè)圖像區(qū)和它們對(duì)應(yīng)的突出值。
當(dāng)把已知圖像系統(tǒng)與飛機(jī)著陸、駕駛坦克之類的對(duì)時(shí)間敏感的行為結(jié)合使用時(shí)，這些缺點(diǎn)就更成問(wèn)題。在這些情況下，希望快速地產(chǎn)生清楚的圖像。但是，已知技術(shù)一般不能在這些限制的時(shí)間內(nèi)產(chǎn)生清楚的圖像，或只有在全部圖像可用于處理之后才能產(chǎn)生清楚的圖像。
因此，需要有一種方法和系統(tǒng)，能夠有效和快速地從源圖像中選擇有用的、適當(dāng)?shù)?、或有關(guān)的信息，以便以省時(shí)的方式形成具有更多信息的或有用的處理圖像，該處理圖像中包括來(lái)自于每個(gè)源圖像的有關(guān)的、適當(dāng)?shù)摹⒁约坝杏玫男畔?。此外，希望能夠把選擇的圖像融合技術(shù)應(yīng)用到各種不同的檢測(cè)器或圖像生成器中，以便在不同應(yīng)用中具有使用的靈活性。

發(fā)明內(nèi)容
本發(fā)明提供了一種方法和系統(tǒng)，有選擇地組合不同傳感器(這里指?jìng)鞲衅骰蛟磮D像)產(chǎn)生的圖像區(qū)，以便利用來(lái)自傳感器圖像的有關(guān)信息形成處理或融合圖像。該方法和系統(tǒng)的實(shí)現(xiàn)是通過(guò)將每個(gè)傳感器圖像劃分成圖像區(qū)，并且借助于諸如卷積的方式，為每個(gè)圖像區(qū)產(chǎn)生對(duì)比值對(duì)應(yīng)的映象。然后，將一個(gè)傳感器圖像的對(duì)比值的映象與其它傳感器的對(duì)比值對(duì)應(yīng)的映象比較。根據(jù)選擇標(biāo)準(zhǔn)，在比較的對(duì)比值之間或?qū)Ρ戎抵羞x擇一個(gè)對(duì)比值，例如，在比較的兩個(gè)或更多的對(duì)比值中選擇較大的一個(gè)。然后，利用與選定的對(duì)比值相對(duì)應(yīng)的圖像區(qū)形成處理圖像。根據(jù)本發(fā)明，可以根據(jù)逐個(gè)像素、像素組、或任意形狀的區(qū)，劃分圖像區(qū)。
也是根據(jù)本發(fā)明，每個(gè)傳感器檢測(cè)不同的波長(zhǎng)。
也是根據(jù)本發(fā)明，可以處理來(lái)自不同類型、數(shù)量、和組合的傳感器的圖像?？梢允褂玫膫鞲衅靼t外線(IR)、射頻傳感器(例如，雷達(dá)之類的有源傳感器，或輻射計(jì)之類的無(wú)源傳感器)。
也是根據(jù)本發(fā)明，組合來(lái)自多個(gè)傳感器的圖像區(qū)，以形成處理圖像。
進(jìn)一步根據(jù)本發(fā)明，組合來(lái)自第一和第二傳感器的圖像的對(duì)比映象，以形成中間對(duì)比映象，然后將中間對(duì)比映象與第三圖像的對(duì)比映象相比，以形成處理圖像。
進(jìn)一步根據(jù)本發(fā)明，將圖像融合方法和系統(tǒng)與諸如飛行器、船只、汽車、或火車之類的移動(dòng)交通工具的指揮結(jié)合使用。
進(jìn)一步根據(jù)本發(fā)明，調(diào)節(jié)整個(gè)處理圖像上的一個(gè)或更多圖像部分的強(qiáng)度。選擇一個(gè)傳感器作為參考傳感器，并確定參考傳感器圖像的各區(qū)的平均強(qiáng)度。通過(guò)將確定的參考圖像的平均亮度值和處理圖像的強(qiáng)度值相組合，調(diào)節(jié)處理圖像中相同區(qū)或?qū)?yīng)區(qū)或相鄰區(qū)的強(qiáng)度。
也是根據(jù)本發(fā)明，在執(zhí)行對(duì)比比較之前，將本方法和系統(tǒng)在傳感器圖像的濾波部分中使用。


圖1是一個(gè)本發(fā)明系統(tǒng)實(shí)施例的示意圖，包括位于諸如飛行器的運(yùn)動(dòng)交通工具內(nèi)的一個(gè)處理器或計(jì)算機(jī)、兩個(gè)傳感器、以及一個(gè)顯示器；圖2是說(shuō)明對(duì)傳感器產(chǎn)生的圖像進(jìn)行處理以形成處理或融合圖像的流程圖；圖3是說(shuō)明將對(duì)比值進(jìn)行比較的方法的流程圖；圖4是說(shuō)明調(diào)節(jié)處理圖像強(qiáng)度的方法的流程圖；圖5A-C是一組黑白照片，分別顯示雷達(dá)傳感器和紅外線(IR)傳感器的對(duì)應(yīng)圖像，以及包含根據(jù)選擇處理過(guò)程或標(biāo)準(zhǔn)從雷達(dá)和IR圖像中選擇出來(lái)的區(qū)的處理圖像；圖6A-F示出了將一個(gè)圖像劃分成不同的圖像區(qū)，包括基于逐個(gè)像素的、像素組的、或任意定義的區(qū)；圖7A-B是說(shuō)明為每個(gè)圖像產(chǎn)生的對(duì)比映象的黑白照片；圖8A-B是說(shuō)明根據(jù)選擇標(biāo)準(zhǔn)從圖7A-B的對(duì)比映象中選擇的對(duì)比值的黑白照片；圖9是說(shuō)明通過(guò)比較所有圖像的對(duì)比值而處理多個(gè)圖像以形成處理或融合圖像的流程圖；圖10是說(shuō)明通過(guò)執(zhí)行對(duì)比值的多重比較來(lái)處理多個(gè)圖像以形成處理或融合圖像的流程圖；圖11A-B是說(shuō)明亮度糾正之前和之后的處理或融合圖像的黑白照片；圖12A-B是顯示空間濾波器的黑白照片；圖13A-B分別示出了雷達(dá)和IR傳感器的濾波曲線圖；圖14A-F是說(shuō)明雷達(dá)和IR圖像、濾波函數(shù)或效果、及應(yīng)用到雷達(dá)與IR圖像的濾波函數(shù)的黑白照片；以及圖15A-E是說(shuō)明帶有或不帶有滾動(dòng)效果的加權(quán)函數(shù)的比較的黑白照片。
具體實(shí)施例方式
在以下本發(fā)明實(shí)施例的說(shuō)明中，以構(gòu)成本發(fā)明一部分的附圖作為參考，并且這些附圖示出了能夠?qū)崿F(xiàn)本發(fā)明的特殊實(shí)施例。應(yīng)當(dāng)知道，也可以使用其它實(shí)施例，因?yàn)榻Y(jié)構(gòu)的改變不脫離本發(fā)明的范圍。
參考圖1，這是飛行器中駕駛員座艙的視圖，示出了本發(fā)明的系統(tǒng)S，該系統(tǒng)S具有傳感器100，102，以及一個(gè)處理器110及一個(gè)顯示器120。傳感器100，102將對(duì)應(yīng)的圖像數(shù)據(jù)或圖像流104，106(即，傳感器或源圖像)提供到處理器110，例如，計(jì)算機(jī)、微控制器、或其它控制元件或系統(tǒng)。傳感器可以檢測(cè)相同、重疊、或不同的波長(zhǎng)。此外，傳感器也能檢測(cè)相同的視野，或重疊的視野。
給處理器110編程，以便能夠有選擇地將來(lái)自每個(gè)圖像的區(qū)組合成一個(gè)處理或融合圖像115。更具體地講，處理器110比較圖像104、106的區(qū)，并根據(jù)一種選擇標(biāo)準(zhǔn)選擇圖像區(qū)，例如，根據(jù)對(duì)比值進(jìn)行比較，該對(duì)比值代表了傳感器圖像明與暗之間的亮度的明顯差別。可以對(duì)處理器編程，以考慮不同的選擇標(biāo)準(zhǔn)，這些選擇標(biāo)準(zhǔn)包括、但不限于每種比較的較大或最大對(duì)比值。因此，處理系統(tǒng)實(shí)質(zhì)上能夠從一個(gè)、多個(gè)或全部圖像中提取所希望的區(qū)，或根據(jù)選擇標(biāo)準(zhǔn)選擇的區(qū)。將選擇的區(qū)拼接在一起，形成融合圖像115(很像用多個(gè)拼圖塊形成的拼圖，除了可以從多個(gè)源中選擇每個(gè)拼圖塊之外)。“拼圖塊”或圖像區(qū)可以來(lái)自一個(gè)單一的圖像、一些圖像、或所有圖像。然后，通過(guò)視覺(jué)顯示器120將融合圖像115提供給駕駛員或使用者。也可以將融合圖像提供到圖像處理器或計(jì)算機(jī)，以進(jìn)行進(jìn)一步處理。
盡管圖1示出了系統(tǒng)S在飛行器中的應(yīng)用，但是，熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，該系統(tǒng)可以應(yīng)用到許多其它交通工具中，并在將要說(shuō)明的各種應(yīng)用中使用。
在圖2-4的流程圖中示出了將圖104、106的各個(gè)部分融合或有選擇地組合成一個(gè)處理圖像115的技術(shù)。如圖2中所示，在步驟200，每個(gè)傳感器產(chǎn)生一個(gè)圖像，并且把圖像數(shù)據(jù)提供到處理器。在步驟202，如果希望，則可以對(duì)圖像區(qū)進(jìn)行濾波，以便將被濾出的圖像從處理中排除、從處理圖像排除、或減少它們對(duì)處理圖像的作用。在步驟204，比較每個(gè)傳感器圖像的對(duì)應(yīng)區(qū)的對(duì)比值。在步驟206，使用一種選擇標(biāo)準(zhǔn)以選擇或識(shí)別特定的對(duì)比值。在系統(tǒng)S的一個(gè)實(shí)施例中，選擇標(biāo)準(zhǔn)可以是，選擇或識(shí)別較大或最大的對(duì)比值；但是，根據(jù)如何應(yīng)用系統(tǒng)，選擇標(biāo)準(zhǔn)、規(guī)范或處理過(guò)程在系統(tǒng)S的另一個(gè)實(shí)施例中可以全都不同。在步驟208，識(shí)別或選擇與選擇的或識(shí)別的對(duì)比值相對(duì)應(yīng)的圖像區(qū)。在步驟210，組合選擇的圖像區(qū)，即通過(guò)有效地“拼接在一起”來(lái)形成融合或處理圖像。然后，在步驟212，如果需要，則調(diào)節(jié)或糾正處理或融合圖像的亮度，以產(chǎn)生更清楚的圖像。
圖3進(jìn)一步示出了步驟204或比較對(duì)比值的過(guò)程。在步驟300，將每個(gè)傳感器圖像劃分成多個(gè)圖像區(qū)。然后，在步驟302，產(chǎn)生每個(gè)傳感器圖像的對(duì)比映象。每個(gè)對(duì)比映象包括每個(gè)定義的圖像區(qū)的對(duì)比值。在步驟304，將一個(gè)傳感器圖像的圖像區(qū)的對(duì)比值與其它傳感器圖像的對(duì)應(yīng)圖像區(qū)的對(duì)比值比較。在這里使用的對(duì)應(yīng)圖像區(qū)是指，至少重疊的傳感器圖像。例如，如果一個(gè)傳感器圖像的視野包括飛機(jī)場(chǎng)跑道，如果另一個(gè)傳感器圖像也包括相同的飛機(jī)場(chǎng)跑道，那么這個(gè)傳感器圖像與后者的視野重疊。如果兩個(gè)傳感器圖像的視野彼此相同(或近似相同)，那么認(rèn)為兩個(gè)圖像具有100％的重疊(以下都是如此)。
現(xiàn)在轉(zhuǎn)到圖4，進(jìn)一步詳細(xì)說(shuō)明步驟212或調(diào)節(jié)融合圖像的亮度。在步驟400，選擇一個(gè)傳感器作為參考傳感器，即要與之匹配亮度值的傳感器。然后，在步驟402，確定整個(gè)圖像上參考傳感器圖像(例如，橫截線)的圖像區(qū)的平均亮度。接下來(lái)，在步驟404，通過(guò)組合確定的平均亮度值和融合圖像的亮度值而調(diào)節(jié)融合或處理圖像的一個(gè)或更多區(qū)的亮度，以形成糾正了亮度的融合圖像。可以把亮度調(diào)節(jié)應(yīng)用于同一區(qū)、或相鄰區(qū)、或隨后的區(qū)。例如，可以把調(diào)節(jié)應(yīng)用于確定了強(qiáng)度的相同的線、或相鄰或隨后的線406，或融合圖像中相鄰或隨后的區(qū)或線408。
熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，圖像融合方法和系統(tǒng)可以在許多不同的處理多個(gè)圖像的環(huán)境和應(yīng)用中使用。例如，除了飛行器(例如，飛機(jī)、噴氣機(jī)、直升機(jī)，等等)之外，該方法和系統(tǒng)也可以在諸如船只、汽車、或火車之類的其它運(yùn)動(dòng)交通工具中實(shí)現(xiàn)。此外，可將圖像融合方法和系統(tǒng)用于顯示來(lái)自醫(yī)學(xué)儀器(使用諸如超聲波、紅外線、激光成像或斷層攝影傳感器)和監(jiān)視系統(tǒng)的圖像。的確，許多應(yīng)用可以從為形成處理或融合圖像而進(jìn)行的圖像區(qū)的選擇融合中受益，上述處理或融合圖像中包括有關(guān)信息或來(lái)自于每個(gè)傳感圖像的選擇信息。
但是，為了說(shuō)明的目的，本說(shuō)明書主要針對(duì)有關(guān)飛行器的圖像。這種圖像可以涉及飛行器的著陸、滑行、起飛、或巡航，并且與預(yù)防地形控制飛行(Controlled Flight Into Terrain(CFIT))的應(yīng)用有關(guān)。作為系統(tǒng)如何能夠在飛行器應(yīng)用中使用的一個(gè)專門示例，本說(shuō)明書針對(duì)處理雷達(dá)傳感器和IR傳感器產(chǎn)生的圖像。但是，如下面要說(shuō)明的，可以處理許多不同類型、數(shù)量、和組合的傳感器和傳感器圖像。因此，本說(shuō)明書中說(shuō)明的示例系統(tǒng)和方法可以用于許多不同應(yīng)用領(lǐng)域。
圖像和傳感器現(xiàn)在轉(zhuǎn)到圖5A-C，傳感器100、102產(chǎn)生對(duì)應(yīng)的圖像104、106，例如，圖5A-B中所示的圖像500、510。使用一個(gè)或兩個(gè)圖像的選定區(qū)，也就是說(shuō)，有效地結(jié)合或拼接在一起，以形成融合或處理圖像115，例如，圖5C中所示的融合圖像520。根據(jù)源圖像的內(nèi)容，可以希望進(jìn)一步處理融合圖像，例如，像后面要結(jié)合圖11A-B進(jìn)行說(shuō)明的那樣。
更具體地講，圖5A示出了紅外線(IR)傳感器產(chǎn)生的跑道的圖像500。IR傳感器可以在各種不同的IR波長(zhǎng)范圍中操作，例如，0.8至2μm，3-5μm，8-12μm，或它們的組合和擴(kuò)展。一個(gè)可以使用IR傳感器的示例是，馬薩諸塞(Massachusetts)州列克星敦(Lexington)市的BAE SYSTEMS公司制造的紅外成像系統(tǒng)(Infrared Imaging Systems)。圖5B示出了在相同或近似跑道場(chǎng)景中的同一條跑道，即雷達(dá)傳感器產(chǎn)生的圖像510。雷達(dá)傳感器可以是X，K，Ka或其它的區(qū)域雷達(dá)傳感器。適合于本發(fā)明使用的雷達(dá)傳感器是，諸如加利福尼亞(California)州圣莫尼卡(Santa Monica)的BAESYSTEMS公司制造的飛行器控制(Aircraft Controls)系列。
在這種情況下，IR傳感器和雷達(dá)傳感器一般都能提供相同或重疊的視野，從而能夠用一個(gè)傳感器更好地檢測(cè)兩個(gè)視野中均可以看到的對(duì)象或條件。熟悉本領(lǐng)域的普通人員應(yīng)當(dāng)知道，如以后要說(shuō)明的那樣，該系統(tǒng)和方法可以應(yīng)用到具有不同程度的重疊或視野的圖像。此外，盡管說(shuō)明的實(shí)施例提供了一個(gè)包括雷達(dá)、IR傳感器以及圖像的系統(tǒng)的特定示例，但是，也可以使用不同類型、數(shù)量、和組合的傳感器和圖像。例如，系統(tǒng)也可以使用紫外線(UV)傳感器，一個(gè)示例UV傳感器是加利福尼亞州Sunnyvale的PulnixAmerica公司制造的。此外，傳感器之一可以基于諸如成像雷達(dá)或輻射計(jì)之類的有源或無(wú)源射頻(RF)系統(tǒng)，它們能夠在各種不同的RF頻帶中進(jìn)行操作，包括但是不限于10，35，76，94和220GHz。這種傳感器的一個(gè)示例是，加利福尼亞州Redondo Beach的TRW公司制造的傳感器。作為又一個(gè)例子，傳感器可以是一個(gè)超聲波傳感器，例如，威斯康星(Wisconsin)州Waukesha的通用電子醫(yī)學(xué)系統(tǒng)公司(General Electric Medical Systems Division)制造的醫(yī)學(xué)成像應(yīng)用中使用的超聲波傳感器。傳感器也可以是一個(gè)可見(jiàn)頻帶傳感器，例如，新澤西(New Jersey)州Secaucus的松下(Panasonic)公司制造的低照度可見(jiàn)頻帶傳感器、電荷耦合器件(CCD)，或可以使用自然或人工照明的彩色或灰度照相機(jī)。
此外，可以配置圖像融合系統(tǒng)，以處理來(lái)自多個(gè)傳感器的圖像，例如，來(lái)自三個(gè)、四個(gè)、或其它數(shù)量的傳感器的圖像。傳感器的一種可能的組合包括兩個(gè)IR傳感器和一個(gè)雷達(dá)傳感器。來(lái)自所有傳感器的圖像可以結(jié)合處理，并且有選擇地組合成一個(gè)處理圖像。例如，可以將圖像A，B和C有選擇地組合成處理或融合圖像D。作為替換方案，可以處理兩個(gè)傳感器圖像，再將其結(jié)果與第三個(gè)傳感器圖像一起處理，以形成一個(gè)處理或融合圖像，或該圖像代表的對(duì)比映象。例如，可以把圖像A和B組合成圖像C或中間對(duì)比映象C，接著將C有選擇地與圖像D或?qū)Ρ扔诚驞組合，以形成融合圖像E或進(jìn)一步的中間對(duì)比映象等等，直到處理了所有圖像，形成一個(gè)融合圖像。的確，在希望或需要時(shí)，可以通過(guò)不同的重復(fù)比較，處理不同數(shù)量的傳感器圖像的不同組合。
傳感器類型的選擇依賴于使用傳感器的條件和環(huán)境。如前面討論過(guò)的，一種類型的傳感器可能更好地適合于一種環(huán)境，而另一種傳感器可以更好地適合于一個(gè)不同的環(huán)境。更具體地講，根據(jù)環(huán)境是白天、黑夜、有霧氣、還是下雨等等，以及根據(jù)圖像是遠(yuǎn)距離或是近距離的，某些類型的傳感器可以提供更清楚的圖像。例如，雷達(dá)傳感器一般在有霧的條件下可以比IR傳感器提供更好的圖像，但是，可能缺少IR傳感器的類似照片一樣的質(zhì)量。
比較圖像區(qū)的對(duì)比值通過(guò)將圖像劃分成區(qū)、根據(jù)定義的區(qū)產(chǎn)生對(duì)比映象、以及利用一種選擇標(biāo)準(zhǔn)或多種標(biāo)準(zhǔn)比較對(duì)應(yīng)的對(duì)比映象值，來(lái)比較圖像區(qū)的對(duì)比值(步驟204)。比較是基于對(duì)準(zhǔn)或預(yù)對(duì)準(zhǔn)的圖像，或排列以允許有關(guān)圖像區(qū)的比較的圖像。因此，如果處理不重疊的圖像，那么預(yù)對(duì)準(zhǔn)或?qū)?zhǔn)它們，以便能夠像下面要進(jìn)一步詳細(xì)說(shuō)明的那樣比較有關(guān)的區(qū)。然后，選擇對(duì)比值(步驟206)，例如，基于選擇較大或最大比較值的選擇標(biāo)準(zhǔn)。也可以使用其它選擇標(biāo)準(zhǔn)，例如，持續(xù)時(shí)間、亮度、顏色等等。
將圖像劃分成區(qū)最初，將傳感器圖像劃分成如圖6A-F中所示的圖像區(qū)?？梢栽谥饌€(gè)像素600a-b、601a-b的基礎(chǔ)上劃分圖像(圖6A-B)，或根據(jù)像素組602a-b、604a-b劃分圖像(圖6C-D)。一個(gè)像素或像素組可以是“黑色或白色”，以代表單色圖像，不同的灰色深淺度(灰度)代表一個(gè)具有不同強(qiáng)度等級(jí)的圖像。一個(gè)像素或像素組也可以具有起到形成彩色圖像部分作用的紅、綠、和藍(lán)色點(diǎn)。此外，可以把圖像區(qū)定義為任意形狀的區(qū)或邊界606a-b、608a-b、610a-b、612a-b(圖6E-F)。結(jié)果，對(duì)于每個(gè)傳感器圖像中的每個(gè)區(qū)，可以把一個(gè)圖像區(qū)與另一個(gè)對(duì)應(yīng)的圖像區(qū)進(jìn)行比較。例如，參考圖6A-B，可以將區(qū)600a(x1＝1，y1＝12)與區(qū)600b(x2＝1，y2＝12)比較；并且把區(qū)601a(x1＝17，y1＝10)與區(qū)601b(x2＝17，y2＝10)比較。
為了便于說(shuō)明，圖5A-B以及圖6A-F中所示的相關(guān)示例圖像區(qū)包括帶有總體上對(duì)準(zhǔn)或預(yù)對(duì)準(zhǔn)圖像區(qū)的相同或基本相同的圖像，例如，對(duì)準(zhǔn)或預(yù)對(duì)準(zhǔn)的像素、像素組、或任意形狀的區(qū)。也就是說(shuō)，圖5A-B示出了重疊的圖像(100％重疊)，或具有高重疊度的圖像(幾乎相同的傳感器圖像)。結(jié)果，圖6A-F中的圖像區(qū)在一系列的對(duì)應(yīng)圖像中相互對(duì)準(zhǔn)。因此，不管如何將傳感器圖像劃分成圖像區(qū)，對(duì)象(例如，樹(shù)607)總是在傳感器圖像內(nèi)幾乎相同的相對(duì)位置上，存在于兩個(gè)傳感器圖像的相同圖像區(qū)中。
但是，熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，本系統(tǒng)和方法可以用于不同數(shù)量、類型、和組合的傳感器圖像中，根據(jù)傳感器的場(chǎng)所、位置、視野以及檢測(cè)能力，這些傳感器圖像具有不同的重疊度。在包括不同重疊度的情況下，可以對(duì)準(zhǔn)或預(yù)對(duì)準(zhǔn)圖像區(qū)，以便能夠執(zhí)行比較。
例如，傳感器可以位于緊靠在一起的位置(例如，飛行器前部或底部附近)，以檢測(cè)基本相同的圖像，例如，圖5A-B中所示的跑道場(chǎng)景。結(jié)果，如圖6A-F中所示，相同或類似圖像中的圖像區(qū)以相對(duì)應(yīng)的方式相互對(duì)準(zhǔn)。在這些情況下，圖像由于帶有相同的邊界和視野而通常被認(rèn)為是相同的，則可以把應(yīng)用了選擇處理或標(biāo)準(zhǔn)的圖像區(qū)(或?yàn)榱嗽谛纬商幚韴D像中選擇和使用而“競(jìng)爭(zhēng)”的圖像區(qū))考慮為圖6A-F中的所有對(duì)準(zhǔn)的圖像區(qū)。
作為一個(gè)進(jìn)一步的示例，一個(gè)傳感器可以檢測(cè)第一圖像，而另一個(gè)不同的傳感器可以除了檢測(cè)額外的場(chǎng)景因素之外，也檢測(cè)幾乎與第一圖像相同的圖像。例如，這可能發(fā)生在傳感器處于相互遠(yuǎn)離的位置時(shí)，或位于具有不同視野的位置上時(shí)。在這種情況下，可以把選擇處理應(yīng)用于一些或所有重疊區(qū)。通過(guò)使用對(duì)比比較之類的選擇處理或標(biāo)準(zhǔn)來(lái)處理圖像區(qū)。比較競(jìng)爭(zhēng)區(qū)，并選擇圖像區(qū)以形成處理或融合圖像。不重疊或不競(jìng)爭(zhēng)的圖像區(qū)可以用不同的方式處理，例如，根據(jù)源和融合或處理圖像的質(zhì)量、傳感器類型、以及使用者與系統(tǒng)需要。例如，可以把不重疊圖像加到處理圖像上，作為填充景色或背景。作為替代方案，可以從處理或融合圖像中放棄或排除不重疊圖像。在一些情況下，根據(jù)特定的系統(tǒng)和應(yīng)用，可以不處理重疊區(qū)。
因此，本方法和系統(tǒng)可以用于具有不同重疊度的圖像，以及具有不同對(duì)準(zhǔn)度的圖像區(qū)。重疊和對(duì)準(zhǔn)變化可能來(lái)自具有不同檢測(cè)能力和位置的傳感器。但是，為了便于說(shuō)明，本說(shuō)明書和附圖涉及和顯示了具有對(duì)準(zhǔn)的對(duì)應(yīng)圖像區(qū)的高重疊度的圖像。結(jié)果，大部分或所有圖像區(qū)都是競(jìng)爭(zhēng)圖像區(qū)，并且用選擇標(biāo)準(zhǔn)處理。但是，可以配置本方法和系統(tǒng)，以處理其它具有不同重疊、對(duì)準(zhǔn)、和對(duì)應(yīng)程度的圖像區(qū)配置。
產(chǎn)生對(duì)比映象如圖7A-B中所示，為對(duì)應(yīng)雷達(dá)和IR圖像而產(chǎn)生了對(duì)比映象700，710。每個(gè)對(duì)比映象包括用于標(biāo)識(shí)該對(duì)比映象內(nèi)每個(gè)定義圖像區(qū)的對(duì)比值。繼續(xù)使用雷達(dá)和IR傳感器的例子，圖7A示出了雷達(dá)圖像的對(duì)比映象700，包括對(duì)比值，雷達(dá)圖像劃分成的每個(gè)圖像區(qū)均有一個(gè)對(duì)比值。同樣，圖7B示出了IR圖像的對(duì)比映象710，包括對(duì)比值，IR圖像劃分成的每個(gè)圖像區(qū)均有一個(gè)對(duì)比值。根據(jù)本發(fā)明，每個(gè)對(duì)比映象700和710可以有任何數(shù)量的圖像區(qū)，其中這個(gè)數(shù)量最好是相等的，并且圖像區(qū)對(duì)應(yīng)著雷達(dá)和IR傳感器提供了100％重疊圖像的位置。
對(duì)于這個(gè)雷達(dá)映象示例，圖像/映象頂部和底部702、706中的對(duì)比值是相對(duì)低的值，并且中部704中的對(duì)比值是相對(duì)高的值。對(duì)于IR映象示例，中部714的對(duì)比值是相對(duì)低的值，而頂部和底部712、716中的對(duì)比值是相對(duì)高的值。
根據(jù)本發(fā)明，包括每個(gè)圖像區(qū)的對(duì)比值在內(nèi)的對(duì)比映象，是經(jīng)過(guò)諸如帶有適當(dāng)?shù)暮说木矸e產(chǎn)生的。一個(gè)可以使用的卷積和核的示例是，一個(gè)2維(3×3)標(biāo)準(zhǔn)化卷積核Kc*S1(x，y)，Kc*S2(x，y)其中*代表一個(gè)卷積；Kc=-122-12-122-1221+22-12-122-12-122≅-0.354-0.500-0.354-0.5003.414-5.00-0.354-0.500-0.354]]>x，y是圖像的空間坐標(biāo)，范圍分別是從0至圖像寬度(w)和高度(h)；S1是第一傳感器圖像，例如，mmW雷達(dá)圖像流；以及S2是第二傳感器圖像，例如，IR圖像流，假設(shè)與第一或雷達(dá)圖像空間預(yù)對(duì)準(zhǔn)或?qū)?zhǔn)。
示例核Kc包括反映離開(kāi)其中心的距離量的值。作為卷積的結(jié)果，產(chǎn)生包括每個(gè)圖像的圖像區(qū)對(duì)比值的對(duì)比映象。
處理器可以利用C語(yǔ)言或另一種編程語(yǔ)言的程序，或在專用集成電路硬件中執(zhí)行卷積運(yùn)算。通過(guò)使用數(shù)字信號(hào)處理器(DSP)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)、或其他基于硬件的裝置，可以取得卷積運(yùn)算的實(shí)時(shí)實(shí)現(xiàn)。
對(duì)比值的選擇圖8A-B示出了在形成處理圖像中使用的像素值，上述象素值是根據(jù)對(duì)圖7A-B中對(duì)比映象的對(duì)比值進(jìn)行比較而使用的選擇標(biāo)準(zhǔn)進(jìn)行選擇的。在本例中，運(yùn)用選擇標(biāo)準(zhǔn)以選擇雷達(dá)圖像的圖像區(qū)與IR圖像對(duì)應(yīng)圖像區(qū)之間的對(duì)比值中較大的一個(gè)，圖8A示出了圖7A選擇的(雷達(dá))對(duì)比值的像素值，如上所述，它們一般存在于雷達(dá)圖像的中間部分800。同樣，通過(guò)在相同的選擇標(biāo)準(zhǔn)下運(yùn)行系統(tǒng)S，圖8B示出了圖7B中選擇的(IR)對(duì)比值的像素值，如上所述，它們一般存在于IR圖像的頂部810和底部820。
從每個(gè)圖像中選擇與選定的對(duì)比值相關(guān)聯(lián)的圖像區(qū)，然后與其它如此選定的圖像區(qū)組合(或“拼接”)，以形成處理或融合圖像，例如，圖5C中所示的融合圖像。因此，在本例中，根據(jù)最大對(duì)比值選擇圖像區(qū)的標(biāo)準(zhǔn)可以按如下方式表示Fmax-con(x，y)＝max{Kc*S1(x，y)，Kc*S2(x，y)}其中基于每個(gè)區(qū)執(zhí)行“最大標(biāo)準(zhǔn)(maximum criteria)”運(yùn)算，例如，在基于一個(gè)或更多像素或一個(gè)任意形狀的區(qū)。因此，根據(jù)最大對(duì)比的圖像區(qū)的選擇，實(shí)質(zhì)上用作產(chǎn)生包括來(lái)自不同圖像的圖像區(qū)的組合或超集的融合圖像的像素值。作為選擇處理的結(jié)果，根據(jù)圖像的內(nèi)容和對(duì)比值，圖像區(qū)可以全都從一個(gè)單一圖像中選擇，或從多個(gè)圖像中選擇。一些傳感器圖像可能并不向融合或處理圖像提供任何圖像區(qū)。例如，如果第一圖像的所有對(duì)比值都是從其本身確定或選擇的，那么處理或融合圖像與第一圖像相同。作為另一個(gè)例子，如果對(duì)比值是從第二和第三圖像選擇，而不是從第一圖像選擇的，那么融合圖像包括來(lái)自第二和第三圖像的區(qū)，而沒(méi)有第一圖像的區(qū)。因此，在具有圖像區(qū)A、B和C的處理圖像中，圖像區(qū)A來(lái)自傳感器圖像1，圖像區(qū)B來(lái)自傳感器圖像2，并且圖像區(qū)C來(lái)自傳感器圖像3。
上述涉及卷積運(yùn)算應(yīng)用的例子導(dǎo)致了兩個(gè)對(duì)比映象的產(chǎn)生。的確，可以執(zhí)行其它數(shù)量和組合的卷積，以產(chǎn)生在多個(gè)比較或多個(gè)傳感器圖像中使用的多個(gè)對(duì)比映象。例如，參考圖9，圖像900-912由對(duì)應(yīng)的傳感器產(chǎn)生。將一個(gè)帶有適當(dāng)核910-912的卷積應(yīng)用到與圖像900-902相對(duì)應(yīng)的數(shù)據(jù)，以產(chǎn)生如下的對(duì)應(yīng)對(duì)比映象920-922Kc*S1(x，y)，Kc*S2(x，y)，Kc*S3(x，y)
其中第三傳感器S3也是一個(gè)IR傳感器。熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，可以將不同的核用于相同或不同的傳感器。因此，例如，涉及三個(gè)卷積的處理可以使用三個(gè)不同的卷積核。
然后，將三個(gè)圖像的對(duì)應(yīng)對(duì)比值進(jìn)行比較930，并根據(jù)選擇標(biāo)準(zhǔn)選擇對(duì)比值940。選擇的圖像區(qū)945對(duì)應(yīng)于選擇的對(duì)比值。根據(jù)最大對(duì)比值選擇標(biāo)準(zhǔn)的圖像區(qū)的選擇可以表示如下Fmax-con(x，y)＝max{Kc*S1(x，y)，Kc*S2(x，y)，Kc*S3(x，y)}然后，將從一個(gè)或更多傳感器圖像中選擇的區(qū)拼接成一個(gè)處理或融合圖像950。因此，在本例中，將所有的對(duì)應(yīng)對(duì)比值放在一起比較(同時(shí)比較三個(gè)對(duì)比值)，以選擇具有最大對(duì)比值的圖像區(qū)。
在一個(gè)可選實(shí)施例中，可以重復(fù)執(zhí)行多次卷積，以產(chǎn)生對(duì)應(yīng)的對(duì)比映象，將對(duì)比映象的值反復(fù)比較，以最終形成處理圖像。例如，參考圖10，如上所述，經(jīng)過(guò)卷積和適當(dāng)?shù)暮?，為每個(gè)圖像900-902形成對(duì)比映象920-922。但是，不是將每個(gè)對(duì)比映象的所有對(duì)應(yīng)值一起比較，而是可以利用不同的對(duì)比-選擇核，執(zhí)行對(duì)比映象的反復(fù)比較。
因此，例如，執(zhí)行對(duì)比映象920和921中對(duì)比值的比較1000，導(dǎo)致根據(jù)諸如較大或最大對(duì)比值而選擇一個(gè)對(duì)比值集1010。有選擇地組合選定的對(duì)比值，以形成中間圖像或?qū)Ρ扔诚?030。
然后，可以將對(duì)比映象1030中的對(duì)比值與來(lái)自第三圖像902中對(duì)比映象922的對(duì)比值進(jìn)行比較1040。選擇或確定對(duì)比值1050，并選擇對(duì)應(yīng)于選定的對(duì)比值的圖像區(qū)1055。選定的區(qū)形成處理或融合圖像1060。熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，可以利用相同或不同的卷積核，對(duì)不同數(shù)量的對(duì)比映象執(zhí)行不同數(shù)量的反復(fù)或比較。因此，本圖像處理系統(tǒng)和方法提供了適合于利用卷積的不同應(yīng)用的靈活圖像融合。
糾正融合圖像的亮度如果希望，可以根據(jù)使用的傳感器類型及產(chǎn)生的傳感器圖像和融合圖像的質(zhì)量，糾正或調(diào)節(jié)融合圖像的亮度。當(dāng)融合圖像對(duì)于飛行員來(lái)說(shuō)不夠清楚時(shí)，亮度糾正是特別有用的。
在涉及雷達(dá)和IR圖像的示例中，如圖5C所示，融合圖像中存在著很大的人為因素。人為因素來(lái)自融合圖像的亮度不一致，導(dǎo)致融合圖像上不連續(xù)的亮度。在這個(gè)例子中，從雷達(dá)圖像選擇的高對(duì)比度區(qū)(本例中的中央水平帶)一般比來(lái)自IR圖像的高對(duì)比度區(qū)暗。產(chǎn)生的處理或融合圖像的亮度分布在兩個(gè)輸入傳感器的亮度之間變化。例如，一般從雷達(dá)圖像選擇跨越圖像中央的暗帶，在該區(qū)中，暗帶具有比IR圖像更高的對(duì)比度，但是具有較低的亮度。這降低了融合圖像的總體清晰度。
可以調(diào)節(jié)融合圖像內(nèi)的亮度分布，以產(chǎn)生更清楚的融合圖像。亮度調(diào)節(jié)是通過(guò)確定參考傳感器產(chǎn)生的圖像區(qū)中的平均亮度值，并根據(jù)對(duì)應(yīng)的確定值調(diào)節(jié)融合圖像的區(qū)的強(qiáng)度而進(jìn)行的。在圖5A和5B的示例圖像中，亮度調(diào)節(jié)技術(shù)是基于在傳感器圖像的垂直截面(例如，從地平線到近景線的天空)中變化的亮度，但是在任何水平截面中是不可預(yù)測(cè)的(例如，以任何特定仰角跨越圖像)。
參考傳感器亮度糾正可以通過(guò)選擇一個(gè)傳感器作為參考傳感器并調(diào)節(jié)融合圖像的亮度以匹配或接近參考傳感器的亮度分布而進(jìn)行。參考傳感器可以是任意選擇的，或根據(jù)在特定情況下的傳感器的預(yù)期應(yīng)用選擇的。例如，雷達(dá)傳感器在低能見(jiàn)度條件下通常能夠提供比IR傳感器更多的圖像細(xì)節(jié)。但是，IR傳感器至少在較近的范圍內(nèi)能夠提供更自然或照片一樣的圖像。
為了便于說(shuō)明，本說(shuō)明書將IR傳感器I(x，y)作為亮度分布的參考傳感器，以便從該傳感器捕獲圖像的自然特性。
確定平均亮度調(diào)節(jié)亮度涉及確定特定圖像區(qū)中參考傳感器的平均亮度，例如，特定圖像區(qū)是沿每個(gè)圖像平行于場(chǎng)景地平線的截面的條帶。場(chǎng)景地平線是指“實(shí)際的”真實(shí)世界地平線。在飛行器翻滾、傾斜轉(zhuǎn)彎、或其它運(yùn)動(dòng)過(guò)程中，場(chǎng)景地平線可以處于一個(gè)相對(duì)于圖像水平的角度。
確定每個(gè)參考傳感器圖像的每個(gè)這種條帶的平均亮度。然后，把獲得的亮度值加到融合圖像的每個(gè)對(duì)應(yīng)條帶上，以調(diào)節(jié)融合圖像的亮度。此外，如果必要，可以給亮度加權(quán)，以獲得特定的亮度調(diào)節(jié)效果?？梢允褂脵?quán)數(shù)λ來(lái)減小亮度補(bǔ)償?shù)男Ч?，盡管已經(jīng)確定了λ＝1在大多數(shù)情況下能夠提供足夠清楚的調(diào)節(jié)融合圖像。
因此，融合圖像中調(diào)節(jié)亮度的方法可以表示如下FLC(x,y)=F(x,y)=λwΣx=0x=wI(x,y)]]>其中，F(xiàn)(x，y)是融合圖像的亮度值；λ是不同程度的亮度調(diào)節(jié)的加權(quán)因數(shù)；w是從x＝0至x＝w的圖像的寬度；以及FLC(x，y)是亮度補(bǔ)償?shù)娜诤蠄D像。
熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，可以沿除了水平截面之外的不同截面，以及用除了跨越圖像條帶之外的不同片段，對(duì)參考傳感器圖像進(jìn)行采樣。截面和采樣片段可以根據(jù)各種不同因素進(jìn)行選擇，包括傳感器類型、傳感器圖像、圖像的方位、以及使用的系統(tǒng)或方法。但是，為了便于說(shuō)明，本說(shuō)明書對(duì)參考傳感器圖像中條帶截面的采樣以及處理圖像中對(duì)應(yīng)條帶的糾正進(jìn)行說(shuō)明。
圖11中示出了應(yīng)用亮度調(diào)節(jié)的一個(gè)示例。亮度糾正之前融合圖像1100中描繪的跑道場(chǎng)景包括使處理或融合圖像失真的許多人為因素。結(jié)果，跑道場(chǎng)景有些不太清楚，特別是在圖像的中間部分。圖像1110代表了亮度糾正并且選擇IR傳感器作為參考傳感器之后的相同圖像1100。
通過(guò)比較圖1100(亮度糾正之前)和1110(亮度糾正之后)可以看到，亮度補(bǔ)償?shù)膱D像顯示出海拔高度上較小的突然亮度變化，否則這種情況將產(chǎn)生噪聲圖像。結(jié)果是產(chǎn)生更清楚的處理或融合圖像。
可以通過(guò)糾正融合圖像的不同條帶或區(qū)來(lái)執(zhí)行融合圖像的亮度糾正。例如，為參考傳感器圖像中的一個(gè)圖像線或條帶確定參考傳感器的平均亮度。利用諸如前面所述的亮度調(diào)節(jié)方法，處理從參考傳感器圖像確定的平均亮度值，將它加到對(duì)應(yīng)融合圖像線或條帶中的每個(gè)像素中。
在一個(gè)可選實(shí)施例中，通過(guò)使用來(lái)自參考傳感器圖像中一條線的平均或確定的亮度值，并把它作為對(duì)處理或融合圖像中的線的糾正進(jìn)行應(yīng)用，就可以提高處理效率，該線鄰近融合圖像中與參考傳感器圖像中確定的線相對(duì)應(yīng)的線(例如，緊靠對(duì)應(yīng)確定的線之上或之下的那條線)。由于連續(xù)的圖像線之間的平均值一般不會(huì)發(fā)生實(shí)質(zhì)變化，所以將亮度值應(yīng)用到隨后的線一般是可以接受的。也可以使用這種技術(shù)調(diào)節(jié)緊靠主題線之上或之下的線，或調(diào)節(jié)根據(jù)亮度變化與參考線相分離的數(shù)條線。
亮度糾正也適用于場(chǎng)景地平線不平行于圖像水平線的情況，例如，當(dāng)飛行器翻滾或向一側(cè)轉(zhuǎn)彎時(shí)。在這種情況下，一般可以從飛行器的方位傳感器知道場(chǎng)景地平線角度和海拔高度?？梢詮膮⒖紓鞲衅饔?jì)算亮度糾正，并存儲(chǔ)為一個(gè)二維查詢表。在逐個(gè)像素的基礎(chǔ)上，將從查詢表得到的糾正值應(yīng)用到融合圖像。為了盡量減少等待時(shí)間和處理時(shí)間，如果對(duì)于全圖查詢表而言存在足夠的存儲(chǔ)器存儲(chǔ)資源，那么可以根據(jù)在前一幀計(jì)算的值，將表值應(yīng)用到當(dāng)前幀。根據(jù)每個(gè)傳感器產(chǎn)生的圖像的細(xì)節(jié)，這些需求可以近似等于圖像幀的大小或其它大小，例如，對(duì)于一個(gè)每像素8位的傳感器，圖像幀的大小是320×240字節(jié)。
傳感器圖像的空間預(yù)濾波也可以對(duì)傳感器圖像的區(qū)或部分進(jìn)行濾波，以簡(jiǎn)化比較對(duì)比值的處理和選擇標(biāo)準(zhǔn)的應(yīng)用。可以將濾波的區(qū)表示為一個(gè)小于1的數(shù)，以減少它們對(duì)融合圖像的作用，或是表示為零，以完全排除它們對(duì)融合圖像的作用，從而簡(jiǎn)化和減少處理時(shí)間。
可以濾波的圖像區(qū)包括處于融合圖像之外的圖像部分，例如，在使用雷達(dá)傳感器的情況下，雷達(dá)地平線以上的區(qū)。如果使用雷達(dá)傳感器，那么雷達(dá)地平線以上一般沒(méi)有有用的信息(即超出了雷達(dá)傳感器的檢測(cè)限度)，并且在近場(chǎng)(至少在較高的海拔高度)幾乎沒(méi)有信息。IR傳感器一般在較短的范圍(近場(chǎng))最有效，特別是在由于傳感器不能穿透雨或霧之類的障礙而不能檢測(cè)遠(yuǎn)場(chǎng)的氣候條件下。因此，利用雷達(dá)或IR傳感器，可以通過(guò)預(yù)先濾波去掉雷達(dá)地平線以上和近場(chǎng)中的雷達(dá)圖像區(qū)，還可以通過(guò)預(yù)先濾波去掉遠(yuǎn)場(chǎng)中的IR圖像區(qū)。根據(jù)傳感器、產(chǎn)生的結(jié)果圖像、以及使用者或系統(tǒng)的需要，可以通過(guò)濾波去掉其它場(chǎng)和區(qū)。
圖12A-B示出了一般的空間濾波器。圖12A示出了用于雷達(dá)傳感器產(chǎn)生的圖像的濾波器。更具體地講，濾波器除去雷達(dá)傳感器最無(wú)效的信息，即，雷達(dá)地平線1200以上或近場(chǎng)1204位置的信息，而允許剩余雷達(dá)傳感器信息1202通過(guò)，并且包括在對(duì)比映象中。濾掉的數(shù)據(jù)表示為暗區(qū)1200、1204。同樣地，在圖12B中，濾波器除去IR傳感器最無(wú)效的信息，即，遠(yuǎn)場(chǎng)1212的信息，而允許剩余信息1210和1214通過(guò)，并包括在對(duì)比映象中。盡管圖12A-B專門示出了互補(bǔ)的濾波器，但是熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，并不總是存在不同傳感器/圖像組合的情況。不同傳感器可能需要不同的濾波函數(shù)。
一種濾波圖像區(qū)的技術(shù)是通過(guò)選擇依賴于空間的α和β加權(quán)函數(shù)而實(shí)現(xiàn)的。繼續(xù)參見(jiàn)雷達(dá)和IR圖像的示例，可以選擇加權(quán)函數(shù)以加重強(qiáng)調(diào)雷達(dá)圖像在雷達(dá)信號(hào)最強(qiáng)的區(qū)域中的作用，以及加重強(qiáng)調(diào)其它地點(diǎn)的IR信號(hào)。
加權(quán)函數(shù)可以通過(guò)空間濾波或其它不會(huì)引入不必要的人為因素的光滑函數(shù)來(lái)實(shí)現(xiàn)，例如，如下的一維高斯加權(quán)函數(shù)α(x,y)=αMe-bm(y-y0)2+pM]]>β(x,y)=α1(1-e1b1(y-y0)2)+p1]]>其中αm和α1確定高斯函數(shù)的最大幅度(通常是1，但是也可以用其它值來(lái)加重強(qiáng)調(diào)一個(gè)傳感器，或補(bǔ)償消隱電平值，PM和P1)；bM和b1確定高斯函數(shù)寬度，即，傳感器效益區(qū)或傳感器信息群集區(qū)；以及y0在需要時(shí)將高斯函數(shù)的中心在圖像中垂直向上和向下轉(zhuǎn)移。
圖13A-B示出了這種加權(quán)函數(shù)的更詳細(xì)的示例。圖13A-B示出了與雷達(dá)和IR傳感器相對(duì)應(yīng)的示例濾波器透明度分布的曲線圖1300、1310。在曲線圖1300、1310中，水平或“x”軸代表沿對(duì)應(yīng)圖像的線或截面。垂直或“y”軸代表濾波器透明度或透射能力。
參考圖13A，濾波曲線1300將濾波加權(quán)顯示為對(duì)應(yīng)于圖13C中垂直位置的函數(shù)。曲線示出了透射值，百分比，或比率0.0(沒(méi)有數(shù)據(jù)發(fā)送)，0.2，0.4...1.0(所有數(shù)據(jù)發(fā)送)。因此，設(shè)計(jì)這個(gè)示例濾波器以減小雷達(dá)圖像的最無(wú)效部分的重要性，即，雷達(dá)地平線1320以上和近場(chǎng)1324部分。結(jié)果，具有高透射率(即，1.0)的濾波器被應(yīng)用到雷達(dá)圖像的最有效部分，即，遠(yuǎn)場(chǎng)或圖像的中間部分1322。
更具體地講，配置具有全對(duì)比周期的雷達(dá)濾波器的例子在圖像的中央，具有100％的最大透明度，而在圖像的上和下邊緣的透明度是0％。構(gòu)造具有50像素標(biāo)準(zhǔn)偏差的示例濾波器1300。根據(jù)使用的傳感器和希望得到的濾波效果，可以使用不同的濾波器配置和函數(shù)。
圖13B示出了作為與圖13D中垂直位置的函數(shù)相對(duì)應(yīng)的濾波加權(quán)。設(shè)計(jì)這個(gè)濾波器1310，以減小IR濾波器的最無(wú)效部分，即，減小中央圖像或遠(yuǎn)場(chǎng)帶1332的重要性，并且強(qiáng)調(diào)較強(qiáng)區(qū)1330、1334的重要性。示例IR濾波器具有75％的最大對(duì)比度它從圖像中央大約25％的透明度變化到上下邊緣的100％的透明度，并且具有與濾波函數(shù)1300相同的50像素標(biāo)準(zhǔn)偏差。
以這種方式加權(quán)傳感器圖像，實(shí)質(zhì)上是預(yù)選擇包含有用和相關(guān)信息的圖像區(qū)，因此，是包括在融合圖像中的侯選區(qū)。此外，通過(guò)對(duì)較少可用信息的區(qū)進(jìn)行濾波，可以減少處理時(shí)間。
繼續(xù)參照雷達(dá)和IR圖像的示例，圖14A-F中進(jìn)一步示出了圖像區(qū)的預(yù)選或?yàn)V波。
圖14A示出了雷達(dá)傳感器產(chǎn)生的原始雷達(dá)圖像1400。如在圖像1400中可以看到的，中間區(qū)1404或遠(yuǎn)場(chǎng)包含有與區(qū)1402(雷達(dá)地平線上方)和1406(近場(chǎng))相比最多的信息。圖14B示出了濾波器1410。濾波器包括一個(gè)對(duì)應(yīng)于雷達(dá)圖像區(qū)1404的高透射部分1414，以及對(duì)應(yīng)于雷達(dá)圖像區(qū)1402和1406的低透射部分1412和1416。因此，濾波器減小了雷達(dá)有效性最低的區(qū)1402、1406的重要性。圖14C示出了濾波后的雷達(dá)圖像1420，該圖像中強(qiáng)調(diào)了遠(yuǎn)場(chǎng)或中間區(qū)1404，以提供最有關(guān)的信息。
同樣地，圖14D示出了IR傳感器產(chǎn)生的原始IR圖像1430。從圖像1430可以看到，與區(qū)1434(遠(yuǎn)場(chǎng))相比，頂部和底部區(qū)1432(雷達(dá)地平線以上)及1436(近場(chǎng))包含著最多的信息。圖14E示出了濾波器1440。濾波器包括對(duì)應(yīng)于IR圖像的區(qū)1432和1436的高透射部分1442和1446，以及與IR圖像的區(qū)1434相對(duì)應(yīng)的低透射部分1444。因此，濾波器減小了IR最無(wú)效的區(qū)1434重要性。圖14F示出了濾波后的IR圖像1450，該圖像中強(qiáng)調(diào)了上述雷達(dá)地平線區(qū)1432和近場(chǎng)區(qū)1436，以提供最多的相關(guān)信息。
為了最佳濾波，根據(jù)專用系統(tǒng)的需要和設(shè)計(jì)，加權(quán)函數(shù)應(yīng)當(dāng)說(shuō)明狀態(tài)或操作參數(shù)。例如，如圖15A-E中所示，在飛行器中，濾波可以是導(dǎo)致場(chǎng)景地平線旋轉(zhuǎn)的飛行器翻滾或其它移動(dòng)或方位的函數(shù)。因此，加權(quán)函數(shù)的方位可以匹配濾波。此外，濾波可以是飛行器俯仰和海拔高度的函數(shù)，這二者都影響雷達(dá)的有效視野，并且通常會(huì)影響加權(quán)函數(shù)的標(biāo)準(zhǔn)偏差和垂直位置。
因此，例如，圖15A示出了一個(gè)原始雷達(dá)圖像1500。圖15B示出了正常條件，即沒(méi)有飛行器翻滾的加權(quán)或?yàn)V波函數(shù)1510。圖15C示出了濾波后的雷達(dá)圖像1520。結(jié)果，濾波器1510和濾波的雷達(dá)圖像1520都平行于場(chǎng)景地平線，并且沒(méi)有顯示出任何角度調(diào)節(jié)。
圖15D示出了反映飛行器大約翻滾5度的加權(quán)或?yàn)V波函數(shù)1530。更具體地講，濾波器的透射部分旋轉(zhuǎn)了大約5度。圖16E示出了反映濾波函數(shù)被旋轉(zhuǎn)大約5度，以引起飛行器翻滾大約5度的濾波后雷達(dá)圖像1540。
預(yù)濾波、基于對(duì)比的圖像融合、和亮度糾正的組合根據(jù)傳感器及傳感器和融合圖像的合成質(zhì)量，可以將空間預(yù)濾波和/或亮度糾正應(yīng)用到圖像中，作為圖像融合處理的一部分。
如果僅執(zhí)行基于對(duì)比的圖像融合和亮度糾正，那么它們通常是以所述的順序完成。如果執(zhí)行三種處理，那么一般首先執(zhí)行空間預(yù)濾波，然后是基于對(duì)比的傳感器融合，最后是亮度糾正。這種順序一般會(huì)帶來(lái)更有效的融合圖像，同時(shí)減少了處理時(shí)間。亮度糾正在正常情況下應(yīng)當(dāng)在預(yù)濾波和基于對(duì)比的融合二者之后，以取得最接近所希望的亮度分布，并防止由于后續(xù)處理的結(jié)果而造成的圖像亮度分布變化。通過(guò)以這種方式使用這些技術(shù)，通過(guò)使流水線延遲和數(shù)據(jù)等待時(shí)間減到最少，提高了系統(tǒng)性能。這些提高在圖像處理時(shí)間緊張的情況下是特別有用的，例如，空運(yùn)、循環(huán)中引導(dǎo)應(yīng)用、或其它使用實(shí)時(shí)圖像處理的應(yīng)用。
盡管在上述說(shuō)明中參考了優(yōu)選實(shí)施例，但是熟悉設(shè)計(jì)圖像處理系統(tǒng)的技術(shù)人員應(yīng)當(dāng)知道，可以對(duì)上述優(yōu)選實(shí)施例進(jìn)行非實(shí)質(zhì)性的修改、變更、和替換，而不脫離從屬權(quán)利要求中說(shuō)明的發(fā)明。
因此，盡管在優(yōu)選實(shí)施例的說(shuō)明中是處理來(lái)自與飛行器結(jié)合的雷達(dá)和IR傳感器的兩個(gè)圖像，但是，熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，可以使用來(lái)自其它類型、組合、數(shù)量的傳感器的圖像。例如，系統(tǒng)可以由三個(gè)、四個(gè)、五個(gè)、或其它數(shù)量的傳感器實(shí)現(xiàn)，而不是由兩個(gè)傳感器實(shí)現(xiàn)。此外，取代雷達(dá)和IR傳感器，系統(tǒng)可以處理多種圖像，它們來(lái)自于不同波長(zhǎng)的相同類型的傳感器，紫外線(UV)傳感器，基于有源或無(wú)源射頻(RF)系統(tǒng)的傳感器；超聲波傳感器，例如低照度可見(jiàn)頻帶傳感器之類的可見(jiàn)頻帶傳感器，電荷耦合器件(CCD)，或彩色或灰度照相機(jī)。此外，熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，除了處理飛行器圖像之外，本圖像融合系統(tǒng)和方法也可以在其它應(yīng)用中使用。例如，該系統(tǒng)和方法可以通過(guò)結(jié)合其它運(yùn)動(dòng)的交通工具、醫(yī)學(xué)過(guò)程、監(jiān)視、和涉及多個(gè)圖像或傳感器的其它監(jiān)視和圖像處理應(yīng)用而進(jìn)行使用。此外，熟悉本領(lǐng)域的人員應(yīng)當(dāng)知道，融合或處理圖像可以根據(jù)各種不同選擇標(biāo)準(zhǔn)或處理過(guò)程形成，較大或最大對(duì)比值只是示例標(biāo)準(zhǔn)。
權(quán)利要求
1.一種使用多個(gè)圖像形成處理圖像的方法，每個(gè)圖像均由對(duì)應(yīng)的傳感器產(chǎn)生，該方法包括將每個(gè)圖像劃分成多個(gè)圖像區(qū)；產(chǎn)生每個(gè)圖像的對(duì)比映象，每個(gè)對(duì)比映象均包括每個(gè)圖像區(qū)的對(duì)比值；將選擇處理過(guò)程應(yīng)用到所述對(duì)比值，以選擇在所述處理圖像中使用的圖像區(qū)；以及利用選定的圖像區(qū)形成所述處理圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中將圖像劃分成多個(gè)圖像區(qū)的方法進(jìn)一步包括在逐個(gè)像素的基礎(chǔ)上，將每個(gè)圖像劃分成像素塊，或劃分成任意形狀的區(qū)。
3.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生對(duì)比映象的方法進(jìn)一步包括執(zhí)行卷積運(yùn)算以確定對(duì)比映象的對(duì)比值。
4.根據(jù)權(quán)利要求3所述的方法，其中執(zhí)行卷積運(yùn)算進(jìn)一步包括利用核Kc執(zhí)行卷積運(yùn)算，其中[{Kc*S1(x，y)，Kc*S2(x，y)}]代表卷積；Kc=-122-12-122-1221+22-12-122-12-122≅-0.354-0.500-0.354-0.5003.414-5.00-0.354-0.500-0.354]]>S1代表第一圖像的圖像區(qū)；S2代表第二圖像的圖像區(qū)；以及(x，y)代表圖像的空間坐標(biāo)。
5.根據(jù)權(quán)利要求1所述的方法，其中每個(gè)傳感器檢測(cè)一種不同的波長(zhǎng)。
6.根據(jù)權(quán)利要求1所述的方法，其中多個(gè)傳感器包括紅外線(IR)傳感器和雷達(dá)傳感器。
7.根據(jù)權(quán)利要求1所述的方法，其中多個(gè)傳感器包括紅外線(IR)傳感器和一個(gè)紫外線(UV)傳感器。
8.根據(jù)權(quán)利要求1所述的方法，其中多個(gè)傳感器包括雷達(dá)傳感器和紫外線(UV)傳感器。
9.根據(jù)權(quán)利要求1所述的方法，其中通過(guò)兩個(gè)或更多紅外線(IR)傳感器產(chǎn)生多個(gè)圖像，每個(gè)IR傳感器檢測(cè)一種不同的波長(zhǎng)。
10.根據(jù)權(quán)利要求1所述的方法，其中應(yīng)用選擇處理過(guò)程包括比較分別來(lái)自于兩個(gè)圖像的兩個(gè)對(duì)應(yīng)圖像區(qū)的競(jìng)爭(zhēng)對(duì)比值。
11.根據(jù)權(quán)利要求10所述的方法，其中執(zhí)行所述選擇處理過(guò)程，以選擇較大的競(jìng)爭(zhēng)對(duì)比值。
12.根據(jù)權(quán)利要求10所述的方法，其中比較競(jìng)爭(zhēng)對(duì)比值進(jìn)一步包括比較重疊圖像區(qū)的對(duì)應(yīng)對(duì)比值。
13.根據(jù)權(quán)利要求1所述的方法，其中將第一、第二和第三傳感器的對(duì)比映象的對(duì)比值一同比較，以形成所述處理圖像。
14.根據(jù)權(quán)利要求13所述的方法，進(jìn)一步包括從第一和第二傳感器圖像中識(shí)別對(duì)比值，以形成一中間對(duì)比映象；將選擇處理過(guò)程應(yīng)用于中間對(duì)比映象的對(duì)比值和第三傳感器圖像的對(duì)比映象的對(duì)比值；以及利用選擇的圖像區(qū)形成所述處理圖像。
15.根據(jù)權(quán)利要求14所述的方法，其中第一和第二傳感器是紅外線(IR)傳感器，并且第三傳感器是雷達(dá)傳感器。
16.根據(jù)權(quán)利要求1所述的方法，其中傳感器圖像顯示來(lái)自于運(yùn)動(dòng)交通工具的視圖。
17.根據(jù)權(quán)利要求16所述的方法，其中運(yùn)動(dòng)交通工具是飛行器、船只、汽車、或火車。
18.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括調(diào)節(jié)所述處理圖像的一個(gè)或更多區(qū)的強(qiáng)度。
19.根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括給強(qiáng)度調(diào)節(jié)的程度加權(quán)。
20.根據(jù)權(quán)利要求18所述的方法，其中調(diào)節(jié)強(qiáng)度進(jìn)一步包括調(diào)節(jié)跨越所述處理圖像的亮度。
21.根據(jù)權(quán)利要求18所述的方法，其中調(diào)節(jié)跨越所述被處理圖像的強(qiáng)度進(jìn)一步包括選擇一個(gè)傳感器作為參考傳感器；確定參考傳感器圖像的每個(gè)區(qū)的平均強(qiáng)度；以及通過(guò)組合所確定的平均亮度值和所述被處理圖像的強(qiáng)度值，調(diào)節(jié)所述被處理圖像中一個(gè)或更多區(qū)的強(qiáng)度。
22.根據(jù)權(quán)利要求21所述的方法，其中傳感器包括雷達(dá)傳感器和紅外線(IR)傳感器，并且其中參考傳感器由雷達(dá)傳感器組成。
23.根據(jù)權(quán)利要求21所述的方法，其中傳感器包括雷達(dá)傳感器和紅外線(IR)傳感器，并且其中參考傳感器由紅外線(IR)傳感器組成。
24.根據(jù)權(quán)利要求21所述的方法，其中調(diào)節(jié)所述處理圖像中一個(gè)或更多區(qū)的強(qiáng)度進(jìn)一步包括，調(diào)節(jié)所述處理圖像中一條線的強(qiáng)度，該線與確定了平均強(qiáng)度的參考傳感器圖像中的一條線相對(duì)應(yīng)。
25.根據(jù)權(quán)利要求24所述的方法，其中調(diào)節(jié)所述處理圖像中一個(gè)或更多區(qū)的強(qiáng)度進(jìn)一步包括，調(diào)節(jié)所述處理圖像中的一條線的強(qiáng)度，這條線與所述處理圖像中的一條線相鄰接，該處理圖像中的線對(duì)應(yīng)于確定了平均強(qiáng)度的參考傳感器圖像中的同一條線。
26.根據(jù)權(quán)利要求21所述的方法，其中場(chǎng)景地平線相對(duì)于圖像地平線被重新定位成一定角度，進(jìn)一步包括在逐個(gè)像素的基礎(chǔ)上，確定參考傳感器圖像的平均強(qiáng)度；以及在逐個(gè)像素的基礎(chǔ)上，調(diào)節(jié)所述被處理圖像的強(qiáng)度。
27.根據(jù)權(quán)利要求26所述的方法，其中由于翻滾、傾斜轉(zhuǎn)彎、偏航、或俯仰，而重新定位場(chǎng)景地平線。
28.根據(jù)權(quán)利要求1所述的方法，在產(chǎn)生每個(gè)圖像的對(duì)比映象之前，進(jìn)一步包括對(duì)一個(gè)或更多圖像的區(qū)進(jìn)行濾波。
29.根據(jù)權(quán)利要求28所述的方法，其中濾波進(jìn)一步包括通過(guò)給選定的圖像區(qū)加權(quán)，對(duì)每個(gè)圖像的區(qū)進(jìn)行空間濾波。
30.根據(jù)權(quán)利要求29所述的方法，其中傳感器包括雷達(dá)傳感器，并且其中空間濾波是通過(guò)對(duì)雷達(dá)地平線以上的圖像區(qū)進(jìn)行濾波而進(jìn)行的。
31.一種組合多個(gè)圖像以形成一個(gè)最終圖像的系統(tǒng)，包括多個(gè)分別產(chǎn)生圖像的傳感器；一個(gè)處理器被配置，將每個(gè)圖像劃分成多個(gè)圖像區(qū)；產(chǎn)生每個(gè)圖像的對(duì)比映象，并且每個(gè)對(duì)比映象包括每個(gè)圖像區(qū)的對(duì)比值；將選擇標(biāo)準(zhǔn)應(yīng)用于所述對(duì)比值以選擇一個(gè)在所述被處理圖像中使用的圖像區(qū)，以及利用選擇的圖像區(qū)形成所述被處理圖像。
32.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中處理器被配置，以將每個(gè)圖像劃分成獨(dú)立的像素，像素塊，或任意形狀的區(qū)。
33.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中處理器被配置，以通過(guò)執(zhí)行卷積運(yùn)算確定對(duì)比映象的對(duì)比值而產(chǎn)生對(duì)比映象。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中處理器被配置，以利用核Kc執(zhí)行卷積運(yùn)算，其中[{Kc*S1(x，y)，Kc*S2(x，y)}]代表卷積；Kc=-122-12-122-1221+22-12-122-12-122≅-0.354-0.500-0.354-0.5003.414-5.00-0.354-0.500-0.354]]>S1代表第一圖像的圖像區(qū)；S2代表第二圖像的圖像區(qū)；以及(x，y)代表圖像的空間坐標(biāo)。
35.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中每個(gè)傳感器檢測(cè)一種不同的波長(zhǎng)。
36.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中多個(gè)傳感器包括紅外線(IR)傳感器和雷達(dá)傳感器。
37.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中多個(gè)傳感器包括紅外線(IR)傳感器和紫外線(UV)傳感器。
38.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中多個(gè)傳感器包括雷達(dá)傳感器和紫外線(UV)傳感器。
39.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中多個(gè)傳感器包括兩個(gè)或更多的紅外線(IR)傳感器，每個(gè)IR傳感器檢測(cè)一種不同的波長(zhǎng)。
40.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以比較分別來(lái)自兩個(gè)圖像的兩個(gè)對(duì)應(yīng)圖像區(qū)的競(jìng)爭(zhēng)對(duì)比值。
41.根據(jù)權(quán)利要求40所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以選擇較大的一個(gè)競(jìng)爭(zhēng)對(duì)比值。
42.根據(jù)權(quán)利要求40所述的系統(tǒng)，其中該處理器被配置，以比較重疊圖像區(qū)的對(duì)應(yīng)對(duì)比值。
43.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中將第一、第二和第三傳感器的對(duì)比映象的對(duì)比值一同比較以形成最終圖像。
44.根據(jù)權(quán)利要求43所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以從第一和第二傳感器圖像識(shí)別對(duì)比值，以形成一中間對(duì)比映象，將選擇處理過(guò)程應(yīng)用于中間對(duì)比映象的對(duì)比值和第三傳感器圖像的對(duì)比映象的對(duì)比值，以及利用選擇的圖像區(qū)形成所述處理圖像。
45.根據(jù)權(quán)利要求44所述的系統(tǒng)，其中第一和第二傳感器是紅外線(IR)傳感器，并且第三傳感器是雷達(dá)傳感器。
46.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中一個(gè)傳感器圖像顯示來(lái)自一個(gè)運(yùn)動(dòng)交通工具的視圖。
47.根據(jù)權(quán)利要求46所述的系統(tǒng)，其中運(yùn)動(dòng)交通工具包括飛行器、船只、汽車、或火車。
48.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以調(diào)節(jié)所述處理圖像的一個(gè)或更多區(qū)的強(qiáng)度。
49.根據(jù)權(quán)利要求48所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以調(diào)節(jié)跨越所述處理圖像的強(qiáng)度。
50.根據(jù)權(quán)利要求49所述的系統(tǒng)，其中該處理器被配置，以給強(qiáng)度調(diào)節(jié)的程度加權(quán)。
51.根據(jù)權(quán)利要求49所述的系統(tǒng)，其中該處理器被進(jìn)一步配置，以選擇一個(gè)傳感器作為參考傳感器，確定參考傳感器圖像的每個(gè)區(qū)的平均強(qiáng)度，以及通過(guò)組合所確定的平均亮度值和所述處理圖像的強(qiáng)度值，調(diào)節(jié)所述處理圖像中一個(gè)或更多區(qū)的強(qiáng)度。
52.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中傳感器包括雷達(dá)傳感器和紅外線(IR)傳感器，并且其中參考傳感器由雷達(dá)傳感器組成。
53.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中傳感器包括雷達(dá)傳感器和紅外線(IR)傳感器，并且其中參考傳感器由紅外線(IR)傳感器組成。
54.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中該處理器被配置，調(diào)節(jié)所述處理圖像中一條線的強(qiáng)度，該線與確定了平均強(qiáng)度的參考傳感器圖像中的一條線相對(duì)應(yīng)。
55.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中該處理器被配置，調(diào)節(jié)所述處理圖像中的一條線的強(qiáng)度，這條線與所述處理圖像中的一條線相鄰接，該處理圖像中的線對(duì)應(yīng)于確定了平均強(qiáng)度的參考傳感器圖像中的同一條線。
56.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中場(chǎng)景地平線相對(duì)于圖像地平線被重新定位在一定角度，該處理器被進(jìn)一步配置，以在逐個(gè)像素的基礎(chǔ)上確定參考傳感器圖像的平均強(qiáng)度，以及在逐個(gè)像素的基礎(chǔ)上調(diào)節(jié)所述處理圖像的強(qiáng)度。
57.根據(jù)權(quán)利要求56所述的系統(tǒng)，其中由于翻滾、傾斜轉(zhuǎn)彎、俯仰、或偏航運(yùn)動(dòng)，相對(duì)于圖像地平線重新定位場(chǎng)景地平線。
58.根據(jù)權(quán)利要求31所述的系統(tǒng)，其中該處理器被配置，對(duì)一個(gè)或更多圖像區(qū)進(jìn)行濾波。
59.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中該處理器被配置，通過(guò)給選定的圖像區(qū)加權(quán)而對(duì)一個(gè)或更多圖像區(qū)進(jìn)行濾波。
60.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中傳感器包括雷達(dá)傳感器，并且其中該處理器被進(jìn)一步配置，以對(duì)雷達(dá)地平線以上的圖像區(qū)進(jìn)行空間濾波。
全文摘要
一種基于對(duì)比的圖像融合系統(tǒng)和方法，對(duì)多個(gè)圖像進(jìn)行處理，以便形成包括從一個(gè)或更多圖像中選擇的區(qū)的處理或融合圖像。將圖像分成圖像區(qū)。如果必要，則對(duì)圖像中的一部分進(jìn)行濾波。通過(guò)卷積核為每個(gè)圖像生成對(duì)比映象，并使得對(duì)比映象中的每個(gè)圖像區(qū)都具有對(duì)比值。比較對(duì)比值，并且根據(jù)諸如選出較大或最大對(duì)比值的選擇標(biāo)準(zhǔn)或過(guò)程，選擇圖像區(qū)。用所選出的圖像區(qū)形成融合圖像。如果必要，調(diào)整融合圖像中一個(gè)或更多部分的亮度。選取一個(gè)傳感器作為參考傳感器，并確定參考傳感器圖像中每個(gè)區(qū)的平均亮度。通過(guò)將確定的平均亮度值和最終圖像的強(qiáng)度值進(jìn)行組合，調(diào)整最終圖像中一個(gè)或更多區(qū)的亮度。
文檔編號(hào)G06T5/00GK1695155SQ03824650
公開(kāi)日2005年11月9日 申請(qǐng)日期2003年8月27日 優(yōu)先權(quán)日2002年8月28日
發(fā)明者卡洛·蒂那 申請(qǐng)人:Bae系統(tǒng)航空控制公司