專利名稱：利用大氣和太陽照射建模來融合圖像對的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，更具體地，涉及用于基于對大氣和太陽照射的建模來融合圖像對的系統(tǒng)和方法。
背景技術(shù)：
在圖像遙感領(lǐng)域中，兩種常見類型的圖像包括全色影像和多光譜影像(MSI Multi-Spectral Imagery)。全色影像由遙感裝置獲得，該遙感裝置具有被設(shè)計(jì)為在一個非常寬的頻帶上檢測電磁能量的傳感器。典型地，該寬的頻帶包括可見光和近紅外光的大部分波長。全色影像具有提供很高的空間分辨率的優(yōu)點(diǎn)。與之相對，多光譜影像典型地是從可見光區(qū)和近紅外區(qū)內(nèi)的幾個窄光譜頻帶創(chuàng)建的。因此，多光譜圖像通常包含兩個或者更多圖像數(shù)據(jù)集，每個圖像數(shù)據(jù)集由響應(yīng)于光譜的不同部分(例如，藍(lán)、綠、紅和紅外)的傳感器創(chuàng)建。由于多光譜圖像包含無法從類似的全色圖像獲得的光譜信息，因此多光譜圖像是具有優(yōu)點(diǎn)的。不過，相比于全色圖像，多光譜圖像典型地具有較低的空間分辨率。通常希望利用全色圖像的高分辨率來增強(qiáng)多光譜圖像，反之亦然。典型地，該處理被稱為圖像對的“融合”(fusing)。雖然存在幾種用于融合這種圖像對的方法，但是根據(jù)這些方法得到的融合圖像典型地導(dǎo)致對被成像位置的色譜的不精確表現(xiàn)。也就是說，常規(guī)的融合處理傾向于使圖像中的色彩失真。因此，這些方法典型地導(dǎo)致不適于某些類型的應(yīng)用的融合圖像。例如，在基于圖像的材料分類的情況下，通常需要比將基色多光譜頻帶(紅、 藍(lán)、綠)與全色頻帶進(jìn)行常規(guī)融合所提供的保真度更高的保真度。特別地，材料分類可能需要來自不與全色頻帶顯著重疊的光譜頻帶的附加信息。更糟糕的是，由于-色頻帶與一個或更多個多光譜頻帶(例如，藍(lán))之間的有限重疊，可見光多光譜頻帶的某些部分可能不能在最終圖像中被適當(dāng)?shù)乇憩F(xiàn)?？梢岳靡恍┗谛〔ǖ暮徒y(tǒng)計(jì)的方法，以包含此丟失的多光譜頻帶信息，但是這些方法一般傾向于引入偽影，對成像過程中的配準(zhǔn)、地理位置、和/ 或大氣條件的變化敏感，以及/或者需要大量計(jì)算以生成融合圖像。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施方式提供了用于對遠(yuǎn)程獲取的影像進(jìn)行處理的系統(tǒng)和方法。特別地，提供了用于基于對大氣和太陽照射的建模來融合圖像對的系統(tǒng)和方法。在本發(fā)明的第一實(shí)施例中，提供了一種用于對遠(yuǎn)程獲取的影像進(jìn)行處理的方法。該方法包括接收影像數(shù)據(jù)的步驟，該影像數(shù)據(jù)限定與第一光譜頻帶相關(guān)聯(lián)的第一圖像以及與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像，所述第一圖像具有第一空間分辨率，所述多個第二圖像中的每一個具有比所述第一空間分辨率低的第二空間分辨率。該方法還包括以下步驟獲得多個第一反射率函數(shù)，所述多個第一反射率函數(shù)指定所述多個第二圖像中的像素的反射率值；生成第二反射率函數(shù)，所述第二反射率函數(shù)基于所述多個第一反射率函數(shù)估計(jì)所述第一圖像中的像素的反射率值；以及獲得第三反射率函數(shù)，所述第三反射率函數(shù)基于所述第二反射率函數(shù)、所述第一圖像的影像數(shù)據(jù)和至少一個面朝向(facet orientation)約束來指定所述第一圖像中的像素的反射率值。該方法還包括修改所述多個第一反射率函數(shù)以生成多個第四反射率函數(shù)，所述多個第四反射率函數(shù)指定所述多個第二圖像中的像素的反射率值， 所述修改基于第二反射率函數(shù)和第三反射率函數(shù)之間的差；以及計(jì)算限定多個第三圖像的影像數(shù)據(jù)，所述多個第三圖像與所述多個第二光譜頻帶相關(guān)聯(lián)并且具有第一空間分辨率， 所述多個第三圖像基于所述多個第四反射率函數(shù)。在本發(fā)明的第二實(shí)施例中，提供了一種用于對遠(yuǎn)程獲取的影像進(jìn)行處理的系統(tǒng)。 該系統(tǒng)包括用于接收影像數(shù)據(jù)的存儲元件，所述影像數(shù)據(jù)限定與第一光譜頻帶相關(guān)聯(lián)的第一圖像以及與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像，所述第一圖像具有第一空間分辨率，所述第二圖像中的每一個具有比第一空間分辨率低的第二空間分辨率。該系統(tǒng)還包括以通信的方式耦合到存儲元件的處理元件。在該系統(tǒng)中，該處理元件被配置為用于獲得多個第一反射率函數(shù)，所述多個第一反射率函數(shù)指定所述多個第二圖像中的像素的反射率值；生成第二反射率函數(shù)，所述第二反射率函數(shù)基于所述多個第一反射率函數(shù)估計(jì)第一圖像中的像素的反射率值；以及獲得第三反射率函數(shù)，所述第三反射率函數(shù)基于所述第二反射率函數(shù)、所述第一圖像的影像數(shù)據(jù)和至少一個面朝向約束來指定該第一圖像中的像素的反射率值。該處理元件還被配置為修改所述多個第一反射率函數(shù)以生成多個第四反射率函數(shù)，所述多個第四反射率函數(shù)指定所述多個第二圖像中的像素的反射率值，該修改基于第二反射率函數(shù)和第三反射率函數(shù)之間的差；以及，計(jì)算限定多個第三圖像的影像數(shù)據(jù)，所述多個第三圖像與所述多個第二光譜頻帶相關(guān)聯(lián)并且具有第一空間分辨率，所述多個第三圖像基于所述多個第四反射率函數(shù)。在本發(fā)明的第三實(shí)施例中，提供一種計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)上存儲有用于對遠(yuǎn)程獲取的影像進(jìn)行處理的計(jì)算機(jī)程序。該計(jì)算機(jī)程序包括可由計(jì)算機(jī)執(zhí)行以使計(jì)算機(jī)執(zhí)行以下步驟的多個代碼段接收影像數(shù)據(jù)，該影像數(shù)據(jù)限定與第一光譜頻帶相關(guān)聯(lián)的第一圖像以及與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像，所述第一圖像具有第一空間分辨率，所述多個第二圖像中的每一個具有比所述第一空間分辨率低的第二空間分辨率；獲得多個第一反射率函數(shù)，所述多個第一反射率函數(shù)指定所述多個第二圖像中的像素的反射率值；生成第二反射率函數(shù)，所述第二反射率函數(shù)基于所述多個第一反射率函數(shù)估計(jì)所述第一圖像中的像素的反射率值；獲得第三反射率函數(shù)，所述第三反射率函數(shù)基于所述第二反射率函數(shù)、所述第一圖像的影像數(shù)據(jù)和至少一個面朝向約束來指定所述第一圖像中的像素的反射率值；修改所述多個第一反射率函數(shù)以生成多個第四反射率函數(shù)，所述多個第四反射率函數(shù)指定所述多個第二圖像中的像素的反射率值，所述修改基于第二反射率函數(shù)和第三反射率函數(shù)之間的差；以及計(jì)算限定多個第三圖像的影像數(shù)據(jù)，所述多個第三圖像與所述多個第二光譜頻帶相關(guān)聯(lián)并且具有第一空間分辨率，所述多個第三圖像基于所述多個第四反射率函數(shù)。


圖1是根據(jù)本發(fā)明實(shí)施例的在其內(nèi)部運(yùn)行一組指令的計(jì)算機(jī)系統(tǒng)的示意圖。圖2是用于對遠(yuǎn)程獲取的影像進(jìn)行處理以提供融合圖像的改善的色譜的示例性方法中的步驟的流程圖。圖3是示出由遙感器收集的輻射的各個分量的概念圖解。
圖4是示出用來創(chuàng)建全色圖像和多光譜圖像的傳感器的光譜響應(yīng)的示例的繪圖。圖5是示出如何在多光譜圖像的縮減處理中將光譜權(quán)重用于降低該多光譜圖像的光譜分辨率的概念圖解。圖6是根據(jù)本發(fā)明實(shí)施例的用于對遠(yuǎn)程獲取的影像進(jìn)行處理以提供融合圖像的改善的色譜的示例性方法中的步驟的流程圖。圖7是根據(jù)本發(fā)明實(shí)施例的用于對遠(yuǎn)程獲取的影像進(jìn)行處理以提供融合圖像的改善的色譜的示例性方法中的步驟的流程圖。圖8是根據(jù)本發(fā)明實(shí)施例的用于對遠(yuǎn)程獲取的影像進(jìn)行處理以提供融合圖像的改善的色譜的示例性方法中的步驟的流程圖。
具體實(shí)施例方式本發(fā)明實(shí)施例提供了用于對遠(yuǎn)程獲取的影像進(jìn)行處理的系統(tǒng)和方法。特別地，本發(fā)明的各個實(shí)施例提供了用于基于遠(yuǎn)程獲取的圖像對來改善融合圖像中的色譜的系統(tǒng)和方法。作為所獲得的多光譜(MSI)圖像的光譜和所獲得的全色圖像的光譜之間的重疊量的變化的結(jié)果，現(xiàn)有的融合方法通常導(dǎo)致帶有色彩失真的融合圖像。此外，補(bǔ)償這種光譜重疊的變化的方法通常計(jì)算量很大，對圖像獲取的變化過于敏感，或者典型地產(chǎn)生不希望的偽影。存在若干種方法，這些方法變換MSI圖像以試圖將色彩與亮度分離，上采樣至相關(guān)聯(lián)的全色圖像的分辨率，基于該全色圖像調(diào)制亮度，然后進(jìn)行逆變換以提供融合的產(chǎn)物。這些方法的色彩失真是選擇對于遙感影像不現(xiàn)實(shí)的色彩變換和亮度調(diào)制的結(jié)果。為了克服這些限制，本發(fā)明實(shí)施例提供了用于基于反射率信息來融合遠(yuǎn)程影像數(shù)據(jù)的系統(tǒng)和方法，所述反射率信息是從典型地與影像數(shù)據(jù)相關(guān)聯(lián)的輻射值提取的。特別地， 本發(fā)明的各個實(shí)施例提供了新的影像融合技術(shù)，在該技術(shù)中，假設(shè)被成像的表面的反射率相對于位置比相對于表面朝向變化得相對更慢。也就是說，亮度的迅速改變被歸因于由面朝向引起的照射的變化。因此，可以基于常規(guī)圖像獲取期間被通常記錄的元數(shù)據(jù)，對被成像的位置的大氣和太陽照射進(jìn)行建模。然后，該模型可以被用來從大氣方面將MSI輻射校正至被成像表面的反射率。在本發(fā)明的各個實(shí)施例中，模型中的輻射的亮度根據(jù)表面上的面(facet)如何朝向太陽而被調(diào)制。例如，太陽更加明亮地照射到法線直接指向太陽的面。因此，表面上的處于其它物體(諸如建筑物)的陰影中的面被假設(shè)為主要由模型中的藍(lán)天照射。因此，為了從大氣方面校正MSI圖像，為每個像素選擇有效的面朝向以對所有MSI圖像提供經(jīng)平滑的反射率。然后，通過選擇全色圖像的每個像素的面朝向來調(diào)制這些經(jīng)平滑的反射率，以獲得全色圖像的全分辨率的對于MSI圖像的輻射。該方法的一個優(yōu)點(diǎn)在于其精確地將全色圖像的光譜范圍之外的頻帶銳化的能力。如本文所使用的，“遠(yuǎn)程影像數(shù)據(jù)”指的是限定圖像對的任何數(shù)據(jù)集。即，遠(yuǎn)程影像數(shù)據(jù)包括圖像數(shù)據(jù)以及與要組合的第一圖像和至少第二圖像相關(guān)聯(lián)的任何類型的元數(shù)據(jù)。 該圖像數(shù)據(jù)是從任何遠(yuǎn)程定位的傳感器或者成像裝置獲取的。例如，該遠(yuǎn)程傳感器可以被定位為在(舉例而非限制)高架觀看結(jié)構(gòu)、航空器、航天器、或者人造衛(wèi)星上運(yùn)行。也就是說，遠(yuǎn)程數(shù)據(jù)是從架設(shè)在相對于被成像位置之上的任何位置(固定或者移動)獲取的。該圖像數(shù)據(jù)可以包括各種傳感器獲取的圖像的光強(qiáng)度數(shù)據(jù)，每個傳感器與特定波長范圍(例如，光譜頻帶)相關(guān)聯(lián)。因此，在本發(fā)明的各個實(shí)施例中，遠(yuǎn)程影像數(shù)據(jù)可以包括多光譜(約 4個頻帶)，超光譜(> 100個頻帶)，和/或全色(可見頻帶)圖像數(shù)據(jù)。通常假設(shè)遠(yuǎn)程影像數(shù)據(jù)具有某些其它特性。例如，不同的圖像典型地在彼此的非常短的時間幀內(nèi)從幾乎同一位置被獲取，以減少全局配準(zhǔn)誤差。并且，本領(lǐng)域技術(shù)人員將明白，本發(fā)明可以與不一定滿足此準(zhǔn)則的不同圖像相關(guān)地被利用，可能得到降級的結(jié)果。因此，可以使用被不同地定位的傳感器來獲得圖像對，但是這可能導(dǎo)致更加復(fù)雜的配準(zhǔn)處理， 包括更復(fù)雜或者更多的移位、縮放和旋轉(zhuǎn)處理。在以下描述的示例性實(shí)施例中，與圖像對相關(guān)聯(lián)的遠(yuǎn)程影像數(shù)據(jù)包括全色圖像、 MSI圖像以及相關(guān)聯(lián)的元數(shù)據(jù)。該元數(shù)據(jù)可以包括適于促進(jìn)配準(zhǔn)處理的信息，包括關(guān)于傳感器或正被成像的位置的任何附加信息。舉例但非限制，該元數(shù)據(jù)包括標(biāo)識圖像獲取的日期和/或時間的信息、標(biāo)識正被成像的地理位置的信息，或者指定傳感器位置的信息。例如， 標(biāo)識正被成像的地理位置的信息可以包括可以被提供在元數(shù)據(jù)中的矩形圖像的四個角的地理坐標(biāo)。元數(shù)據(jù)也可以包括用于將每個頻帶的數(shù)字(digital numbers)轉(zhuǎn)換為輻射的輻身寸度量校準(zhǔn)(radiometric calibration)。一般而言，為了適當(dāng)?shù)厝诤蠄D像，需要配準(zhǔn)或者對準(zhǔn)全色圖像和MSI圖像中的像素。例如，典型地提供映射函數(shù)，所述映射函數(shù)將MSI圖像的每個像素映射到全色圖像的像素以及將全色圖像的每個像素映射到MSI圖像的像素。例如，可以使用\ = M2P(xffl)而將 MSI圖像中的像素映射到全色圖像中的像素。類似地，可以使用ι = P2M(xp)而將全色圖像中的像素映射到MSI圖像中的像素。如下所述，可以基于元數(shù)據(jù)或者其它方法生成這些映射函數(shù)。本領(lǐng)域技術(shù)人員將容易認(rèn)識到，與全色圖像相比，MSI圖像典型地具有降低的空間分辨率。因此，當(dāng)將全色圖像映射到MSI圖像時，全色圖像中的多個像素被映射到MSI圖像中的至少一個共同的像素。類似地，當(dāng)將MSI圖像映射到全色圖像時，MSI圖像中的一個像素被映射到全色圖像的多個像素。盡管在此主要就利用全色圖像來提高M(jìn)SI圖像的空間分辨率這一方面來對各個示例性實(shí)施例進(jìn)行描述，但是提供這些實(shí)施例僅為了便于闡述，本發(fā)明在這方面不受限制。 在此描述的方法和系統(tǒng)同樣適用于包括具有不同空間和/或光譜分辨率的任何類型圖像的圖像對。本發(fā)明的各個實(shí)施例被具體地體現(xiàn)為用于對圖像對生成映射函數(shù)的方法、數(shù)據(jù)處理系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可以采取全硬件實(shí)施例、全軟件實(shí)施例、或者軟件和硬件的任何組合的形式。然而，本發(fā)明在這方面不受限制，而是可以以在此沒有描述的許多其它形式被實(shí)現(xiàn)。圖1是用于執(zhí)行一組指令的計(jì)算機(jī)系統(tǒng)100的實(shí)施例的示意圖，所述一組指令在被執(zhí)行時使計(jì)算機(jī)系統(tǒng)100執(zhí)行在此描述的方法和程序中的一個或更多個。在某些實(shí)施例中，計(jì)算機(jī)系統(tǒng)100作為獨(dú)立裝置工作。在其它實(shí)施例中，計(jì)算機(jī)系統(tǒng)100 (例如利用網(wǎng)絡(luò)) 連接至其它計(jì)算裝置。在聯(lián)網(wǎng)部署中，計(jì)算機(jī)系統(tǒng)100在服務(wù)器-客戶端開發(fā)者網(wǎng)絡(luò)環(huán)境中以服務(wù)器或者客戶端開發(fā)者機(jī)器的身份運(yùn)行，或者在對等實(shí)體(或分布式)網(wǎng)絡(luò)環(huán)境中作為對等實(shí)體機(jī)器工作。在某些實(shí)施例中，計(jì)算機(jī)系統(tǒng)100可以包含各種類型的計(jì)算系統(tǒng)和裝置，包括服務(wù)器計(jì)算機(jī)、客戶端用戶計(jì)算機(jī)、個人計(jì)算機(jī)(PC)、平板PC、筆記本計(jì)算機(jī)、臺式計(jì)算機(jī)、控
8制系統(tǒng)、網(wǎng)絡(luò)路由器、交換機(jī)或橋接器，或者能夠執(zhí)行指定要由該裝置采取的動作的(順序的或者其它形式的)一組指令的任何其它裝置。應(yīng)該理解，本公開的裝置還包括提供語音、 視頻或者數(shù)據(jù)通信的任何電子裝置。此外，雖然示出單個計(jì)算機(jī)，但是短語“計(jì)算機(jī)系統(tǒng)”應(yīng)該被理解為包括單獨(dú)地或者聯(lián)合地執(zhí)行一組(或者多組)指令以執(zhí)行在此討論的方法中的一個或者更多個的計(jì)算裝置的任何集合。計(jì)算機(jī)系統(tǒng)100包括處理器102 (諸如中央處理單元(CPU)、圖形處理單元(GPU)、 或者兩者)、主存儲器104和靜態(tài)存儲器106，這些元件經(jīng)由總線108相互通信。計(jì)算機(jī)系統(tǒng) 100還包括顯示單元110，諸如視頻顯示器(例如液晶顯示器或IXD、平板、固態(tài)顯示器、或者陰極射線管(CRT))。計(jì)算機(jī)系統(tǒng)還包括輸入裝置112(例如鍵盤)、光標(biāo)控制裝置114(例如鼠標(biāo))、磁盤驅(qū)動單元116、信號生成裝置118(例如揚(yáng)聲器或者遙控器)和網(wǎng)絡(luò)接口裝置 120。磁盤驅(qū)動單元116包括計(jì)算機(jī)可讀存儲介質(zhì)122，所述計(jì)算機(jī)可讀存儲介質(zhì)122上存儲有一組或更多組指令124(例如，軟件代碼)，所述一組或更多組指令I(lǐng)M被配置為實(shí)現(xiàn)本文所描述的一個或更多個方法、程序或者功能。指令1 在其由計(jì)算機(jī)系統(tǒng)100執(zhí)行期間完整地或者至少部分地駐留在主存儲器104內(nèi)、靜態(tài)存儲器106內(nèi)、和/或處理器102 內(nèi)。主存儲器104和處理器102還可以構(gòu)成機(jī)器可讀介質(zhì)。本領(lǐng)域技術(shù)人員將理解，圖1所示的計(jì)算機(jī)系統(tǒng)架構(gòu)是計(jì)算機(jī)系統(tǒng)的一個可能的示例。但是，本發(fā)明在這方面并不受限制，也可以在沒有限制的情況下使用任何其它合適的計(jì)算機(jī)系統(tǒng)架構(gòu)。例如，可以類似地構(gòu)造包括但不限于專用集成電路、可編程邏輯陣列、以及其它硬件裝置的專用硬件實(shí)現(xiàn)來實(shí)施本文所描述的方法?？砂ǜ鱾€實(shí)施例的設(shè)備和系統(tǒng)的應(yīng)用廣泛地包括多種電子設(shè)備和計(jì)算機(jī)系統(tǒng)。某些實(shí)施例在兩個或更多特定的互連硬件模塊或裝置中利用在這些模塊之間并且通過這些模塊而被傳遞的相關(guān)控制和數(shù)據(jù)信號實(shí)現(xiàn)功能， 或者作為專用集成電路的部分來實(shí)現(xiàn)功能。因而，該示例性系統(tǒng)可應(yīng)用于軟件、固件和硬件實(shí)現(xiàn)。根據(jù)本發(fā)明的各個實(shí)施例，以下描述的方法可以作為軟件程序而被存儲在計(jì)算機(jī)可讀存儲介質(zhì)中并且可以被配置為用于在計(jì)算機(jī)處理器上運(yùn)行。此外，軟件實(shí)現(xiàn)可以包括但不限于分布式處理、構(gòu)件/對象分布式處理、并行處理、虛擬機(jī)處理，它們也可以被構(gòu)造為實(shí)現(xiàn)本文所描述的方法。因此，在本發(fā)明的某些實(shí)施例中，本發(fā)明被體現(xiàn)為包括指令124的計(jì)算機(jī)可讀存儲介質(zhì)，或者從傳播的信號接收指令1 并且執(zhí)行指令124以使得連接至網(wǎng)絡(luò)環(huán)境126的裝置發(fā)送或接收語音和/或視頻數(shù)據(jù)并且使用指令1 在網(wǎng)絡(luò)1 上通信的計(jì)算機(jī)可讀存儲介質(zhì)。指令1 進(jìn)一步經(jīng)由網(wǎng)絡(luò)接口裝置120在網(wǎng)絡(luò)1 上被傳輸或接收。雖然計(jì)算機(jī)可讀存儲介質(zhì)122在示例性實(shí)施例中被示出為單個存儲介質(zhì)，但是術(shù)語“計(jì)算機(jī)可讀存儲介質(zhì)”應(yīng)該被理解為包括存儲該一組或更多組指令的單個介質(zhì)或者多個介質(zhì)(例如，集中式或分布式數(shù)據(jù)庫，和/或相關(guān)聯(lián)的高速緩沖存儲器和服務(wù)器)。術(shù)語 “計(jì)算機(jī)可讀存儲介質(zhì)”還應(yīng)該被理解為包括能夠存儲、編碼或攜帶一組指令的任何介質(zhì)， 所述一組指令用于由機(jī)器執(zhí)行并且使機(jī)器執(zhí)行本公開的方法中的任何一個或更多個。從而，術(shù)語“計(jì)算機(jī)可讀介質(zhì)”應(yīng)該被理解為包括但不限于固態(tài)存儲器，諸如存儲卡或者容納一個或更多個只讀(非易失性)存儲器、隨機(jī)存取存儲器、或其它可重寫(易失性)存儲器的打包；磁光或光介質(zhì)，諸如盤或帶；以及載波信號，諸如在傳輸介質(zhì)中包含計(jì)算機(jī)指令的信號；和/或電子郵件的數(shù)字文件附件或者被認(rèn)為是等同于有形存儲介質(zhì)的分發(fā)介質(zhì)的其它自成一體的信息文檔或文檔集。因此，本公開被認(rèn)為包括在此列舉的計(jì)算機(jī)可讀介質(zhì)或分布式介質(zhì)中的任何一個或更多個，并且包括其中存儲有本文的軟件實(shí)現(xiàn)的公認(rèn)的等同物以及后繼介質(zhì)。雖然本說明書參照特定標(biāo)準(zhǔn)和協(xié)議對實(shí)施例中實(shí)現(xiàn)的部件和功能進(jìn)行描述，但是本公開并不限于這些標(biāo)準(zhǔn)和協(xié)議。用于因特網(wǎng)和其它分組交換網(wǎng)絡(luò)傳輸(例如，TCP/IP、 UDP/IP、HTML和HTTP)的標(biāo)準(zhǔn)中的每一個都代表本領(lǐng)域現(xiàn)有技術(shù)的例子。這些標(biāo)準(zhǔn)定期地被基本上具有相同功能的更快或更有效率的等同物取代。因此，具有相同功能的替代標(biāo)準(zhǔn)和協(xié)議被認(rèn)為是等同的。下面將參照圖2更詳細(xì)地對本發(fā)明進(jìn)行描述，圖2示出根據(jù)本發(fā)明實(shí)施例的用于對遠(yuǎn)程獲取的影像進(jìn)行處理以提供融合圖像的改善的色譜的示例性方法200中的步驟的流程圖。但是，應(yīng)該理解，圖2中公開的示例性處理僅被提供用于闡述目的，并且本發(fā)明在這方面并不受限。如圖2所示，方法200可開始于步驟202并且繼續(xù)至步驟204。在步驟204中，接收包括正被成像的地理位置的元數(shù)據(jù)和影像數(shù)據(jù)的圖像對。在示例性方法200中，該圖像對限定全色類型的第一圖像和一系列第二圖像，所述一系列第二圖像與用于限定MSI類型圖像的各個MSI光譜頻帶相關(guān)聯(lián)。一旦在步驟204中獲得該圖像對，即在步驟206中創(chuàng)建用于配準(zhǔn)(即，對準(zhǔn))該圖像對中的像素的映射函數(shù)。大體上來講，步驟206涉及基于確定全色圖像中的每個點(diǎn)在何處映射到MSI圖像中的坐標(biāo)來生成數(shù)學(xué)函數(shù)。存在用于生成該映射函數(shù)的若干常規(guī)方法。典型地，這些方法涉及在一個圖像中選擇若干個點(diǎn)，找出這些點(diǎn)映射到另一圖像中的何處，然后最優(yōu)化變換的系數(shù)。這通常是最小平方誤差解，所述最小平方誤差解允許獲得使從一個圖像到另一個圖像的映射點(diǎn)的平方誤差最小化的一組系數(shù)。為了融合處理中的最好的結(jié)果，優(yōu)選以由小于由0. 1全色像素限定的尺寸的誤差距離限定的精確度將全色圖像映射到多光譜圖像。在步驟206創(chuàng)建的映射函數(shù)確定點(diǎn)從一個圖像的坐標(biāo)到另一個圖像的坐標(biāo)的映射。此映射函數(shù)可以簡單如形式為X1 = ax2+by2+x0的線性變換， 或者可以是對傳感器和被成像表面兩者的幾何形狀進(jìn)行建模的復(fù)雜變換。該映射函數(shù)可以基于作為元數(shù)據(jù)而被包括在影像數(shù)據(jù)內(nèi)的坐標(biāo)。例如，該元數(shù)據(jù)可以包括所獲取的圖像對的四個角的經(jīng)緯度坐標(biāo)，并且初始映射函數(shù)可以基于這些坐標(biāo)。在本發(fā)明的某些實(shí)施例中， 該元數(shù)據(jù)可以包括有理多項(xiàng)式系數(shù)RPC傳感器模型，該模型將被成像表面的經(jīng)度、緯度和高度轉(zhuǎn)換為行/列圖像坐標(biāo)。這些傳感器模型還可以被用來產(chǎn)生圖像之間的精確映射。在步驟206中創(chuàng)建初始映射函數(shù)之后，可以為每個MSI頻帶生成反射率函數(shù)初始集。即，對于每個傳感器，可以生成基于像素的輻射值而為MSI頻帶圖像中的每個像素提供反射率值的函數(shù)。典型地，傳感器收集的總輻射由大氣反射分量和表面反射分量的和表示或建模。這在圖3中被概念化圖解示出。如圖3所示，太陽或其它光源提供指向正被成像的表面302的總輻射量LT。tal S()1。 該總輻射的一部分被大氣304向上反射，從而產(chǎn)生描述上涌路徑輻射的輻射LPath。該總輻射的第二部分由大氣304向下朝向表面302反射和/或散射，從而產(chǎn)生描述“藍(lán)天”輻射的輻射Lsky。該總輻射的第三部分到達(dá)表面302，從而產(chǎn)生描述表面302上的直接太陽輻射的輻射LS()1。因此，傳感器306基于到達(dá)傳感器306的上涌路徑輻射Lpath的量以及由表面302 反射且到達(dá)傳感器306的直接太陽輻射Lstjl和藍(lán)天輻射Lsky的量而最終檢測到總輻射LT。tal。 在數(shù)學(xué)上，由傳感器對于像素收集的該總輻射可被描述為如下等式(1)Llotal (λ) ^ Lpath (λ) + ρ (λ) [Lsolar ( λ ) cos (A) +Lsky ( λ ) ]，(1)其中，Lpath(λ )是由傳感器收集的路徑輻射，P (λ)是對于光的特定波長的表面反射率，Lsolar(A)是表面反射的直接太陽輻射，Lsky ( λ )是表面反射的藍(lán)天輻射，以及cos(A)是表面法線與太陽單位矢量的點(diǎn)積。等式(1)可以被重新布置以基于MSI圖像中的輻射而用數(shù)學(xué)的方式描述對于光的各波長在像素處的反射率，如以下等式O)中那樣P (λ) ^ [Llotal ( λ ) -Lpath ( λ ) ] / [cos ㈧ Lsolar ( λ ) +Lsky ( λ ) ] · (2)再次參照圖2，可以利用等式⑵來確定對于MSI圖像的一組反射率函數(shù)。然而， 所得到的反射率函數(shù)典型地是復(fù)雜的。也就是說，盡管反射率對于不同對象或材料的表面是恒定的，但是表面之間的邊界區(qū)域的反射率典型地是不連續(xù)的，導(dǎo)致需要復(fù)雜的函數(shù)來精確表示反射率。因此，在本發(fā)明的各個實(shí)施例中，為了減小反射率函數(shù)的復(fù)雜度，可以替代地產(chǎn)生近似的反射率函數(shù)，在該近似的反射率函數(shù)中這些不連續(xù)性被去除。這可以通過調(diào)整面朝向來衰減這些邊界區(qū)域處的反射率函數(shù)中的不連續(xù)性而被實(shí)現(xiàn)。為此，等式(2) 可以被重新布置以基于MSI圖像中的輻射而用數(shù)學(xué)的方式描述對于像素的面朝向，如以下等式⑶中那樣
Cos(A)i,^ [LTotal(A)-Lpath(A)-p (A)Lsky(A)] ο [ρ (A)Lsolar(A)]/ | ρ (λ)
LsolarU) I I2· (3)但是，考慮到典型的MSI圖像由3至4個圖像構(gòu)成，每個圖像具有約2000X2000 個像素，以MSI分辨率執(zhí)行這種面朝向的調(diào)整可能需要大量的計(jì)算。因此，在本發(fā)明的各個實(shí)施例中，使用多分辨率方法以通過減少需要被調(diào)整的面朝向的數(shù)量而以高計(jì)算效率來提供空間上最平滑的反射率。因此，在步驟208中，對MSI輻射進(jìn)行下采樣并且獲得面朝向初始集?？梢允褂酶鞣N方法來實(shí)現(xiàn)該下采樣。例如，可以使用&三棱錐函數(shù)Ox pyramid function)以將MSI圖像的分辨率降低到只有約10像素寬的圖像。然而，在本發(fā)明的各個實(shí)施例中可以利用其它次分辨率(sub-resolution)。因此，通過下采樣并且減少像素的數(shù)量，可以基于平坦地面朝向?qū)⒊跏挤瓷渎恃杆僮顑?yōu)化為在整個圖像上平滑的反射率。在上述10像素X 10像素的例子中，可以以約10次迭代來獲得經(jīng)平滑的反射率。在次分辨率處， 每個MSI圖像的反射率被模糊，并且基于對反射率的當(dāng)前估計(jì)根據(jù)MSI輻射來估計(jì)面朝向。 在本發(fā)明的各個實(shí)施例中，面朝向被限于有效范圍(0，1)，并且，根據(jù)基于更新的面朝向的 MSI輻射來估計(jì)每個頻帶的反射率。下面將參考圖6對初始面朝向的生成的細(xì)節(jié)進(jìn)行更詳細(xì)的描述。如本文所使用的，“上采樣”是指將圖像的分辨率從較低分辨率調(diào)整到較高分辨率。類似地，“下采樣”是指將圖像的分辨率從較高分辨率調(diào)整到較低分辨率。雖然在本發(fā)
11明的各個實(shí)施例中可以使用用于調(diào)整圖像分辨率的任何方法，但是可以利用單個方法來提供對圖像分辨率的恒定縮放。一旦在步驟208中獲得初始面朝向時，就在步驟210以MSI分辨率為每個MSI光譜頻帶生成反射率函數(shù)。即，使用在步驟208中獲得的初始面朝向?qū)С鲠槍γ總€MSI頻帶的反射率函數(shù)。此外，也可以在步驟210消除MSI反射率函數(shù)中的任何殘留的不連續(xù)性。特別地，可以執(zhí)行平滑，諸如下面針對圖7描述的平滑。雖然一般情況下以MSI分辨率去除這種不連續(xù)性計(jì)算量會很大，但是在步驟208生成的初始面朝向已經(jīng)被調(diào)整以衰減更顯著的不連續(xù)性。從而，在步驟210殘留的不連續(xù)性的數(shù)量低，從而減少反射率函數(shù)和面朝向所需的細(xì)化的量。一旦在步驟210中已經(jīng)獲得MSI分辨率的經(jīng)平滑的反射率函數(shù)時，可以在步驟212 中將該經(jīng)平滑的反射率函數(shù)上采樣到至少一個超分辨率，以基于全色圖像數(shù)據(jù)開始進(jìn)一步的細(xì)化。即，將該反射率函數(shù)上采樣至高于MSI分辨率的分辨率。雖然該超分辨率可以是全色分辨率，但是試圖對全色圖像處的反射率函數(shù)進(jìn)行細(xì)化可能需要大量的計(jì)算，這是因?yàn)榈湫偷娜珗D像可以包括約8000X8000的像素。因此，為了減少計(jì)算要求，替代地，可以將經(jīng)平滑的MSI反射率函數(shù)上采樣至MSI分辨率和全色分辨率之間的中間分辨率，使得可以通過限制像素的數(shù)目來迭代地執(zhí)行細(xì)化。在步驟212中將MSI反射率函數(shù)上采樣至超分辨率之后，在步驟214中可以生成針對全色圖像的近似反射率函數(shù)。在本發(fā)明的各個實(shí)施例中，可以按照與從MSI圖像生成近似全色圖像的方式相同的方式來生成近似反射率函數(shù)。在MSI圖像的情況下，近似全色輻射值根據(jù)被校準(zhǔn)以精確對應(yīng)于全色圖像的像素的反射率值的MSI輻射值的組合而被生成。在本發(fā)明的各個實(shí)施例中，輻射值和反射率函數(shù)的光譜權(quán)重是相同的，因?yàn)榉瓷渎屎洼椛涫浅杀壤模绲仁? 所示。為了確定光譜權(quán)重，本領(lǐng)域技術(shù)人員將認(rèn)識到，特定地理的完整多光譜圖像典型地包含若干個光學(xué)或光譜圖像頻帶。在這些頻帶的每個頻帶中，傳感器對非常有限的范圍的光波長作出響應(yīng)。這一概念在圖4中示出，圖4示出了表示傳感器對光波長的四個不同頻帶的響應(yīng)的曲線401、402、403、404。傳感器基本上為由響應(yīng)曲線401、402、403、404表示的每個光學(xué)頻帶創(chuàng)建一個圖像。在此示例中，單個多光譜圖像會包含由利用這四個光譜頻帶的傳感器獲得的圖像。本領(lǐng)域技術(shù)人員將認(rèn)可，不同傳感器系統(tǒng)可以具有更多或更少的光學(xué)頻帶。與此相對的，全色圖像是由對寬得多的光波長范圍作出響應(yīng)的傳感器獲得的單個圖像。在圖4中，全色傳感器的響應(yīng)由曲線400示出。在圖4中，可以看出，傳感器針對各個多光譜頻帶的響應(yīng)曲線401、402、403、404與全色傳感器針對相同波長的響應(yīng)曲線400相比可以大為不同。傳感器對于各個光學(xué)頻帶的響應(yīng)的這些差異將導(dǎo)致與多光譜圖像的每個像素相關(guān)聯(lián)的輻射值與全色圖像相比之間的縮放比例差異。因此，需要校準(zhǔn)函數(shù)將多光譜傳感器測量的針對每個像素的輻射值縮放為對應(yīng)于從全色傳感器得到的輻射值的縮放比例。例如，考慮約500nm處的由曲線400和401 表示的光譜響應(yīng)。曲線401具有大約1. 0的光譜響應(yīng)，而全色傳感器的光譜響應(yīng)表現(xiàn)出大約0.35的范圍內(nèi)的平均光譜響應(yīng)。此刻忽略在由曲線401限定的波長范圍內(nèi)的曲線402 的響應(yīng)，利用具有響應(yīng)曲線401的特性的傳感器的多光譜圖像中的像素的輻射值可能需要由大約0. 35的加權(quán)值進(jìn)行縮放，以便使該輻射值被適當(dāng)?shù)匦?zhǔn)至由具有曲線400所指示的響應(yīng)的傳感器所測量的那些值。大體上，適當(dāng)?shù)墓庾V校準(zhǔn)會要求需要將與圖4中的每個光譜頻帶相關(guān)聯(lián)的像素輻射值加在一起，以獲得總輻射值，該總輻射值被適當(dāng)?shù)乜s放至利用具有曲線400所限定的響應(yīng)的傳感器所獲得的輻射值。從而，可以將光譜權(quán)重施加到輻射值以近似超分辨率的全色圖像的反射率函數(shù)。該處理在圖5中被概念性圖解。然而，如前所述，還可以將光譜權(quán)重施加到反射率函數(shù)以導(dǎo)出全色反射率函數(shù)。因此，在本發(fā)明的各個實(shí)施例中，針對全色反射率函數(shù)的圖5中的處理可以如下在等式中表示其中ρ Approx Pan(i, j)是每個像素的近似全色反射率值；Wa是針對每個光譜頻帶λ的光譜權(quán)重；以及ρ λ (i，j)是針對包括該多光譜圖像的每個光譜頻帶的每個像素的輻射值。利用這些光譜權(quán)重，在步驟214中生成近似全色反射率函數(shù)。另外，基于經(jīng)下采樣的全色圖像的輻射值和近似全色反射率函數(shù)，在步驟214中也可以基于例如等式(3)來確定全色面朝向。一旦在步驟214中獲得近似全色反射率和面朝向時，就可以將全色面朝向約束為實(shí)值，并且可在步驟216中重新計(jì)算全色反射率函數(shù)。下面參照圖7對該重新計(jì)算的細(xì)節(jié)進(jìn)行描述。一旦在步驟216中獲得重新計(jì)算的反射率函數(shù)時，就可以在步驟218利用近似反射率函數(shù)和重新計(jì)算的反射率函數(shù)之間的差來調(diào)整MSI反射率函數(shù)。下面參照圖 8對該調(diào)整的細(xì)節(jié)進(jìn)行描述。已在步驟218調(diào)整了超分辨率的MSI反射率函數(shù)之后，方法200可以檢查看是否需要進(jìn)一步的細(xì)化。即，如果在步驟220中超分辨率不是全色分辨率，則需要以更高的分辨率進(jìn)一步細(xì)化反射率值。因此，在步驟222可以選擇下一個更高的超分辨率，并且，可以對于該下一個超分辨率重復(fù)步驟218至220。一旦在步驟220超分辨率就是全色分辨率時，則不需要對MSI反射率函數(shù)進(jìn)行進(jìn)一步的細(xì)化，并且，可在步驟2M基于被上采樣至全色分辨率的反射率函數(shù)來生成融合圖像。然后，方法200可在步驟2 結(jié)束，并且再次開始之前的處理。圖6示出根據(jù)本發(fā)明實(shí)施例的用于對于MSI頻帶生成初始面朝向的示例性方法 600的流程圖。這種方法例如可以在圖2的步驟208期間被執(zhí)行。方法600可開始于步驟 602并且繼續(xù)至步驟604。在步驟604中，可以選擇第一次分辨率。S卩，小于MSI圖像的空間分辨率的空間分辨率。如前所述，當(dāng)通過下采樣處理減少像素的數(shù)目時，計(jì)算要求減少。 之后在步驟606中，可以以所選的次分辨率獲得初始面朝向。S卩，對于MSI圖像中的每個像素的面朝向值的初始估計(jì)。這些初始估計(jì)可以利用圖像對的元數(shù)據(jù)而被生成，并且可以基于被成像的位置的大體照明條件。在步驟606之后或者與步驟606同時，在步驟608中，可以將對每個MSI頻帶的MSI圖像輻射值下采樣至所選的次分辨率。在步驟610，使用經(jīng)下采樣的輻射值和面朝向值的初始估計(jì)來以次分辨率計(jì)算每個MSI頻帶的初始反射率函數(shù)。可以利用例如等式(2)或者大氣建模系統(tǒng)來計(jì)算初始反射率函數(shù)。一般地，即使當(dāng)面朝向在一區(qū)域上恒定時，物體的反射率在該區(qū)域上也不會連續(xù)地變化。即，真實(shí)的反射率函數(shù)將導(dǎo)致在不同物體之間的邊界處的不連續(xù)性。不幸地是，這種函數(shù)增加了計(jì)算復(fù)雜度。從而，為了簡化計(jì)算，可以要求本發(fā)明的各個實(shí)施例中的反射率函數(shù)連續(xù)地變化。因此，在步驟612中，可以使在步驟610中獲得的反射率函數(shù)平滑，以通過調(diào)整面朝向來去除這種不連續(xù)性。即，使用面朝向作為用于被施加到反射率函數(shù)的平滑函數(shù)的調(diào)節(jié)參數(shù)。在本發(fā)明的各個實(shí)施例中，可以利用任何類型的平滑函數(shù)或者模糊算子。 然而，盡管相對簡單的模糊算子(諸如簡單的箱式平均(simple box average))也將產(chǎn)生好的結(jié)果，但是通過使用各向異性平滑算子可以實(shí)現(xiàn)加速收斂和更高分辨率。例如，可以根據(jù)全色圖像中的輻射值的相似性來加權(quán)模糊算子中的相鄰像素的相對貢獻(xiàn)。在步驟612將所選的次分辨率的反射率函數(shù)以次分辨率平滑化之后，方法600可以確定是否需要對面朝向進(jìn)行進(jìn)一步的細(xì)化。特別地，如果所選的次分辨率在MSI圖像處， 則不需要對面朝向進(jìn)行額外的細(xì)化。因此，如果在步驟614次分辨率為MSI分辨率，該方法可以在步驟616結(jié)束，并且再次開始之前的處理。即，例如在圖2中的步驟210處，可以使用經(jīng)調(diào)整的面朝向來確定MSI反射率函數(shù)。然而，如果所選的次分辨率不在MSI分辨率處，則可在步驟608選擇下一個更高的次分辨率。然后，可以將在步驟612調(diào)整的面朝向上采樣至該下一個更高的次分辨率，并且可以重復(fù)步驟608至614，直到以MSI分辨率細(xì)化面朝向?yàn)橹?。作為替換方案，在本發(fā)明的某些實(shí)施例中，盡管需要最終放大至MSI分辨率的步驟， 但是可以對面朝向進(jìn)行細(xì)化，直到達(dá)到不同于MSI分辨率的次分辨率。圖7示出根據(jù)本發(fā)明實(shí)施例的用于基于受約束的面朝向重新計(jì)算全色反射率函數(shù)的示例性方法700的流程圖。例如，可以在圖2中的步驟216期間執(zhí)行方法700。方法 700可以開始于步驟702，并且繼續(xù)至步驟704。在步驟704中，基于近似全色反射率函數(shù)和全色輻射值來計(jì)算全色面朝向值。例如，可以利用等式C3)來執(zhí)行步驟704。之后，如果所有的全色面朝向值都在0至1的范圍之內(nèi)，則方法700可在步驟708結(jié)束，并且再次開始之前的處理。然而，如果在步驟706發(fā)現(xiàn)在0至1的范圍之外的至少一個全色面朝向值，則代替地，方法700繼續(xù)至步驟710。在步驟710中，可以生成受約束的全色面朝向。即，對于與小于0的面朝向值相關(guān)聯(lián)的像素，全色面朝向被約束為值0 ；而對于與大于1的面朝向值相關(guān)聯(lián)的像素，全色面朝向被約束為值1。在O至1的范圍內(nèi)的其它值保持不受干擾。之后，在步驟712中，基于步驟710中的受約束的面朝向和來自全色圖像的輻射值，生成重新計(jì)算的全色反射率函數(shù)。 然后，方法700可以在步驟708結(jié)束，并且繼續(xù)之前的處理。圖8示出根據(jù)本發(fā)明實(shí)施例的用于基于在超分辨率處獲得的近似全色反射率函數(shù)和重新計(jì)算的全色反射率函數(shù)而以MSI分辨率調(diào)整MSI反射率函數(shù)的示例性方法800的流程圖。例如，可以在圖2中的步驟218期間執(zhí)行方法800。方法800可開始于步驟802， 并且繼續(xù)至步驟804。在步驟804，可根據(jù)重新計(jì)算的全色反射率函數(shù)與近似反射率函數(shù)之比來生成反射率比函數(shù)。因此，反射率比函數(shù)提供在超分辨率處的與每個像素相關(guān)聯(lián)的反射率的比。該反射率比函數(shù)有效地提供縮放因子，所述縮放因子描述使得對應(yīng)的面朝向值在適當(dāng)范圍(0至1)內(nèi)的MSI反射率所需的調(diào)整量。然而，該縮放因子是以超分辨率而不是以MSI分辨率被提供的，并且通常還會需要對縮放因子進(jìn)行下采樣以調(diào)整MSI圖像中的值。這些傳感器收集作為在每個像素的有限立體角上積分的輻射的影像。因而，由于來自 MSI圖像中的像素的立體角上的面朝向的變化所導(dǎo)致的非穩(wěn)態(tài)照射，典型地?zé)o法在沒有明顯失真的情況下對超分辨率的反射率值進(jìn)行下采樣。圖像應(yīng)該作為要與傳感器的物理模型一致的輻射值而被下采樣。因此，在本發(fā)明的各個實(shí)施例中，通過基于超分辨率的反射率的縮放因子來確定針對MSI分辨率的輻射的縮放因子，執(zhí)行對MSI反射率函數(shù)的調(diào)整。從而，可以首先在步驟806通過反射率比函數(shù)來對MSI反射率函數(shù)進(jìn)行縮放，以提供超分辨率的經(jīng)縮放的反射率值。然后，可在步驟808中使用經(jīng)縮放的反射率函數(shù)來生成超分辨率的MSI輻射值?？梢岳脧某直媛实娜珗D像導(dǎo)出的面朝向值來生成MSI輻射值。如前所述，一旦MSI輻射值提供可以被下采樣的一組合適的值。從而，在步驟810，將超分辨率的MSI輻射值下采樣至MSI分辨率。之后，在步驟812生成輻射比函數(shù)。步驟812 的輻射比基于在步驟808生成且在步驟810被下采樣的MSI輻射值與MSI圖像中的MSI輻射值之比。在步驟812獲得輻射比函數(shù)之后，在步驟814，輻射比函數(shù)被上采樣至超分辨率， 并且被施加到超分辨率的融合輻射圖像。然后，該方法可在步驟816結(jié)束以再次開始之前的處理，諸如利用校正的融合輻射來產(chǎn)生反射率圖像或者進(jìn)一步放大校正的MSI反射率函數(shù)以用于額外的細(xì)化。對在此描述的實(shí)施例的闡述旨在提供對各個實(shí)施例的結(jié)構(gòu)的總體的理解，并且， 這些描述并不意為作為對可能利用在此描述的結(jié)構(gòu)的系統(tǒng)和設(shè)備的全部要素和特征的完全描述。在閱讀上述描述之后，許多其它實(shí)施例對于本領(lǐng)域的技術(shù)人員來說是顯而易見的。 可以利用其它實(shí)施例并且可以從這些實(shí)施例推導(dǎo)出其它實(shí)施例，使得在不偏離本公開的范圍的情況下能夠做出結(jié)構(gòu)上的和邏輯上的替代和改變。附圖也僅僅是示意性的，而可能不是按照比例繪制的。它們的某些比例可能被夸大，而其它比例可能被最小化。因此，本說明書及附圖應(yīng)被考慮為是示意性的而不是限制性的。
權(quán)利要求
1.一種用于對遠(yuǎn)程獲取的影像進(jìn)行處理的方法，該方法包括接收影像數(shù)據(jù)，該影像數(shù)據(jù)限定與第一光譜頻帶相關(guān)聯(lián)的第一圖像以及與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像，所述第一圖像具有第一空間分辨率，所述多個第二圖像中的每一個具有比所述第一空間分辨率低的第二空間分辨率；獲得多個第一反射率函數(shù)，所述多個第一反射率函數(shù)指定所述多個第二圖像中的每一個第二圖像中的像素的反射率值；生成第二反射率函數(shù)，所述第二反射率函數(shù)基于所述多個第一反射率函數(shù)估計(jì)所述第一圖像中的像素的反射率值；基于所述第二反射率函數(shù)、所述第一圖像的所述影像數(shù)據(jù)和至少一個面朝向約束來獲得第三反射率函數(shù)，所述第三反射率函數(shù)指定所述第一圖像中的像素的反射率值；修改所述多個第一反射率函數(shù)以生成多個第四反射率函數(shù)，所述多個第四反射率函數(shù)指定所述多個第二圖像中的像素的反射率值，所述修改基于所述第二反射率函數(shù)和所述第三反射率函數(shù)之間的差；以及計(jì)算限定多個第三圖像的影像數(shù)據(jù)，所述多個第三圖像與所述多個第二光譜頻帶相關(guān)聯(lián)并且具有所述第一空間分辨率，所述多個第三圖像基于所述多個第四反射率函數(shù)。
2.根據(jù)權(quán)利要求1的方法，其中，所述獲得所述多個第一反射率函數(shù)包括將所述多個第二圖像的所述影像數(shù)據(jù)下采樣至第三空間分辨率，所述第三空間分辨率低于所述第二空間分辨率；接收一個或更多個面朝向，所述一個或更多個面朝向指定所述第三空間分辨率的所述多個第二圖像中的所述像素的面朝向值；生成多個初始反射率函數(shù)，所述多個初始反射率函數(shù)指定所述第三空間分辨率的所述多個第二圖像中的所述像素的所述反射率值，所述多個初始反射率函數(shù)基于所述第三空間分辨率的所述第二圖像的所述影像數(shù)據(jù)和所述面朝向；平滑化所述多個初始反射率函數(shù)，以產(chǎn)生多個更新的反射率函數(shù)，所述多個更新的反射率函數(shù)指定所述第三空間分辨率的所述多個第二圖像中的每一個第二圖像中的所述像素的所述反射率；以及提供所述多個更新的反射率函數(shù)作為所述多個第一反射率函數(shù)。
3.根據(jù)權(quán)利要求2的方法，其中，所述平滑化還包括基于所述第三空間分辨率的所述第二圖像的所述影像數(shù)據(jù)和所述多個更新的反射率函數(shù)來更新所述面朝向，并且其中，所述獲得所述多個第一反射率函數(shù)還包括在所述提供所述多個更新的反射率函數(shù)之前，將所述多個第二圖像的所述影像數(shù)據(jù)下采樣至第四空間分辨率，所述第四空間分辨率低于所述第二空間分辨率且大于所述第三空間分辨率，使所述面朝向適應(yīng)于所述第四空間分辨率，以及重復(fù)所述生成和所述平滑化。
4.根據(jù)權(quán)利要求1的方法，其中，所述生成所述第二反射率函數(shù)還包括使所述多個第一反射率函數(shù)適應(yīng)于大于所述第二空間分辨率的第三空間分辨率； 確定多個光譜權(quán)重，所述多個光譜權(quán)重中的每一個與所述多個第二光譜頻帶之一相關(guān)聯(lián)；以及計(jì)算所述第三空間分辨率的所述多個第一反射率函數(shù)的組合，以產(chǎn)生所述第二反射率函數(shù)，在所述組合中，所述多個第一反射率函數(shù)中的每一個由所述多個光譜權(quán)重中的一個相關(guān)聯(lián)的光譜權(quán)重進(jìn)行縮放。
5.根據(jù)權(quán)利要求4的方法，其中，所述獲得所述第三反射率函數(shù)還包括 將所述第一圖像的所述影像數(shù)據(jù)下采樣至所述第三空間分辨率；基于所述第三空間分辨率的所述第一圖像的所述影像數(shù)據(jù)和所述第二反射率函數(shù)生成面朝向，所述面朝向指定所述第三空間分辨率的所述第一圖像中的所述像素的面朝向值；配置所述面朝向中的所述面朝向值以滿足所述面朝向約束；以及基于所述第三空間分辨率的所述第一圖像的所述影像數(shù)據(jù)和所述面朝向，計(jì)算所述第三反射率函數(shù)。
6.根據(jù)權(quán)利要求1的方法，還包括在所述計(jì)算之前，選擇所述多個第四反射率函數(shù)作為所述多個第一反射率函數(shù)；以及重復(fù)所述生成、所述獲得和所述修改步驟。
7.一種用于對遠(yuǎn)程獲取的影像進(jìn)行處理的系統(tǒng)，包括存儲元件，所述存儲元件用于接收影像數(shù)據(jù)，該影像數(shù)據(jù)限定與第一光譜頻帶相關(guān)聯(lián)的第一圖像以及與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像，所述第一圖像具有第一空間分辨率，所述多個第二圖像中的每一個具有比所述第一空間分辨率低的第二空間分辨率; 以及處理元件，所述處理元件以通信的方式耦合到所述存儲元件，所述處理元件被配置為獲得多個第一反射率函數(shù)，所述多個第一反射率函數(shù)指定所述多個第二圖像中的像素的反射率值；生成第二反射率函數(shù)，所述第二反射率函數(shù)基于所述多個第一反射率函數(shù)估計(jì)所述第一圖像中的像素的反射率值；基于所述第二反射率函數(shù)、所述第一圖像的所述影像數(shù)據(jù)和至少一個面朝向約束來獲得第三反射率函數(shù)，所述第三反射率函數(shù)指定所述第一圖像中的像素的反射率值；修改所述多個第一反射率函數(shù)以生成多個第四反射率函數(shù)，所述多個第四反射率函數(shù)指定所述多個第二圖像中的像素的反射率值，所述修改基于所述第二反射率函數(shù)和所述第三反射率函數(shù)之間的差；以及計(jì)算限定多個第三圖像的影像數(shù)據(jù)，所述多個第三圖像與所述多個第二光譜頻帶相關(guān)聯(lián)并且具有所述第一空間分辨率，所述多個第三圖像基于所述多個第四反射率函數(shù)。
8.根據(jù)權(quán)利要求7的系統(tǒng)，其中所述處理元件在所述獲得所述多個第一反射率函數(shù)的期間還被配置為將所述多個第二圖像的所述影像數(shù)據(jù)下采樣至第三空間分辨率，所述第三空間分辨率低于所述第二空間分辨率；接收一個或更多個面朝向，所述一個或更多個面朝向指定所述第三空間分辨率的所述多個第二圖像中的所述像素的面朝向值；生成多個初始反射率函數(shù)，所述多個初始反射率函數(shù)指定所述第三空間分辨率的所述多個第二圖像中的所述像素的所述反射率值，所述多個初始反射率函數(shù)基于所述第三空間分辨率的所述第二圖像的所述影像數(shù)據(jù)和所述面朝向；平滑化所述多個初始反射率函數(shù)，以產(chǎn)生多個更新的反射率函數(shù)，所述多個更新的反射率函數(shù)指定所述第三空間分辨率的所述多個第二圖像中的每一個第二圖像中的所述像素的所述反射率；以及提供所述多個更新的反射率函數(shù)作為所述多個第一反射率函數(shù)。
9.根據(jù)權(quán)利要求8的系統(tǒng)，其中，所述平滑化還包括基于所述第三空間分辨率的所述第二圖像的所述影像數(shù)據(jù)和所述多個更新的反射率函數(shù)來更新所述面朝向，并且其中，所述獲得所述多個第一反射率函數(shù)還包括在所述提供所述多個更新的反射率函數(shù)之前，將所述多個第二圖像的所述影像數(shù)據(jù)下采樣至第四空間分辨率，所述第四空間分辨率低于所述第二空間分辨率且大于所述第三空間分辨率，使所述面朝向適應(yīng)于所述第四空間分辨率，以及重復(fù)所述生成和所述平滑化。
10.根據(jù)權(quán)利要求7的系統(tǒng)，其中，在所述生成所述第二反射率函數(shù)期間，所述處理元件還被配置為使所述多個第一反射率函數(shù)適應(yīng)于大于所述第二空間分辨率的第三空間分辨率； 確定多個光譜權(quán)重，所述多個光譜權(quán)重中的每一個與所述多個第二光譜頻帶之一相關(guān)聯(lián)；以及計(jì)算所述第三空間分辨率的所述多個第一反射率函數(shù)的組合，以產(chǎn)生所述第二反射率函數(shù)，在所述組合中，所述多個第一反射率函數(shù)中的每一個由所述多個光譜權(quán)重中的一個相關(guān)聯(lián)的光譜權(quán)重進(jìn)行縮放。
11.根據(jù)權(quán)利要求10的系統(tǒng)，其中，在所述獲得所述第三反射率函數(shù)期間，所述處理元件還被配置為將所述第一圖像的所述影像數(shù)據(jù)下采樣至所述第三空間分辨率； 基于所述第三空間分辨率的所述第一圖像的所述影像數(shù)據(jù)和所述第二反射率函數(shù)生成面朝向，所述面朝向指定所述第三空間分辨率的所述第一圖像中的所述像素的面朝向值；配置所述面朝向中的所述面朝向值以滿足所述面朝向約束；以及基于所述第三空間分辨率的所述第一圖像的所述影像數(shù)據(jù)和所述面朝向，計(jì)算所述第三反射率函數(shù)。
12.根據(jù)權(quán)利要求7的系統(tǒng)，其中所述處理元件還被配置為在所述計(jì)算之前，選擇所述多個第四反射率函數(shù)作為所述多個第一反射率函數(shù)；以及重復(fù)所述生成、所述獲得和所述修改步驟。
全文摘要
用于處理影像的方法，包括接收與第一光譜頻帶相關(guān)聯(lián)的第一圖像和與多個第二光譜頻帶相關(guān)聯(lián)的多個第二圖像的數(shù)據(jù)(204)。該方法還包括獲得第二圖像中的像素的第一反射率函數(shù)(210)；基于第一反射率函數(shù)生成針對第一圖像中的像素的第二反射率函數(shù)(212)；以及基于第二反射率函數(shù)、第一圖像的影像數(shù)據(jù)和至少一個面朝向約束，獲得針對第一圖像中的像素的第三反射率函數(shù)(216)。該方法還包括基于第二和第三反射率函數(shù)之間的差，修改第一反射率函數(shù)，以生成針對第二圖像中的像素的第四反射率函數(shù)(218)；以及基于第四反射率函數(shù)，計(jì)算限定第三圖像的影像數(shù)據(jù)，第三圖像與第二光譜帶相關(guān)聯(lián)且具有第一空間分辨率(224)。
文檔編號G06T5/50GK102341827SQ201080010919
公開日2012年2月1日 申請日期2010年3月4日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者E·塞普爾曼, R·A·瑞雷, R·卡塞爾, T·巴克爾 申請人:哈里公司