高分辨率多光譜圖像捕捉的制作方法
【專利摘要】使用混合相機(jī)工具可以捕捉高分辨率多光譜圖像，而不必犧牲分辨率以換取光譜精確度。高分辨率多光譜圖像的捕捉可以包括：基于入射光的一部分形成高空間分辨率圖像；以及基于入射光的另一部分生成包括多光譜樣本的高光譜分辨率圖像。然后，通過將高空間分辨率圖像與高光譜分辨率圖像合并來(lái)合成高辨率多光譜圖像。
【專利說明】高分辨率多光譜圖像捕捉
[0001]背景
[0002]來(lái)自周圍環(huán)境的光在人眼內(nèi)以顏色被感測(cè)到。人眼使用三種類型的對(duì)光譜的不同部分敏感的視錐細(xì)胞，即對(duì)紅、綠和藍(lán)(RGB)波長(zhǎng)光敏感的視錐細(xì)胞來(lái)感受顏色。常規(guī)的錄像機(jī)可以記錄充分復(fù)制顏色以用于人眼觀看的RGB數(shù)據(jù)。然而，從所捕捉物體反射離開的可見光的光譜可能包含豐富的細(xì)節(jié)，這些細(xì)節(jié)在RGB數(shù)據(jù)的粗糙三通道感測(cè)中丟失。丟失的光譜細(xì)節(jié)在其他情況下可以揭示關(guān)于圖像中所記錄物體的大量附加信息、以及物體被記錄的照明條件。
[0003]概述
[0004]在此描述了用于實(shí)現(xiàn)混合相機(jī)工具的技術(shù)，該混合相機(jī)工具組合從RGB相機(jī)采集的紅、綠、藍(lán)(RGB)圖像信息和從灰度相機(jī)采集的多光譜圖像數(shù)據(jù)，以產(chǎn)生具有高光譜分辨率和高空間分辨率二者的圖像。該混合相機(jī)工具可以比捕捉高空間分辨率、但低光譜分辨率的獨(dú)立RGB相機(jī)提供更優(yōu)的圖像。該混合相機(jī)工具還可以比捕捉高光譜分辨率、但低空間分辨率的獨(dú)立灰度相機(jī)提供更優(yōu)的圖像。因此，不同于用時(shí)間分辨率或空間分辨率換取附加光譜信息的系統(tǒng)，該混合相機(jī)工具不犧牲分辨率來(lái)交換光譜精確度。
[0005]在至少一個(gè)實(shí)施例中，高分辨率多光譜圖像的捕捉可以包括:基于入射光的一部分形成高空間分辨率圖像。包括多光譜樣本的高光譜分辨率圖像也可以基于入射光的另一部分生成。然后,通過將高空間分辨率圖像與高光譜分辨率圖像合并來(lái)合成高空間分辨率和高光譜分辨率圖像。
[0006]提供本
【發(fā)明內(nèi)容】
是為了以簡(jiǎn)化的形式介紹將在以下具體實(shí)施例中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。
[0007]附圖簡(jiǎn)述
[0008]參考附圖來(lái)描述【具體實(shí)施方式】。在附圖中，附圖標(biāo)記最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在不同的附圖中使用相同的附圖標(biāo)記來(lái)指示相似或相同的項(xiàng)。
[0009]圖1是示出實(shí)現(xiàn)混合相機(jī)工具的示例性方案的框圖。
[0010]圖2是示出混合相機(jī)系統(tǒng)的示例性組件的說明性圖。
[0011]圖3是示出實(shí)現(xiàn)混合相機(jī)工具的電子設(shè)備的所選說明性組件的框圖。
[0012]圖4是示出用于生成高空間分辨率和高光譜分辨率合并圖像的示例過程的流程圖。
[0013]圖5是示出用于將像素的多光譜信息從高光譜分辨率圖像傳播到高空間分辨率圖像的示例過程的流程圖。
[0014]詳細(xì)描述
[0015]在此所描述的實(shí)施例涉及用于實(shí)現(xiàn)混合相機(jī)工具的技術(shù)，所述混合相機(jī)工具捕捉高分辨率多光譜圖像。該混合相機(jī)工具可以組合RGB圖像信息和多光譜圖像數(shù)據(jù)以產(chǎn)生具有高光譜分辨率和高空間分辨率二者的圖像。RGB圖像信息可以使用RGB相機(jī)來(lái)采集，并且多光譜圖像數(shù)據(jù)可以使用灰度相機(jī)來(lái)采集。該混合相機(jī)工具可以通過提供具有較高光譜分辨率的圖像而比獨(dú)立RGB相機(jī)提供更優(yōu)的圖像。該混合相機(jī)工具可以通過提供具有較高空間分辨率的圖像而比獨(dú)立灰度相機(jī)提供更優(yōu)的圖像。因此，不同于用時(shí)間分辨率或空間分辨率換取附加光譜信息的系統(tǒng)，該混合相機(jī)工具不犧牲分辨率來(lái)交換光譜精確度。下面參考圖1-5來(lái)描述根據(jù)實(shí)施例的用于使用混合相機(jī)工具來(lái)提供高空間分辨率和高光譜分辨率圖像的技術(shù)的各個(gè)示例。
[0016]示例方案
[0017]圖1是示出實(shí)現(xiàn)混合相機(jī)工具102的示例方案100的框圖。混合相機(jī)工具102可以包括混合相機(jī)系統(tǒng)104、以及由電子設(shè)備108實(shí)現(xiàn)的圖像合并引擎106?；旌舷鄼C(jī)系統(tǒng)104可以包括捕捉一個(gè)或多個(gè)RGB圖像112的紅、綠、藍(lán)(RGB)相機(jī)110、以及捕捉一個(gè)或多個(gè)灰度圖像116的灰度相機(jī)114。RGB圖像112中的每個(gè)都具有高空間分辨率和低光譜分辨率。例如，RGB圖像112中的每個(gè)都具有比對(duì)應(yīng)灰度圖像116更低的光譜分辨率。相反，灰度圖像116中的每個(gè)都具有低空間分辨率和高光譜分辨率。例如，灰度圖像116中的每個(gè)都具有比對(duì)應(yīng)RGB圖像112更低的空間分辨率。
[0018]RGB相機(jī)110可以如下的相機(jī):該相機(jī)使用基于電荷耦合器件(CCD)的傳感器來(lái)采集三個(gè)獨(dú)立的紅、綠、藍(lán)顏色的數(shù)據(jù)通道，所述數(shù)據(jù)通道表示從場(chǎng)景或物體反射的光。灰度相機(jī)114可以是如下的相機(jī):該相機(jī)使用單個(gè)多光譜CCD傳感器來(lái)采集圖像，該傳感器作為從純白到純黑范圍的各灰色程度來(lái)采集從場(chǎng)景或物體反射的光的強(qiáng)度。RGB相機(jī)110和灰度相機(jī)114中的每個(gè)都能夠捕捉單獨(dú)的圖像或者形成視頻的連續(xù)圖像流。在一些實(shí)施例中，RGB相機(jī)可能能夠以每秒25幀(fps)或更高來(lái)捕捉1024X768像素的分辨率(或其他分辨率)。在其他實(shí)施例中，灰度相機(jī)可能能夠以25fps或更高、以2448X2088像素的分辨率(或其他分辨率)來(lái)捕捉圖像。
[0019]來(lái)自混合相機(jī)系統(tǒng)104的RGB相機(jī)110和灰度相機(jī)114的信號(hào)可以被傳遞給圖像合并引擎106。進(jìn)而，圖像合并引擎106可以使用傳播算法基于顏色相似性和空間接近度將來(lái)自灰度圖像116的多光譜樣本與RGB圖像112中的RGB信息相組合。因此，圖像合并引擎106可以產(chǎn)生一個(gè)或多個(gè)經(jīng)合并的圖像118，所述經(jīng)合并的圖像118具有高空間分辨率和高光譜分辨率二者。在各個(gè)實(shí)施例中，經(jīng)合并的圖像118可以是從RGB圖像112的序列和灰度圖像116的對(duì)應(yīng)序列中實(shí)時(shí)地(例如以25fps或更高的速率)合成的視頻流的一部分。
[0020]示例混合相機(jī)系統(tǒng)
[0021]圖2是示出混合相機(jī)系統(tǒng)104的示例組件的說明性圖?；旌舷鄼C(jī)系統(tǒng)104可以包括RGB相機(jī)110和灰度相機(jī)114?；旌舷鄼C(jī)系統(tǒng)104可以包括不透明的機(jī)殼202，該機(jī)殼202將混合相機(jī)系統(tǒng)104的組件同背景光隔離開。來(lái)自場(chǎng)景或物體204的入射光可以最初通過光圈206進(jìn)入混合相機(jī)系統(tǒng)104并到達(dá)分光器208。分光器208可以將光的一部分沿著路徑210反射，同時(shí)將光的剩余部分的至少一些沿著路徑212透射。在各個(gè)實(shí)施例中，分光器208可以是半反射、半通透分光器，該分光器向RGB相機(jī)110和灰度相機(jī)114提供相等或近似相等的光能。
[0022]來(lái)自分光器208的沿著路徑210行進(jìn)的反射光可以進(jìn)一步被鏡214沿著路徑216反射以到達(dá)RGB相機(jī)110。RGB相機(jī)110然后可以以RGB圖像112的形式從沿著路徑216的光中采集高空間分辨率圖像數(shù)據(jù)。在可替代的實(shí)施例中，RGB相機(jī)110可以被放置在鏡214的位置處，使得沿著路徑210的光直接進(jìn)入RGB相機(jī)110。然而，使用鏡214來(lái)將光重定向成沿著路徑216可以使得混合相機(jī)系統(tǒng)104更加緊湊，因?yàn)镽GB相機(jī)110和灰度相機(jī)114可以被定位得彼此更靠近，即兩個(gè)相機(jī)之間的距離被減小。
[0023]沿著路徑212透射穿過分光器208的光可以被棱鏡218 (或其他某個(gè)光譜色散光學(xué)組件)色散到灰度相機(jī)114上?；叶认鄼C(jī)114可以采集高光譜分辨率灰度圖像116，所述灰度圖像116捕捉來(lái)自場(chǎng)景或物體204的光的眾多光譜通道?？梢匝刂窂?12使用遮擋罩220以對(duì)來(lái)自場(chǎng)景或物體204的光輻射進(jìn)行子采樣，以便防止來(lái)自場(chǎng)景或物體204的不同場(chǎng)景點(diǎn)的光譜的重疊被傳輸?shù)交叶认鄼C(jī)114中。然而，由于該子采樣，到達(dá)灰度相機(jī)114的光可能產(chǎn)生具有低空間分辨率的圖像數(shù)據(jù)。
[0024]在各個(gè)實(shí)施例中，遮擋罩220可以被配置為具有有規(guī)律地間隔開的開口行，比如行222，所述開口被設(shè)計(jì)為將光傳遞到棱鏡218。每個(gè)開口都可以向灰度相機(jī)114提供一個(gè)多光譜樣本。例如，遮擋罩220中的開口 226可以產(chǎn)生多光譜樣本228。在至少一個(gè)實(shí)施例中，所述開口中的每個(gè)都可以是矩形形狀。棱鏡218可以由對(duì)波長(zhǎng)400至1000納米(nm)具有已知折射率的玻璃制成。棱鏡218可以使光沿著特定方向色散，并且正交方向上的多光譜樣本可以任選地被取平均以最小化噪聲。
[0025]因此，遮擋罩220和棱鏡218的布置可以向灰度相機(jī)114提供多光譜樣本。在一個(gè)示例性實(shí)例中，該布置可以相對(duì)于灰度相機(jī)114被配置為使得每個(gè)光譜樣本都在400nm至700nm的波長(zhǎng)上跨越灰度相機(jī)114的灰度傳感器的大致60個(gè)像素,這等價(jià)于大約5nm的光譜分辨率。
[0026]在另外的實(shí)施例中，可以沿著路徑212在分光器208與棱鏡218之間放置濾光器以濾除某些光譜帶。當(dāng)所期望的是僅僅所選范圍的光譜帶到達(dá)灰度相機(jī)114時(shí)，可以實(shí)現(xiàn)濾光器224。
[0027]RGB相機(jī)110和灰度相機(jī)114的操作可以被統(tǒng)一，使得每個(gè)高空間分辨率RGB圖像112都與對(duì)應(yīng)的高光譜分辨率灰度圖像116同時(shí)被捕捉。另外，RGB相機(jī)110和灰度相機(jī)114可以被對(duì)齊以捕捉場(chǎng)景或物體204的相同視圖。另外，可以使用掃掠水平和垂直行的校準(zhǔn)視頻來(lái)實(shí)現(xiàn)由RGB相機(jī)110和灰度相機(jī)114所捕捉的圖像信息的對(duì)應(yīng)性。
[0028]在至少一個(gè)實(shí)施例中，校準(zhǔn)視頻可以使用定位在RGB相機(jī)110和灰度相機(jī)114之前的顯示屏來(lái)呈現(xiàn)，其中所述RGB相機(jī)110和灰度相機(jī)114被對(duì)齊以捕捉相同視圖。掃掠行可以對(duì)照黑背景以白色呈現(xiàn)在顯示屏上。另外，所顯示的掃掠行中的每個(gè)都可以具有與熒光燈相似的光譜峰值的光譜。因此，當(dāng)水平線掃掠到灰度相機(jī)114中的示例性灰度傳感器232的水平傳感器部分230 (例如傳感器元件的水平行)上時(shí)，來(lái)自掃掠水平行的光可以產(chǎn)生來(lái)自水平傳感器部分230的響應(yīng)。相同的掃掠水平行也可以在其觸發(fā)示例性灰度傳感器232中的響應(yīng)的時(shí)刻也觸發(fā)RGB相機(jī)110中的示例性RGB傳感器236的水平傳感器部分234 (例如傳感器元件的水平行)中的類似響應(yīng)。通過這種方式,灰度相機(jī)114和RGB相機(jī)110的對(duì)應(yīng)水平傳感器部分可以被標(biāo)識(shí)出。
[0029]以相同方式，當(dāng)垂直線掃掠到示例性灰度傳感器232的垂直傳感器部分238(例如傳感器兀件的垂直行)上時(shí)，來(lái)自掃掠垂直行的光可以產(chǎn)生來(lái)自垂直傳感器部分238的響應(yīng)。相同的掃掠垂直行也可以在其觸發(fā)示例性灰度傳感器中的響應(yīng)的時(shí)刻也觸發(fā)RGB相機(jī)110中的示例性RGB傳感器236的垂直傳感器部分240 (例如傳感器元件的垂直行)中的類似響應(yīng)。通過這種方式，灰度相機(jī)114和RGB相機(jī)110的對(duì)應(yīng)垂直傳感器部分可以被標(biāo)識(shí)出。基于水平傳感器部分(例如水平傳感器部分230和234)之間的對(duì)應(yīng)性以及垂直傳感器部分(例如垂直傳感器部分238和240)之間的對(duì)應(yīng)性，可以確定各個(gè)多光譜樣本與RGB相機(jī)110的示例性RGB傳感器236所檢測(cè)到的像素的對(duì)應(yīng)性。因此，一旦RGB相機(jī)110和灰度相機(jī)114被校準(zhǔn)，則灰度圖像116中的每個(gè)多光譜樣本點(diǎn)都可以具有對(duì)應(yīng)RGB圖像112中的共享相同入射光的對(duì)應(yīng)像素。
[0030]在各個(gè)實(shí)施例中，混合相機(jī)系統(tǒng)104的設(shè)置可以針對(duì)不同的光譜分辨率進(jìn)行調(diào)整。光譜分辨率可以取決于如下面等式(I)中所示的若干參數(shù):
[0031]光譜分辨率κ(j)
[0032]其中f是灰度相機(jī)114的相機(jī)透鏡242的焦距，η是棱鏡218的折射率，ω是棱鏡角，并且α是入射光角。光譜分辨率可以通過將較大焦距相機(jī)透鏡242用于灰度相機(jī)114來(lái)增加，所述灰度相機(jī)114具有防止傳感器上的光譜重疊的合適遮擋罩220。然而，光譜分辨率的增加可能導(dǎo)致每圖像更少的多光譜樣本，這可能降低傳播精確度。較大焦距的使用還可能導(dǎo)致更少的光能到達(dá)灰度相機(jī)114的傳感器(例如灰度傳感器232)。然而，減小的光能可以通過為每個(gè)圖像增加曝光時(shí)間和/或較低的幀率來(lái)補(bǔ)償。
[0033]在一些實(shí)施例中，RGB相機(jī)110和灰度相機(jī)114可以相對(duì)于不透明的機(jī)殼202被定位為使得來(lái)自光圈206的入射光到達(dá)灰度相機(jī)的相機(jī)透鏡242和RGB相機(jī)110的相機(jī)透鏡244。然而，可以將分別包括傳感器232和236以及相關(guān)聯(lián)的成像處理和傳輸組件的各相機(jī)主體實(shí)現(xiàn)在不透明的機(jī)殼202之外。另外，這兩個(gè)組件的成像處理和傳輸組件可以被集成到單個(gè)電子封裝中而不是作為單獨(dú)的封裝。
[0034]電子設(shè)備組件
[0035]圖3是示出實(shí)現(xiàn)混合相機(jī)工具的電子設(shè)備108的所選說明性組件的框圖。在各實(shí)施例中，電子設(shè)備108可以是通用計(jì)算機(jī)，諸如臺(tái)式計(jì)算機(jī)、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、月艮務(wù)器等。然而，在其它實(shí)施方式中，電子設(shè)備108可以是相機(jī)、智能電話、游戲控制臺(tái)、個(gè)人數(shù)字助理(PDA)等中的一個(gè)。
[0036]電子設(shè)備108可包括一個(gè)或多個(gè)處理器302、存儲(chǔ)器304、和/或使用戶能夠與該電子設(shè)備交互的用戶控制。存儲(chǔ)器304可使用諸如計(jì)算機(jī)存儲(chǔ)介質(zhì)等計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀介質(zhì)包括至少兩種類型的計(jì)算機(jī)可讀介質(zhì)，即計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，RAM、ROM、EEPROM、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備，或者可用于存儲(chǔ)信息以供計(jì)算設(shè)備訪問的任何其他非傳輸介質(zhì)。相反，通信介質(zhì)可在諸如載波之類的已調(diào)制數(shù)據(jù)信號(hào)或其他傳輸機(jī)制中體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。如本文所定義的，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。
[0037]電子設(shè)備108可具有網(wǎng)絡(luò)能力。例如，電子設(shè)備108可經(jīng)由諸如因特網(wǎng)等一個(gè)或多個(gè)網(wǎng)絡(luò)與其他電子設(shè)備(例如，膝上型計(jì)算機(jī)、服務(wù)器等)交換數(shù)據(jù)。在某些實(shí)施方式中，電子設(shè)備108可用諸如云計(jì)算網(wǎng)絡(luò)中的服務(wù)器等的多個(gè)聯(lián)網(wǎng)服務(wù)器來(lái)替換。
[0038]電子設(shè)備108的所述一個(gè)或多個(gè)處理器302和存儲(chǔ)器304可以實(shí)現(xiàn)包括下列各項(xiàng)的組件:圖像合并引擎106、顏色調(diào)整模塊306、跟蹤模塊308、用戶界面模塊310和數(shù)據(jù)存儲(chǔ)312。圖像合并引擎106可以根據(jù)相似性和空間接近度將每個(gè)灰度圖像116中的多光譜數(shù)據(jù)傳播到對(duì)應(yīng)的RGB圖像112中。在各個(gè)實(shí)施例中，圖像合并引擎106可以實(shí)現(xiàn)能夠?qū)崟r(shí)執(zhí)行該傳播的雙邊濾波技術(shù)。因此，圖像合并引擎106可以產(chǎn)生視頻流形式的經(jīng)合并的圖像118。在各個(gè)實(shí)施例中，圖像合并引擎106可以包括多光譜傳播模塊314和時(shí)間增強(qiáng)模塊316。這些模塊可包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序指令、物體和/或數(shù)據(jù)結(jié)構(gòu)。
[0039]雙邊濾波技術(shù)可以考慮到灰度圖像116的光強(qiáng)和其對(duì)應(yīng)RGB圖像112的光強(qiáng)的差異。由于使用遮擋罩220，RGB圖像112可能包括與來(lái)自對(duì)應(yīng)灰度圖像116的多光譜樣本不對(duì)應(yīng)的一個(gè)或多個(gè)RGB像素、以及與來(lái)自對(duì)應(yīng)灰度圖像116的多光譜數(shù)據(jù)具有對(duì)應(yīng)性的一個(gè)或多個(gè)RGB像素。例如，分辨率為pXq像素的RGB圖像和分辨率為mXn (m〈p，n〈q)的對(duì)應(yīng)多光譜灰度圖像的重疊可以產(chǎn)生示例性的組合幀318。在幀318中，可能存在具有對(duì)應(yīng)多光譜樣本的RGB像素(被示為陰影像素)(在此稱為“相關(guān)聯(lián)的像素”)、以及不具有對(duì)應(yīng)多光譜樣本的RGB像素(被示為非陰影像素)(在此稱為“不相關(guān)聯(lián)的像素”)。如所示那樣，像素320是示例性的相關(guān)聯(lián)的像素，其具有對(duì)應(yīng)的多光譜樣本，而像素322是示例性的不相關(guān)聯(lián)的像素，其缺少對(duì)應(yīng)多光譜樣本。
[0040]然而，多光譜傳播模塊314可以基于每個(gè)不相關(guān)聯(lián)的像素與周圍的相關(guān)聯(lián)的像素之間的顏色相似性和空間距離為每個(gè)不相關(guān)聯(lián)的像素導(dǎo)出多光譜數(shù)據(jù)。
[0041]參照示例性幀318，多光譜傳播模塊314可以等式(2)中的如下方式為每個(gè)不相關(guān)聯(lián)的像素(i，j)從其相鄰的相關(guān)聯(lián)的像素中計(jì)算多光譜信息:
【權(quán)利要求】
1.一種設(shè)備，包括: 分光器，用以將入射光分成第一光部分和第二光部分； 第一相機(jī)，其基于所述第一光部分記錄紅、綠、藍(lán)(RGB)圖像； 遮擋罩，其對(duì)來(lái)自所述第二光部分的光輻射進(jìn)行子采樣以提供多光譜樣本；以及 第二相機(jī)，其記錄包括所述多光譜樣本的灰度圖像。
2.如權(quán)利要求1所述的設(shè)備，其特征在于，還包括圖像合并引擎，所述圖像合并引擎合成經(jīng)合并的圖像，所述經(jīng)合并的圖像具有從所述RGB圖像導(dǎo)出的空間分辨率以及從所述灰度圖像導(dǎo)出的光譜分辨率。
3.如權(quán)利要求1所述的設(shè)備，其特征在于，還包括不透明的機(jī)殼，所述不透明的機(jī)殼包括用以將所述入射光傳遞給所述分光器的光圈，所述不透明的機(jī)殼至少包圍所述分光器、所述遮擋罩以及棱鏡。
4.權(quán)利要求1所述的設(shè)備，其特征在于，還包括鏡，所述鏡以減少第一相機(jī)與第二相機(jī)之間的距離的角度將所述第一光部分從所述分光器反射到所述第一相機(jī)。
5.權(quán)利要求1所述的設(shè)備，其特征在于，還包括棱鏡或另一光譜色散光學(xué)組件，所述棱鏡或所述另一光譜色散光學(xué)組件沿著初始方向?qū)⑺龅诙獠糠稚ⅲ⑶依盟隼忡R或所述另一光譜色散光學(xué)組件，所述多光譜樣本在正交于所述初始方向的另一方向上被取平均。
6.權(quán)利要求1所述的設(shè)備，其特征在于，還包括濾光器，所述濾光器對(duì)所述第二光部分進(jìn)行過濾以移除所述第二光部分的一個(gè)或多個(gè)光譜帶。
7.一種方法，包括: 從入射光的第一部分中形成高空間分辨率圖像； 基于所述入射光的第二光部分生成包括多光譜樣本的高光譜分辨率圖像，所述高光譜分辨率圖像比所述高空間分辨率圖像具有更低空間分辨率和更高光譜分辨率；以及 將所述高空間分辨率圖像與所述高光譜分辨率圖像合并以生成經(jīng)合并的圖像，所述經(jīng)合并的圖像具有所述高空間分辨率圖像的空間分辨率和所述高光譜分辨率圖像的光譜分辨率。
8.權(quán)利要求7所述的方法，其特征在于，還包括:將所述入射光分成所述第一光部分和所述第二光部分。
9.權(quán)利要求7所述的方法，其特征在于，還包括:對(duì)所述經(jīng)合并的圖像執(zhí)行顏色調(diào)整。
10.權(quán)利要求7所述的方法，其特征在于，所述高光譜分辨率圖像是基于紅、綠、藍(lán)顏色通道數(shù)據(jù)被編碼的紅、綠、藍(lán)(RGB)圖像，并且其中所述高光譜分辨率圖像是灰度圖像。
11.如權(quán)利要求7所述的方法，其特征在于，所述生成包括: 使所述第二光部分穿過對(duì)來(lái)自所述第二光部分的光輻射進(jìn)行子采樣的遮擋罩以生成所述多光譜樣本； 將所述第二光部分沿著初始方向色散，并且由此所述多光譜樣本在正交于所述初始方向的另一方向上被取平均；以及 記錄包括所述多光譜樣本的高光譜分辨率圖像。
12.如權(quán)利要求7所述的方法，其特征在于，所述合并包括: 標(biāo)識(shí)出所述高空間分辨率圖像中的具有來(lái)自所述高光譜分辨率圖像的對(duì)應(yīng)多光譜樣本的相關(guān)聯(lián)的像素； 標(biāo)識(shí)出所述高空間分辨率圖像中的缺少來(lái)自所述高光譜分辨率圖像的對(duì)應(yīng)多光譜樣本的不相關(guān)聯(lián)的像素；以及 將多光譜信息從一個(gè)或多個(gè)相鄰的相關(guān)聯(lián)的像素傳播到每個(gè)不相關(guān)聯(lián)的像素。
13.權(quán)利要求12所述的方法，其特征在于，還包括通過如下方式來(lái)標(biāo)識(shí)出另一相關(guān)聯(lián)的像素:使用光流從時(shí)間上在所述高空間分辨率圖像之前的另一高空間分辨率圖像中采集附加的多光譜樣本。
14.權(quán)利要求12所述的方法，其特征在于，所述傳播包括:將所述多光譜信息以每通道的基礎(chǔ)傳播到不相關(guān)聯(lián)的像素的多個(gè)RGB通道中的每個(gè)，并且對(duì)所述多個(gè)RGB通道的光譜值求和以獲得所述不相關(guān)聯(lián)的像素的完全光譜。
15.一種計(jì)算設(shè)備，包括: 一個(gè)或多個(gè)處理器；以及 存儲(chǔ)器，其包括多個(gè)計(jì)算機(jī)可執(zhí)行組件，所述多個(gè)計(jì)算機(jī)可執(zhí)行組件包括: 多光譜傳播組件，其從高空間分辨率圖像和在高光譜分辨率圖像中捕捉的多光譜樣本中生成經(jīng)合并的圖像，所述高空間分辨率圖像比所述高光譜分辨率圖像具有更低的光譜分辨率和更高的空間分辨率；以及 時(shí)間增強(qiáng)組件，其通過光流從時(shí)間上在所述高空間分辨率圖像之前的至少一個(gè)附加的高空間分辨率圖像中采集 所述多光譜樣本中的一個(gè)或多個(gè)。
16.如權(quán)利要求15所述的計(jì)算設(shè)備，其特征在于，還包括顏色調(diào)整組件，所述顏色調(diào)整組件自動(dòng)調(diào)整所述經(jīng)合并的圖像的一個(gè)或多個(gè)顏色。
17.如權(quán)利要求15所述的計(jì)算設(shè)備，其特征在于，多光譜傳播組件從對(duì)應(yīng)高空間分辨率圖像和高光譜分辨率圖像中生成多個(gè)經(jīng)合并的圖像，還包括跟蹤組件，所述跟蹤組件跟蹤在所述多個(gè)經(jīng)合并的圖像中所捕捉的物體。
18.如權(quán)利要求15所述的計(jì)算設(shè)備，其特征在于，所述多光譜樣本中的至少一些是從穿過遮擋罩和棱鏡的光中生成的。
19.如權(quán)利要求15所述的計(jì)算設(shè)備，其特征在于，所述多光譜傳播組件通過如下方式生成所述經(jīng)合并的圖像: 標(biāo)識(shí)出所述高空間分辨率圖像中的具有來(lái)自所述高光譜分辨率圖像的對(duì)應(yīng)多光譜樣本的相關(guān)聯(lián)的像素； 標(biāo)識(shí)出所述高空間分辨率圖像中的缺少來(lái)自所述高光譜分辨率圖像的對(duì)應(yīng)多光譜樣本的不相關(guān)聯(lián)的像素；以及 將多光譜信息從一個(gè)或多個(gè)相鄰的相關(guān)聯(lián)的像素傳播到每個(gè)不相關(guān)聯(lián)的像素。
20.如權(quán)利要求15所述的計(jì)算設(shè)備，其特征在于，所述多光譜傳播組件將所述多光譜樣本中的多光譜信息以每通道的基礎(chǔ)傳播到不相關(guān)聯(lián)的像素的多個(gè)RGB通道中的每個(gè)，并且對(duì)所述多個(gè)RGB通道的光譜值求和以獲得所述不相關(guān)聯(lián)的像素的完全光譜。
【文檔編號(hào)】H04N9/09GK103609102SQ201180071639
【公開日】2014年2月26日 申請(qǐng)日期:2011年6月15日 優(yōu)先權(quán)日:2011年6月15日
【發(fā)明者】S·S·林, X·童, X·曹 申請(qǐng)人:微軟公司