本公開(kāi)涉及成像系統(tǒng)。
背景技術(shù)：
：常規(guī)的數(shù)字圖像和視頻是使用單通道(例如，灰度)傳感器或使用三通道(例如，紅、綠、藍(lán))傳感器來(lái)捕捉的?！俺庾V”(或“多光譜”)數(shù)字圖像和視頻使用光譜儀或其他設(shè)備來(lái)捕捉，這些光譜儀或其他設(shè)備提供超過(guò)三個(gè)通道(每一通道對(duì)應(yīng)于相應(yīng)的波長(zhǎng)范圍(“通帶”))的信息或者在諸如可見(jiàn)光譜(例如，400-700nm)之類的寬光譜通帶上提供信息。超光譜圖像不限于可見(jiàn)光譜，而是還可包括例如紅外線(>700nm)或紫外線(<400nm)范圍內(nèi)的通帶。在一些現(xiàn)有超光譜成像系統(tǒng)中，使用光譜儀來(lái)例如以光柵模式連續(xù)地測(cè)量與每一個(gè)成像像素相對(duì)應(yīng)的光的光譜。在一些現(xiàn)有超光譜成像系統(tǒng)中，采取對(duì)場(chǎng)景的連續(xù)曝光，每一通帶一次曝光。技術(shù)實(shí)現(xiàn)要素：本文描述了高速超光譜(HSHS)視頻。處理全色視頻和超光譜快照以生成HSHS視頻幀。例如，HSHS視頻可包括處于比超光譜快照更高的幀率的幀。在一些示例中，字典組件至少部分地基于全色視頻來(lái)構(gòu)建圖塊(patch)字典。重構(gòu)組件至少部分地基于圖塊字典、全色視頻和超光譜快照來(lái)確定HSHS幀。附圖說(shuō)明在各附圖中，使用相同的標(biāo)號(hào)來(lái)指示相同的特征和組件。圖1是在其中實(shí)現(xiàn)高速超光譜視頻成像的示例環(huán)境的框圖。圖2是示出高速超光譜成像的示例數(shù)據(jù)流的框圖。圖3是用于生成高速超光譜(HSHS)視頻的示例方法的流程圖。圖4是用于構(gòu)建圖塊字典的示例方法的流程圖。圖5是實(shí)現(xiàn)高速超光譜視頻成像的示例計(jì)算設(shè)備的所選組件的框圖。圖6是示例成像系統(tǒng)的框圖。具體實(shí)施方式以下討論涉及生成高速超光譜(HSHS)視頻數(shù)據(jù)。在所述示例實(shí)施例中，通過(guò)將超光譜信息與單帶(例如，寬帶，即此處的“全色”)信息相組合來(lái)提供HSHS視頻，而不是只根據(jù)超光譜數(shù)據(jù)捕捉來(lái)組裝HSHS視頻。在一些示例中，全色視頻幀具有比超光譜成像器或其他捕捉設(shè)備更短的幀時(shí)間。各方面提供了比現(xiàn)有方案更高的光利用效率。各方面基于全色信息來(lái)訓(xùn)練圖塊字典，并使用該字典來(lái)利用壓縮傳感技術(shù)高效地構(gòu)造HSHS視頻。圖1示出了其中處理HSHS視頻的示例環(huán)境100。在所示示例中，環(huán)境100包括可包括或者通信地耦合到顯示設(shè)備104的計(jì)算設(shè)備102。計(jì)算設(shè)備102表示可接收和處理視頻內(nèi)容的任何類型的設(shè)備。作為示例而非限制，計(jì)算設(shè)備102可被實(shí)現(xiàn)為啟用因特網(wǎng)的電視機(jī)、電視機(jī)機(jī)頂盒、游戲控制臺(tái)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)或智能電話。在所示示例中，計(jì)算設(shè)備102包括或通信地連接到被描繪為相機(jī)的全色成像器106。如此處所使用的術(shù)語(yǔ)“全色”指的是對(duì)所選范圍內(nèi)的波長(zhǎng)敏感的成像器或傳感器。在一些示例中，該范圍涵蓋一個(gè)或多個(gè)光譜通帶，如下所述。全色成像器106可包括被配置成捕捉或以其他方式提供全色視頻110或可被處理以提供全色視頻110的數(shù)據(jù)的一個(gè)或多個(gè)全色傳感器108或其他系統(tǒng)。在所示示例中，全色成像器106提供場(chǎng)景112的全色視頻110。在該示例中，場(chǎng)景112包括正在跨欄的一個(gè)人。該示例場(chǎng)景112是出于說(shuō)明的目的，而不是限制。示例全色傳感器108可包括智能電話前向和后向相機(jī)、光傳感器(例如，CdS光敏電阻器或光敏晶體管)、照片成像器(例如，電耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器等)、視頻成像器(例如，CCD或CMOS)、指紋讀取器、視網(wǎng)膜掃描儀、虹膜掃描儀、計(jì)算機(jī)射線照相掃描儀，等等。全色傳感器108可包括例如不具有貝爾或其他彩色濾光器陣列或具有對(duì) 于傳感器的每一個(gè)像素具有基本上相同的光譜透射率的彩色濾光器陣列的CCD或CMOS傳感器。在所示示例中，計(jì)算設(shè)備102包括或通信地連接到被描繪為相機(jī)的超光譜成像器114，該超光譜成像器包括被配置成捕捉或以其他方式提供場(chǎng)景112的超光譜快照118或可被處理以提供超光譜快照118的數(shù)據(jù)的一個(gè)或多個(gè)超光譜傳感器116。在一些示例中，超光譜快照118包括一個(gè)或多個(gè)光譜通帶的數(shù)據(jù)。在一些示例中，超光譜快照118包括例如由諸如以下參考圖6討論的檢測(cè)器輸出的編碼數(shù)據(jù)。如此處所使用的，提供寬光譜范圍(例如，可見(jiàn)光范圍或>100nm寬或200nm寬的范圍)內(nèi)的數(shù)據(jù)的超光譜成像器114被認(rèn)為具有大量小光譜通帶，例如1nm寬。例如，對(duì)超過(guò)三個(gè)通道的超光譜圖像的引用包括由這一寬帶成像器提供的圖像。例如，超光譜傳感器116可包括以上參考全色傳感器108描述的類型的一個(gè)或多個(gè)傳感器，例如CCD或CMOS傳感器。超光譜傳感器116可包括例如一個(gè)或多個(gè)彩色濾光器陣列，包括具有與CCD或CMOS傳感器的相應(yīng)的不同像素相對(duì)應(yīng)的相應(yīng)的不同光譜透射率的濾光器。在一些示例中，超光譜成像器114是或包括快照光譜成像器。示例快照光譜成像器可包括但不限于具有雙漫射器(DD-CASSI)或單漫射器(SD-CASSI)的編碼光圈快照光譜成像器(CASSI)。這些和其他快照光譜成像器具有用單次“拍攝”(曝光)來(lái)恢復(fù)完整的超光譜圖像的能力。在一些示例中，超光譜成像器14是或包括使用空間調(diào)光器來(lái)調(diào)制入射光以使得傳感器能夠捕捉到超光譜快照的雙重編碼壓縮超光譜成像器(DCSI)。在一些示例中，超光譜成像器114是或包括CASSI，該CASSI可包括一個(gè)或多個(gè)色散器和編碼光圈以便將三維(3-D)空間光譜信息在光學(xué)上編碼在二維(2-D)檢測(cè)器上。完整的超光譜圖像可使用壓縮傳感技術(shù)通過(guò)計(jì)算重構(gòu)來(lái)恢復(fù)。基于CASSI的快照超光譜成像器114的附加細(xì)節(jié)以下參考圖6來(lái)描述。在一些示例中，超光譜成像器114是或包括空間光譜編碼壓縮超光譜成像器(SSCSI)，該SSCSI類似于CASSI，但色散器和編碼光圈具有相反的相對(duì)次序。在一些示例中，全色成像器106和超光譜成像器114通過(guò)分束器(未示出) 來(lái)查看場(chǎng)景112。這些配置的示例在下文中參考圖6討論。在一些示例中，全色成像器106和超光譜成像器114沿著各自不同的光路查看場(chǎng)景112，例如沿著分開(kāi)小于10°或小于5°的路徑。計(jì)算設(shè)備102包括至少一個(gè)處理器120以及被配置成存儲(chǔ)全色視頻110和超光譜快照118的存儲(chǔ)器122。存儲(chǔ)器122還可存儲(chǔ)字典組件124、重構(gòu)組件126和視頻渲染組件128中的一個(gè)或多個(gè)，這些組件被存儲(chǔ)在存儲(chǔ)器122中并且可以在至少一個(gè)處理器120上執(zhí)行。字典組件124可被配置成至少部分地基于全色視頻110(例如，捕捉到或已存儲(chǔ)的全色視頻110)來(lái)確定圖塊字典。重構(gòu)組件126可被配置成至少部分地基于圖塊字典、全色視頻110和超光譜快照118來(lái)確定高速超光譜(HSHS)視頻中的至少一幀。視頻渲染組件128可被配置成渲染HSHS視頻的至少一部分以供經(jīng)由顯示設(shè)備104來(lái)顯示。在所示示例中，環(huán)境100、字典組件124、重構(gòu)組件126和視頻渲染組件128各自可以是操作系統(tǒng)(未示出)的組件或者以其他方式在計(jì)算設(shè)備102上本地地存儲(chǔ)或執(zhí)行。然而，在其他示例中，這些系統(tǒng)組件中的一個(gè)或多個(gè)可被實(shí)現(xiàn)為分布式系統(tǒng)的一部分，例如實(shí)現(xiàn)為基于云的服務(wù)的一部分或者另一應(yīng)用的組件。在一些示例中，處理器120可以經(jīng)由諸如因特網(wǎng)等網(wǎng)絡(luò)132來(lái)與服務(wù)器130通信。服務(wù)器130可主存字典組件124、重構(gòu)組件126和視頻渲染組件128中的一個(gè)或多個(gè)，并且可以經(jīng)由網(wǎng)絡(luò)132與計(jì)算設(shè)備102交換數(shù)據(jù)以執(zhí)行本文描述的處理。網(wǎng)絡(luò)132可包括有線電視網(wǎng)、射頻(RF)微波、衛(wèi)星和/或諸如因特網(wǎng)等數(shù)據(jù)網(wǎng)絡(luò)，并且還可使用諸如廣播、單播或多播等任何格式和/或協(xié)議來(lái)支持有線或無(wú)線介質(zhì)。另外，網(wǎng)絡(luò)132可以是使用任何類型的網(wǎng)絡(luò)拓?fù)浜腿魏尉W(wǎng)絡(luò)通信協(xié)議的任何類型的網(wǎng)絡(luò)(有線或無(wú)線)，且可被表示為或以其它方式實(shí)現(xiàn)為兩個(gè)或更多網(wǎng)絡(luò)的組合。圖2示出了高速超光譜成像的示例數(shù)據(jù)流200。在圖2中，快照、視頻和圖像幀在圖形上用X和Y空間維度來(lái)水平地和垂直地表示，并且時(shí)間沿“t”軸向該附圖的平面內(nèi)增長(zhǎng)。在所示示例中，全色成像器106和超光譜成像器114對(duì)場(chǎng)景112進(jìn)行成像(例如，同時(shí))。全色成像器106提供全色視頻110，且超光譜成像器114提供超光譜快照118。示出了全色視頻110的四個(gè)說(shuō)明性幀 202、204、206和208，并且這些幀包括在各自不同的時(shí)間(通過(guò)其在對(duì)角“t”軸上的間隔來(lái)表示)表示場(chǎng)景112的圖像內(nèi)容。在一些示例中，全色視頻110對(duì)應(yīng)于超光譜快照118的幀時(shí)間。如此處所使用的，“幀時(shí)間”(例如，以秒計(jì))指的是幀率的倒數(shù)，而“幀率”(例如，以赫茲(s-1)計(jì))指的是成像器在所選條件下持續(xù)地操作時(shí)在給定時(shí)間量(例如，1s)內(nèi)能夠輸出的幀數(shù)。幀率可以是分?jǐn)?shù)，例如對(duì)于400ms幀時(shí)間，幀率對(duì)應(yīng)于2.5s-1(2.5Hz)的幀率。幀率可以例如由成像器或驅(qū)動(dòng)該成像器的電子裝置來(lái)確定。在所示示例中，超光譜快照118的幀時(shí)間對(duì)應(yīng)于四個(gè)捕捉到的全色幀202-208。在該示例中，超光譜快照118的幀時(shí)間包括分別對(duì)應(yīng)于全色幀202、204、206和208的幀時(shí)間210、212、214和216。高速超光譜(HSHS)視頻幀可被重構(gòu)為所生成的超光譜視頻幀218，如下所述。各個(gè)超光譜視頻幀218可包括一個(gè)或多個(gè)光譜通帶的數(shù)據(jù)。例如，在一個(gè)非限制性示例中，曲線222描繪了四個(gè)通帶。一個(gè)超光譜快照118可包括所有這四個(gè)通帶的數(shù)據(jù)?；蛘撸粋€(gè)超光譜快照118可包括一個(gè)或多個(gè)光譜通帶的數(shù)據(jù)或少于超光譜成像器114的所有光譜通帶的數(shù)據(jù)。在一些示例中，所生成的超光譜視頻幀218中的一個(gè)或多個(gè)包括多個(gè)光譜通帶(在圖形上被表示為λ1、λ2……)的數(shù)據(jù)。在一些示例中，超光譜快照18可包括一個(gè)或多個(gè)、兩個(gè)或更多、三個(gè)或更多、四個(gè)或更多、超過(guò)三個(gè)或超過(guò)四個(gè)光譜通帶的數(shù)據(jù)。在一些示例中，所生成的超光譜視頻幀218中的一個(gè)或多個(gè)可包括一個(gè)或多個(gè)、兩個(gè)或更多、三個(gè)或更多、四個(gè)或更多、超過(guò)三個(gè)或超過(guò)四個(gè)光譜通帶的數(shù)據(jù)。在一些示例中，超光譜成像器114相對(duì)于全色成像器106同步操作。這不要求超光譜成像器114和全色成像器106恰好同時(shí)被觸發(fā)，而不只要求協(xié)調(diào)它們的曝光時(shí)間。例如，全色成像器106可被配置成在超光譜成像器114的幀時(shí)間期間捕捉全色視頻110的多個(gè)幀202-208，如上所述。幀時(shí)間可以例如在成像器完成一個(gè)幀的輸出后立即開(kāi)始，并延續(xù)直到該成像器完成下一幀的輸出。幀時(shí)間可另選地在成像器開(kāi)始輸出一個(gè)幀時(shí)或者在成像器開(kāi)始或結(jié)束對(duì)一個(gè)幀的捕捉時(shí)開(kāi)始，并延續(xù)至下一幀的對(duì)應(yīng)事件。在一些示例中，對(duì)于全色幀時(shí)間τp和整數(shù)i≥0，全色成像器106在時(shí)間t＝τpi捕捉幀。在該示例中，t＝0是參照全色成像器106來(lái)定義的。在該示例 中，對(duì)于超光譜幀時(shí)間τh以及相對(duì)于參照全色成像器106來(lái)定義的時(shí)基t以秒計(jì)的超光譜相位φh，超光譜成像器114在時(shí)間t＝τhi+φh捕捉超光譜快照118。超光譜相位也可以是用度來(lái)表達(dá)為(φh/τp)×360°。在一示例中，φh≈0且τh＝Kτp，其中K可被稱為表示全色成像器106相對(duì)于超光譜成像器114的更高速度的“加速率”。曲線220在圖形上表示全色成像器106的示例光譜通帶。X軸表示頻率，且Y軸表示透射百分比(％T)，例如以發(fā)光或輻射單位。曲線222(被示為具有四個(gè)不同線型)在與曲線220相同的軸上并且用與曲線220相同的水平比例來(lái)表示超光譜成像器114的四個(gè)光譜通帶。在該示例中，超光譜成像器114捕捉與超光譜成像器114的一個(gè)或多個(gè)光譜通帶(曲線222)相對(duì)應(yīng)的數(shù)據(jù)，并且全色成像器106捕捉與至少涵蓋超光譜成像器114的一個(gè)或多個(gè)光譜通帶(曲線222)的光譜通帶(曲線220)相對(duì)應(yīng)的數(shù)據(jù)。如圖所示，超光譜成像器114的光譜通帶(曲線222)可以重疊或隔開(kāi)，并且可具有各自不同的最高％T值。也如圖所示，全色成像器106的光譜通帶(曲線220)或者超光譜成像器114的通帶(曲線222)可具有跨通帶變化的％T值。在一些示例中，超光譜成像器114的一個(gè)光譜通帶的至少一部分延伸超過(guò)全色成像器106的光譜通帶，或者超過(guò)全色成像器106的光譜通帶中的全色成像器106具有該全色成像器106的峰值感光度的50％的點(diǎn)。在一些示例中，超光譜快照118包括例如編碼形式的多個(gè)光譜通帶的數(shù)據(jù)，如以下參考圖6討論的。字典組件124至少部分地基于全色視頻110來(lái)構(gòu)建或以其他方式確定圖塊字典224。例如，字典組件124至少部分地基于全色視頻110中的一個(gè)或多個(gè)幀的一個(gè)或多個(gè)像素的像素值或其他圖像數(shù)據(jù)來(lái)確定圖塊字典224中的一個(gè)或多個(gè)字典圖塊。在一些示例中，字典組件124可僅僅基于全色視頻(即，并非還基于超光譜快照118或從超光譜快照118導(dǎo)出)來(lái)確定圖塊字典中的一個(gè)或多個(gè)字典圖塊。圖塊字典224可包括多個(gè)字典圖塊。字典組件124可以至少部分地基于一個(gè)或多個(gè)訓(xùn)練圖塊來(lái)確定一個(gè)或多個(gè)字典圖塊。訓(xùn)練圖塊或字典圖塊中的各個(gè)圖塊可包括圖像或圖像的各部分的像素?cái)?shù)據(jù)。例如，訓(xùn)練圖塊中的特定訓(xùn)練圖塊可包括從全色視頻110中的多個(gè)幀202-208中取得的多個(gè)像素高且多個(gè)像素 寬的相應(yīng)樣本。在所示示例中，捕捉到的全色視頻110在空間上通過(guò)用全色視頻110的幀202上的粗虛線來(lái)表示的邊界226來(lái)分割。特定字典圖塊或訓(xùn)練圖塊可包括來(lái)自全色視頻110中的相應(yīng)幀202-208的一個(gè)或多個(gè)樣本，例如在空間上通過(guò)邊界226來(lái)劃界。在一示例中，一個(gè)樣本可包括來(lái)自幀202、204、206和208中的部分或全部中的空間區(qū)域228的圖像內(nèi)容，例如來(lái)自全色視頻110中的多個(gè)連續(xù)幀202、204、206和208或者來(lái)自全色視頻110中的并非全部連續(xù)的多個(gè)幀。在一些示例中，字典組件124通過(guò)K-奇異值分解(K-SVD)或其他字典學(xué)習(xí)算法來(lái)確定圖塊字典224，如下所述。在一些示例中，顯示設(shè)備114具有所選幀次序，例如交織或漸進(jìn)幀次序。在這些示例中的某一些中，字典組件124被配置成至少部分地基于顯示設(shè)備104的所選幀次序來(lái)選擇用于圖塊字典224的字典圖塊。例如，對(duì)于交織顯示設(shè)備104，字典組件124可以每隔一個(gè)幀來(lái)選擇像素以形成樣本圖塊。這將重構(gòu)(以下討論)與顯示設(shè)備104的需求相匹配，并且可提高重構(gòu)的超光譜幀的重構(gòu)質(zhì)量和圖像質(zhì)量。重構(gòu)組件126至少部分地基于圖塊字典224、全色視頻110和超光譜快照118來(lái)生成一個(gè)或多個(gè)所生成的超光譜視頻幀218。所生成的幀218在此被稱為高速超光譜(HSHS)視頻中的幀。在一些示例中，HSHS幀218包括來(lái)自超光譜快照118和全色視頻110的時(shí)間內(nèi)插數(shù)據(jù)。在一些示例中，重構(gòu)組件126可生成分別對(duì)應(yīng)于全色幀202、204、206和208的四個(gè)HSHS幀218。所生成的HSHS幀218被示為HSHS幀230、232、234和236。HSHS幀218可通過(guò)對(duì)壓縮傳感方程求解(例如，使用正交匹配跟蹤(OMP)或其他求解器算法)來(lái)生成?？墒褂玫钠渌蠼馄靼ɡ缁?BP)、焦點(diǎn)欠定系統(tǒng)求解器(FOCUSS)和匹配跟蹤(MP)。在一些示例中，重構(gòu)組件126進(jìn)一步基于全色成像器或超光譜成像器的所選成像特性來(lái)生成至少一個(gè)HSHS幀218，如以下參考等式(6)所討論的。在一些示例中，重構(gòu)組件126至少部分地基于圖塊字典224和全色視頻110中的多個(gè)幀202-208來(lái)生成多個(gè)HSHS幀218。在一些示例中，重構(gòu)組件126僅僅基于圖塊字典224、全色視頻110中的多個(gè)幀202-208以及超光譜快 照118(即，不使用基于超光譜快照118或例如使用本文描述的訓(xùn)練技術(shù)來(lái)從超光譜快照118導(dǎo)出的字典)來(lái)生成HSHS幀218。在所示示例中，視頻渲染組件128渲染HSHS視頻的至少一部分(例如，至少一個(gè)HSHS幀218)以供經(jīng)由顯示設(shè)備104來(lái)顯示。在一些示例中，視頻渲染組件128組裝所生成的HSHS幀218(例如，幀230、232、234和236)以形成完整的HSHS視頻238。HSHS視頻238的重構(gòu)可使用壓縮傳感(CS)技術(shù)來(lái)執(zhí)行。CS有時(shí)被用來(lái)壓縮或恢復(fù)諸如稀疏傳感器數(shù)據(jù)之類的稀疏數(shù)據(jù)。壓縮傳感涉及使用投影矩陣Φ來(lái)將稀疏數(shù)據(jù)的P個(gè)樣本變換成M個(gè)系數(shù)，M<<P。這些稀疏數(shù)據(jù)樣本和系數(shù)可被表示為向量。M個(gè)系數(shù)然后可被存儲(chǔ)或傳送到接收者。為了恢復(fù)P個(gè)樣本，使用投影矩陣Φ和M個(gè)系數(shù)來(lái)執(zhí)行逆計(jì)算。由于M<<P，因此對(duì)于該逆計(jì)算存在可能無(wú)限數(shù)量的可能解。然而，對(duì)于稀疏數(shù)據(jù)，可能解中的最稀疏的解具有是P樣本稀疏數(shù)據(jù)向量的高概率?？捎脭?shù)量的系數(shù)M受到數(shù)據(jù)有多稀疏的限制。稀疏性通常使用作為P樣本數(shù)據(jù)向量中的非零系數(shù)的數(shù)量的稀疏性值KS來(lái)度量。在一示例中，M≥KSlog(P/KS)。在一些示例中，全色視頻110中的幀202-208以及超光譜快照118形成從中可使用CS技術(shù)來(lái)恢復(fù)P樣本HSHS視頻238的M個(gè)系數(shù)。圖塊字典224可用來(lái)以遵從CS重構(gòu)的稀疏方式表示HSHS視頻238。不失一般性，考慮一個(gè)超光譜快照118以及與超光譜快照118同時(shí)捕捉到的K個(gè)全色幀(例如，幀202-208)。在所示示例中，K＝4。將GC定義為超光譜快照118，并將定義為全色視頻110中的幀i(例如，可對(duì)應(yīng)于幀202，而可對(duì)應(yīng)于幀208)。不失一般性，每一個(gè)G都包括例如以光柵掃描次序排列在列向量中的像素?cái)?shù)據(jù)值。將Fi，i∈[1，K]定義為HSHS視頻238中的幀i。將Φ定義為表示全色成像器106和超光譜成像器114的成像特性的矩陣。然后，所度量的數(shù)據(jù)可被表示為矩陣G：G=GCG1p...GKp---(1)]]>并且未知HSHS視頻可被表示為矩陣F：F=F1...Fk---(2)]]>所度量的數(shù)據(jù)和未知視頻通過(guò)成像特性矩陣Φ來(lái)被相關(guān)為：G＝ΦF(3)式(3)中的公式可被反轉(zhuǎn)以使用如式(4)所示的CS技術(shù)來(lái)對(duì)F求解：其中F＝Dοα(5)適當(dāng)?shù)剡x擇“ο”運(yùn)算符(例如，矩陣-向量乘法)，并且其中D是具有與“ο”運(yùn)算符和α兼容的維度大小和數(shù)量(例如，具有與向量α中的行相同的列數(shù))的圖塊字典224。即，Dοα是F的M系數(shù)稀疏表示，因此Dοα可通過(guò)對(duì)等式(4)求解來(lái)從P樣本向量G中找到。在一些示例中，α是列向量，并且D是字典圖塊沿各列向下排列的矩陣。在這些示例中，D具有n列(每一個(gè)字典圖塊一列)m行，其中m是字典圖塊中的像素值的數(shù)量。在一些示例中，對(duì)于某一整數(shù)k1，n＝4m或者n＝k1m。在一些示例中，m＝6×6×K或者其中輸入圖像是w像素寬且h像素高，并且使用像素百分比p，0＜p≤1。在一示例中，w＝h＝600且p＝0.01。字典圖塊可形成正交或規(guī)格化正交基礎(chǔ)，但這并非是必需的。在一些示例中，如本文描述的HSHS成像系統(tǒng)的成像特性的矩陣Φ在等式6中被定義為：其中Φc是超光譜成像器114的觀察矩陣(對(duì)給定刺激的響應(yīng))，而Φp是全色成像器106的觀察矩陣。在一些示例中Φ及其分量觀察矩陣至少部分地基于全色成像器106或超光譜成像器114的光學(xué)系統(tǒng)的物理屬性或者全色傳感器108或超光譜傳感器116的光譜響應(yīng)函數(shù)來(lái)確定。在一些示例中，為了提高Dοα的稀疏性，D被確定為過(guò)完備字典，例如可被表示為非稀疏矩陣且具有比提供在所選容錯(cuò)水平內(nèi)對(duì)應(yīng)于全色視頻110中的各幀以及超光譜快照118的重構(gòu)的HSHS視頻238(F)所必需的字典圖塊更多的字典圖塊的字典。在超光譜快照118中的圖像數(shù)據(jù)與全色視頻110中的相應(yīng)幀中的圖像數(shù)據(jù)之間經(jīng)常存在強(qiáng)相關(guān)性。例如，由于超光譜快照118和全色視頻110中的幀202可被同時(shí)捕捉到，因此超光譜快照118和幀202表示大致相同的場(chǎng)景112，因此在大致相似的位置具有邊緣和空間細(xì)節(jié)。因此，在一些示例中，使用來(lái)自全色視頻110的數(shù)據(jù)來(lái)訓(xùn)練字典D提供與將要重構(gòu)的HSHS視頻238強(qiáng)相關(guān)的字典圖塊。結(jié)果，字典D在表示超光譜快照118時(shí)提供系數(shù)向量α的高稀疏性。這提高了HSHS視頻238的基于CS的重構(gòu)的準(zhǔn)確性。在一些示例中，字典組件124對(duì)來(lái)自全色視頻110的字典圖塊或訓(xùn)練圖塊進(jìn)行隨機(jī)采樣，如上所述。在一些示例中，字典組件124從全色視頻110中的幀202-208中選擇樣本，這些樣本中的各個(gè)樣本包括來(lái)自全色視頻110中的多個(gè)幀202-208中的至少兩個(gè)的數(shù)據(jù)。例如，可以從256寬×256高×24幀全色視頻110中對(duì)60000個(gè)隨機(jī)圖塊進(jìn)行采樣。可選擇圖塊數(shù)n(n>m)以提供預(yù)定的重構(gòu)準(zhǔn)確性水平。如上所述，m表示訓(xùn)練圖塊中的像素值或其他圖像數(shù)據(jù)的數(shù)量。在一些示例中，字典組件124對(duì)樣本(訓(xùn)練圖塊)進(jìn)行聚類，以在圖塊字典224中提供所選數(shù)量的字典圖塊。例如，字典組件124可通過(guò)k均值、k中 心點(diǎn)、均值漂移聚類、K-SVD或另一聚類或字典學(xué)習(xí)技術(shù)來(lái)對(duì)樣本進(jìn)行聚類?？墒褂玫钠渌纠夹g(shù)包括最大后驗(yàn)概率、最大似然方法、最優(yōu)方向方法(MOD)和主分量分析(PCA)。對(duì)于k均值和K-SVD，聚類數(shù)n(即，最大圖塊的數(shù)量n)可以按經(jīng)驗(yàn)被確定為k1m，如上所述?？蛇x擇k1(并由此導(dǎo)致n)的值以提供預(yù)定的重構(gòu)準(zhǔn)確性水平。在一些示例中，字典組件124將聚類中心選為字典圖塊(D中的列)。聚類中心不一定與任一訓(xùn)練圖塊重合。在一些示例中，重構(gòu)組件126至少部分地基于超光譜快照118、全色視頻110(例如，該視頻中的一個(gè)或多個(gè)幀)以及圖塊字典224中的多個(gè)字典圖塊(例如，被排列成形成矩陣D的聚類中心)來(lái)生成一個(gè)或多個(gè)高速超光譜視頻幀218(例如，一個(gè)或多個(gè)附加超光譜視頻幀)。重構(gòu)組件126可以例如使用正交匹配跟蹤算法來(lái)確定α值，如以上等式(4)所述。重構(gòu)組件126然后可計(jì)算F＝Dοα以確定F，即重構(gòu)的HSHS視頻238。圖3示出了用于生成高速超光譜(HSHS)視頻的示例方法300的流程圖。該方法被示為作為分立框示出的一組操作。本方法可用任何合適的硬件、軟件、固件或其組合來(lái)實(shí)現(xiàn)。描述操作的次序不旨在被解釋為限制。為了解釋清楚，在此引用可執(zhí)行或參與該示例性方法的各個(gè)步驟的圖1和2所示的各種組件和數(shù)據(jù)項(xiàng)。然而，應(yīng)注意，可使用其他組件；即，圖3所示的示例性方法不限于由所標(biāo)識(shí)的組件執(zhí)行。在框302，確定超光譜快照118。例如，超光譜成像器114可捕捉場(chǎng)景112的超光譜快照118，或者處理器120可經(jīng)由網(wǎng)絡(luò)132或從如上所述的本地媒體源接收超光譜快照118。在一些示例中，超光譜成像器114捕捉與超光譜成像器114的一個(gè)或多個(gè)光譜通帶相對(duì)應(yīng)的數(shù)據(jù)。在框304，確定全色視頻110。例如，全色成像器106可捕捉場(chǎng)景112的全色視頻110，或者處理器120可經(jīng)由網(wǎng)絡(luò)132接收全色視頻110。在一些示例中，框304可包括從計(jì)算設(shè)備102本地媒體源(諸如存儲(chǔ)在計(jì)算設(shè)備102的存儲(chǔ)器中的文件或者計(jì)算設(shè)備102的DVD驅(qū)動(dòng)器中的數(shù)字視頻碟(DVD))接收全色視頻110。在一些示例中，全色成像器106捕捉與至少涵蓋超光譜成像器114的一個(gè)或多個(gè)光譜通帶的光譜通帶相對(duì)應(yīng)的數(shù)據(jù)。在一些示例中，所 確定的全色視頻110具有第一幀率，超光譜快照118具有第二幀率，且第一幀率大于第二幀率。在一些示例中，全色視頻110對(duì)應(yīng)于超光譜快照的幀時(shí)間。例如，全色視頻可以在超光譜快照118的幀時(shí)間期間捕捉，或者在與超光譜快照118的幀時(shí)間處于固定的時(shí)間或相位關(guān)系中的時(shí)間期間捕捉。在一些示例中，全色視頻包括多個(gè)全色幀。在圖2所示的示例中，全色視頻110包括在超光譜快照118的幀時(shí)間期間捕捉到的多個(gè)全色幀202、204、206和208。在框306，至少部分地基于全色視頻110來(lái)構(gòu)建圖塊字典224。例如，可以執(zhí)行如以上參考等式(5)中的矩陣D描述的聚類。在一些示例中，圖塊字典224中的一個(gè)或多個(gè)字典圖塊僅僅基于全色視頻110來(lái)確定。在框308，至少部分地基于圖塊字典224、全色視頻110和超光譜快照118來(lái)生成HSHS視頻238中的至少一幀。在一些示例中，全色視頻110和超光譜快照118的數(shù)據(jù)可被排列在G矩陣中，如以上參考等式(1)所描述的。在一些示例中，可使用求解器來(lái)確定以上等式(4)中的α值。在一些示例中，如由虛線箭頭表示的，HSHS視頻238中的多個(gè)幀可以至少部分地基于圖塊字典224和全色視頻110中的多個(gè)幀來(lái)生成。如上所述，在一些示例中，HSHS視頻238中的至少一幀可僅僅基于圖塊字典224、全色視頻110中的多個(gè)幀和超光譜快照118來(lái)生成。以此方式，在框306和308，生成高速超光譜(HSHS)視頻。圖4示出了用于構(gòu)建圖塊字典224的示例方法306。在框402，至少部分地基于全色視頻110中的一個(gè)或多個(gè)幀的一個(gè)或多個(gè)像素的像素值來(lái)確定一個(gè)或多個(gè)訓(xùn)練圖塊。這可以例如通過(guò)如上所述的隨機(jī)采樣來(lái)完成。在一些示例中，訓(xùn)練圖塊中的特定訓(xùn)練圖塊包括從全色視頻中的多個(gè)幀中取得的多個(gè)像素高且多個(gè)像素寬的樣本。在一些示例中，該特定訓(xùn)練圖塊包括從全色視頻中的多個(gè)連續(xù)幀中取得的樣本。在一些示例中，框402可包括對(duì)像素值或其他圖像數(shù)據(jù)進(jìn)行選擇、規(guī)范化、縮放或以其他方式進(jìn)行處理，以確定訓(xùn)練圖塊。在框404，將所確定的一個(gè)或多個(gè)訓(xùn)練圖塊分配給多個(gè)聚類中的各個(gè)聚類。例如，字典組件124(例如在處理器120上執(zhí)行)可使用K-SVD或另一 聚類算法來(lái)向聚類分配訓(xùn)練圖塊。在框406，將圖塊字典構(gòu)建成包括多個(gè)聚類中的各個(gè)聚類的相應(yīng)字典圖塊。例如，字典組件124(例如，在處理器120上執(zhí)行)可以為每一個(gè)聚類選擇代表性字典圖塊。聚類的代表性字典圖塊可以是例如該聚類中的數(shù)據(jù)的均值或中心點(diǎn)。在一些示例中，框402包括框408和410。在框408，例如由字典組件124(例如在處理器120上執(zhí)行)來(lái)確定多個(gè)像素組。這些像素組中的各個(gè)像素組可包括選自全色視頻110中的一個(gè)或多個(gè)幀的多個(gè)像素的數(shù)據(jù)。例如，全色視頻110可以在空間上沿著邊界226分割，并且一像素組可被選為包括12個(gè)單元格(在圖2的示例中)中的各個(gè)單元格或一個(gè)或多個(gè)單元格的像素。這些像素組能夠例如根據(jù)沿多個(gè)維度具有統(tǒng)一間隔(例如，等高且等寬)的3-D(高、寬、時(shí)間)網(wǎng)格、在每一維度中具有不同間隔的3D網(wǎng)格或者隨機(jī)、偽隨機(jī)、隨意或不規(guī)則樣式或排列來(lái)排列。在框410，例如由字典組件124(例如在處理器120上執(zhí)行)來(lái)選擇少于所有像素組的像素組。一個(gè)或多個(gè)訓(xùn)練圖塊中的各個(gè)訓(xùn)練圖塊被確定為包括所選像素組中的相應(yīng)像素組。例如，圖2的示例所示的12個(gè)單元格中的六個(gè)單元格可被選擇用作訓(xùn)練圖塊。該選擇可以隨機(jī)做出。圖5示出了示例計(jì)算設(shè)備102的各個(gè)組件。在所示示例中，計(jì)算設(shè)備102包括一個(gè)或多個(gè)處理器120、存儲(chǔ)器122、通信接口502、視頻輸入504和視頻輸出506。存儲(chǔ)器122可被實(shí)現(xiàn)為各種類型的存儲(chǔ)器組件的任意組合?？赡艽鎯?chǔ)器組件的示例包括隨機(jī)存取存儲(chǔ)器(RAN)、盤(pán)驅(qū)動(dòng)器、大容量組件以及非易失性存儲(chǔ)器(例如，ROM、閃存、EPROM、EEPROM等)。計(jì)算設(shè)備102的替代實(shí)現(xiàn)可包括一定范圍的處理和存儲(chǔ)器能力。例如，全資源計(jì)算設(shè)備可被實(shí)現(xiàn)為具有大量存儲(chǔ)器和處理資源，包括用于存儲(chǔ)供觀看者回放的內(nèi)容的盤(pán)驅(qū)動(dòng)器。然而，低資源計(jì)算設(shè)備可具有有限的處理和存儲(chǔ)器能力，諸如有限量的RAM、沒(méi)有盤(pán)驅(qū)動(dòng)器和有限的處理能力。處理器120處理各種指令以控制計(jì)算設(shè)備102的操作并與其他電子和計(jì)算設(shè)備通信。存儲(chǔ)器122存儲(chǔ)各種信息和/或數(shù)據(jù)，包括例如操作系統(tǒng)508、視頻渲染組件510、字典組件124、重構(gòu)組件126、視頻渲染組件128以及可任選的 一個(gè)或多個(gè)其他應(yīng)用512。存儲(chǔ)在存儲(chǔ)器122中的這些塊可以在處理器120上執(zhí)行。其他組件512可包括例如包括視頻能力的因特網(wǎng)瀏覽器、媒體播放器應(yīng)用、視頻編輯應(yīng)用、視頻流傳輸應(yīng)用、電視觀看應(yīng)用，等等。在一些示例中，存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)(例如，存儲(chǔ)器122)中的字典組件124、重構(gòu)組件126、視頻渲染組件128和應(yīng)用512的計(jì)算機(jī)可執(zhí)行指令當(dāng)在計(jì)算設(shè)備102的處理器120上執(zhí)行時(shí)指示計(jì)算設(shè)備102執(zhí)行以下參考存儲(chǔ)器122中的相關(guān)組件列出的功能。通信接口502使計(jì)算設(shè)備102能夠與其他計(jì)算設(shè)備通信，并且可表示計(jì)算設(shè)備102可用來(lái)接收視頻內(nèi)容的其他裝置。例如，在支持通過(guò)IP網(wǎng)絡(luò)傳送視頻內(nèi)容的環(huán)境中，通信接口502可表示連接，計(jì)算設(shè)備102能經(jīng)由該連接，例如通過(guò)特定的統(tǒng)一資源定位符(URL)來(lái)接收視頻內(nèi)容。視頻輸入504包括或通信地連接到例如一個(gè)或多個(gè)調(diào)諧器、視頻捕捉設(shè)備、視頻編碼器或格式轉(zhuǎn)換器，以使得計(jì)算設(shè)備102能夠接收和存儲(chǔ)視頻。在一些示例中，視頻輸入504可包括用于同時(shí)從全色成像器106和超光譜成像器114接收數(shù)據(jù)的多個(gè)信道。在一些示例中，計(jì)算設(shè)備102可包括多個(gè)視頻輸入504，一個(gè)或多個(gè)視頻輸入用于從全色成像器106接收數(shù)據(jù)，而一個(gè)或多個(gè)視頻輸入用于從超光譜成像器114接收數(shù)據(jù)。視頻輸出506包括或通信地連接到例如顯示屏，以使得計(jì)算設(shè)備102能夠呈現(xiàn)視頻內(nèi)容。在示例實(shí)現(xiàn)中，視頻輸出506向電視機(jī)或顯示視頻數(shù)據(jù)的其他顯示設(shè)備提供信號(hào)。在一些示例中，視頻接收組件510在由處理器120執(zhí)行時(shí)(本文中都如此)接收超光譜快照以及多個(gè)全色視頻幀。這可以如以上參考圖3的框302和304所描述的那樣。在一些示例中，字典組件124使用多個(gè)全色視頻幀的圖像數(shù)據(jù)來(lái)確定多個(gè)字典圖塊。這可以如以上參考圖3的框306并參考圖4所描述的那樣。在一些示例中，計(jì)算機(jī)可執(zhí)行指令使字典組件124從全色視頻幀中選擇樣本，各個(gè)樣本包括來(lái)自多個(gè)全色視頻幀中的至少兩個(gè)幀的數(shù)據(jù)。這可以例如以上參考圖4的框402、408或410所描述的那樣或者如以上參考圖2的空間區(qū)域228所描述的那樣完成。字典組件124然后對(duì)樣本進(jìn)行聚類以提供所選數(shù)量的字典圖塊， 例如以上參考圖4的框404和406所討論的。在一些示例中，重構(gòu)組件126至少部分地基于接收到的超光譜快照、一個(gè)或多個(gè)全色幀以及多個(gè)字典圖塊來(lái)生成一個(gè)或多個(gè)超光譜視頻幀(例如，HSHS幀218)。這可以如以上參考圖3的框308所描述的那樣完成。在一些示例中，計(jì)算機(jī)可執(zhí)行指令使重構(gòu)組件126至少部分地基于多個(gè)字典圖塊中的不止一個(gè)字典圖塊來(lái)確定接收到的超光譜快照的至少一部分的表示以及多個(gè)全色視頻幀中的不止一個(gè)幀。這可以例如以上參考等式(1)和(4)所討論的那樣完成。盡管被單獨(dú)示出，但計(jì)算設(shè)備102的一些組件可以在諸如專用集成電路(ASIC)等單個(gè)硬件設(shè)備中一起實(shí)現(xiàn)。另外，系統(tǒng)總線514通常連接計(jì)算設(shè)備102內(nèi)的各種組件。系統(tǒng)總線可被實(shí)現(xiàn)為若干類型的總線結(jié)構(gòu)中的任一個(gè)或多個(gè)，包括存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線、加速圖形端口以及使用各種總線體架構(gòu)中的任一種的局部總線。作為示例，這樣的架構(gòu)可以包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(VESA)局部總線、以及也稱為夾層總線的外圍部件互連(PCI)總線。圖5所示的任一組件可以是硬件、軟件或硬件和軟件的組合。此外，圖5所示的任一組件(例如，存儲(chǔ)器122)可使用可由計(jì)算設(shè)備102本地或遠(yuǎn)程(包括通過(guò)網(wǎng)絡(luò)132)訪問(wèn)的任何形式的計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀介質(zhì)包括兩種類型的計(jì)算機(jī)可讀介質(zhì)，即計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于：RAM、ROM、EEPROM、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(pán)(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤(pán)存儲(chǔ)或其他磁存儲(chǔ)設(shè)備，或者可用于存儲(chǔ)信息以供計(jì)算設(shè)備訪問(wèn)的任何其他非傳輸介質(zhì)。相反，通信介質(zhì)可在諸如載波之類的已調(diào)制數(shù)據(jù)信號(hào)或其他傳輸機(jī)制中體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。如本文所定義的，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。圖6示出了用于對(duì)場(chǎng)景112(以幻像示出)進(jìn)行成像的示例成像系統(tǒng)600。成像系統(tǒng)600包括全色成像器106和超光譜成像器114。分束器602將來(lái)自場(chǎng) 景112的光例如分成兩個(gè)基本相等的部分。分束器602可包括例如薄膜分束器、半鍍銀鏡子、透鏡陣列或被配置成分割來(lái)自場(chǎng)景的光的其他組件。分束器602向具有曲線220所示的光譜響應(yīng)的全色成像器106的全色傳感器108提供部分光(例如，兩部分中的一部分)。全色傳感器108提供全色視頻110。來(lái)自分束器602的另一部分光(例如，兩部分中的另一部分)被提供給超光譜成像器114中的物鏡(例如，SD-CASSI)。來(lái)自物鏡的光穿過(guò)遮光板(mask)606，例如編碼光圈。遮光板606可包括散布有基本上透射的元素的基本上不透明的元素，例如作為網(wǎng)格上的方塊。不透明和透射元素的圖案可被隨機(jī)確定，例如有50％的概率每一個(gè)單獨(dú)方塊都是不透明(與透明相反)的(例如，具有概率p＝0.5的伯努利分布)。該圖案還或另選地可與例如循環(huán)地排列在遮光板606上的循環(huán)S矩陣碼的位模式相對(duì)應(yīng)。中繼透鏡608通過(guò)色散器610將遮光板606的平面成像到超光譜傳感器116上。色散器610可包括例如等邊棱鏡、光柵或另一色散器。如曲線612所表示的，超光譜成像器114中的超光譜傳感器116對(duì)于至少不夠?qū)捯院w將由超光譜成像器114測(cè)量和輸出的各個(gè)光譜通帶(曲線222)的一定范圍的波長(zhǎng)敏感。色散器610導(dǎo)致遮光板606的圖像出現(xiàn)在由超光譜傳感器116取決于每一個(gè)光譜通帶的相對(duì)貢獻(xiàn)而在不同位置并以不同亮度捕捉到的圖像中。結(jié)果，超光譜成像器114可使用具有曲線612所表示的寬光譜通帶的超光譜傳感器116來(lái)產(chǎn)生包括來(lái)自多個(gè)光譜通帶(曲線222)的數(shù)據(jù)的超光譜快照118。在超光譜快照118中，一個(gè)光譜通帶的數(shù)據(jù)可以交織在其他光譜通帶的數(shù)據(jù)之間、疊加在其他光譜通帶的數(shù)據(jù)上、或以其他方式與其他光譜通帶的數(shù)據(jù)相組合地編碼。在該示例中，不同的光譜通帶被編碼為遮光板606的空間上分散的疊加圖像。在一些示例中，與到達(dá)全色傳感器108的光相比，分束器602和超光譜傳感器116之間的附加光學(xué)組件使到達(dá)超光譜傳感器116的光衰減。在一些示例中，超光譜傳感器116以比全色傳感器108更低的幀率操作以收集更多光并且部分地或完全克服該衰減。本文描述的各方面準(zhǔn)許使用高幀率全色視頻110和低幀率超光譜快照118來(lái)重構(gòu)高幀率超光譜圖像，例如HSHS視頻238。示例結(jié)果各方面的光效率可達(dá)到正在捕捉的入射光的75％。這勝過(guò)具有50％的理論效率的CASSI以及具有25％的理論效率的DCSI。表1示出了CASSI重構(gòu)(CASSI-TI)、具有總變差(TV)正則化器的兩步迭代收縮/閾值化重構(gòu)(TwIST)以及基于字典的重構(gòu)(DBR)(例如，如本文描述的)的時(shí)間內(nèi)插結(jié)果的比較的仿真結(jié)果。結(jié)果針對(duì)各個(gè)加速值K來(lái)示出。示出了峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、均方根誤差(RMSE)和光譜角度映射(SAM)。PSNR和SSIM基于每一個(gè)2-D空間圖像來(lái)計(jì)算，PSNR和SSIM測(cè)量重構(gòu)結(jié)果與原始超光譜快照之間的空間保真度。這兩個(gè)度量的較大值指示保真度較高的重構(gòu)。RMSE和SAM基于每一個(gè)一維(1-D)光譜向量來(lái)計(jì)算，并測(cè)量重構(gòu)的光譜保真度。這兩個(gè)度量的較低值暗示更好的重構(gòu)。所有度量都跨其余維度被平均。如表1所示，CASSI-TI結(jié)果遭受離原始測(cè)試數(shù)據(jù)的較大偏差。相反，TwIST和DBR兩者都甚至在K＝8的情況下恢復(fù)四維(4-D)高速超光譜視頻(具有寬度、高度、幀和光譜通帶維度)。此外，DBR在所有加速率下勝過(guò)TwIST，這展示了本文描述的示例字典學(xué)習(xí)技術(shù)的有效性，例如以上參考圖4所討論的。場(chǎng)景已使用類似于圖6中的成像系統(tǒng)的成像系統(tǒng)來(lái)測(cè)量。所測(cè)試的全色成 像器106包括配備有8mm物鏡的PointGreyTMFL3-U3-13Y3M-C全色傳感器108。所測(cè)試的全色成像器106以最高1280×1024像素的分辨率捕捉到最高150fps視頻。所測(cè)試的全色傳感器108是具有4.8μm點(diǎn)距和全域(非滾動(dòng))快門(mén)的1/2″規(guī)格的1.3兆像素的單色CMOS成像器。超光譜成像器114包括用于將場(chǎng)景投影到編碼光圈(遮光板606)的8mm物鏡604。所測(cè)試的遮光板606包括基本上不透明的元素和基本上透明的元素的隨機(jī)二元圖案。所測(cè)試的遮光板606具有300×300個(gè)元素，每一個(gè)都是10μm×10μm。所測(cè)試的色散器610包括被安排成以550nm的中心波長(zhǎng)垂直地散布光譜信息的雙重線Amici棱鏡。所測(cè)試的超光譜傳感器116具有與所測(cè)試的全色傳感器108相同的類型。在所測(cè)試的配置中，遮光板606上的每一個(gè)元素都由中繼透鏡608映射到超光譜傳感器116上的2×2像素。所測(cè)試的中繼透鏡608是Edmund45-762。所測(cè)試的超光譜成像器114的有效空間分辨率由此是600×600像素。另外，具有從450nm到650nm的光譜通帶的濾光器(未示出)被放置在場(chǎng)景112與全色傳感器108和超光譜傳感器116中的每一個(gè)之間，以將光譜限于最多450nm–650nm的范圍。在各示例中，可使用其他范圍或光譜通帶。表2示出了包括不同顏色的三個(gè)形狀的所測(cè)量的場(chǎng)景的實(shí)驗(yàn)結(jié)果。對(duì)于每一形狀，為CASSI重現(xiàn)和具有三個(gè)不同的加速值(K＝5、K＝10和K＝20)的DBR(例如，如本文描述的)示出了均方根誤差(RMSE)值。較小的RMSE值是更好的。示例條款A(yù)：一種方法，包括：確定超光譜快照；確定與該超光譜快照的幀時(shí)間相對(duì)應(yīng)的全色視頻，該全色視頻包括多個(gè)全色幀；以及通過(guò)以下操作來(lái)生成高速 超光譜(HSHS)視頻：至少部分地基于該全色視頻來(lái)構(gòu)建圖塊字典；以及至少部分地基于該圖塊字典、全色視頻和超光譜快照來(lái)生成該HSHS視頻中的至少一幀。B：如段落A所述的方法，其特征在于，確定該全色視頻包括使用全色成像器來(lái)捕捉場(chǎng)景的全色視頻。C：如段落B所述的方法，其特征在于：確定超光譜快照包括使用超光譜成像器來(lái)捕捉場(chǎng)景的超光譜快照；超光譜成像器捕捉與該超光譜成像器的一個(gè)或多個(gè)光譜通帶相對(duì)應(yīng)的數(shù)據(jù)；并且全色成像器捕捉與至少涵蓋超光譜成像器的一個(gè)或多個(gè)光譜通帶的光譜通帶相對(duì)應(yīng)的數(shù)據(jù)。D：如段落A-C中的任一段所述的方法，其特征在于，構(gòu)建圖塊字典包括：至少部分地基于多個(gè)全色幀中的一個(gè)或多個(gè)的一個(gè)或多個(gè)像素的像素值來(lái)確定一個(gè)或多個(gè)訓(xùn)練圖塊；將所確定的一個(gè)或多個(gè)訓(xùn)練圖塊分配給多個(gè)聚類中的各個(gè)聚類；以及將圖塊字典構(gòu)建成包括多個(gè)聚類中的各個(gè)聚類的相應(yīng)字典圖塊。E：如段落D所述的方法，其特征在于，訓(xùn)練圖塊中的特定訓(xùn)練圖塊包括從多個(gè)全色幀中的至少某一些中取得的多個(gè)像素高且多個(gè)像素寬的樣本。F：如段落E所述的方法，其特征在于，該特定訓(xùn)練圖塊包括從多個(gè)全色幀中的多個(gè)連續(xù)全色幀中取得的樣本。G：如段落D-F中的任一段所述的方法，其特征在于，確定一個(gè)或多個(gè)訓(xùn)練圖塊包括：確定多個(gè)像素組，其中這些像素組中的各個(gè)像素組包括選自多個(gè)全色幀的多個(gè)像素的數(shù)據(jù)；以及選擇少于所有像素組的像素組，其中該一個(gè)或多個(gè)訓(xùn)練圖塊中的各個(gè)訓(xùn)練圖塊包括所選像素組中的相應(yīng)像素組。H：如段落A-G中的任一段所述的方法，其特征在于，生成HSHS視頻中的至少一幀包括至少部分地基于圖塊字典以及多個(gè)全色幀中的多個(gè)全色幀來(lái)生成HSHS視頻中的多個(gè)幀。I：如段落H所述的方法，其特征在于，生成HSHS視頻中的至少一幀包括僅僅基于圖塊字典、多個(gè)全色幀和超光譜快照來(lái)生成HSHS視頻中的至少一幀。J：如段落A-I中的任一段所述的方法，其特征在于，構(gòu)建圖塊字典包括 僅僅基于全色視頻來(lái)確定圖塊字典中的一個(gè)或多個(gè)字典圖塊。K：一種計(jì)算設(shè)備，包括：至少一個(gè)處理器；被配置成存儲(chǔ)全色視頻和超光譜快照的存儲(chǔ)器；以及存儲(chǔ)在該存儲(chǔ)器中并且可以在至少一個(gè)處理器上執(zhí)行的字典組件，該字典組件被配置成至少部分地基于全色視頻來(lái)生成圖塊字典；以及存儲(chǔ)在該存儲(chǔ)器中并且可以在至少一個(gè)處理器上執(zhí)行的重構(gòu)組件，該重構(gòu)組件被配置成至少部分地基于圖塊字典、全色視頻和超光譜快照來(lái)生成高速超光譜(HSHS)視頻中的至少一幀。L：如段落K所述的計(jì)算設(shè)備，其特征在于，還包括顯示設(shè)備以及存儲(chǔ)在該存儲(chǔ)器中并且可以在至少一個(gè)處理器上執(zhí)行的視頻渲染組件，該視頻渲染組件被配置成渲染HSHS視頻的至少一部分以供經(jīng)由該顯示設(shè)備來(lái)顯示。M：如段落L所述的計(jì)算設(shè)備，其特征在于，該顯示設(shè)備具有所選幀次序，并且字典組件被配置成至少部分地基于所選幀次序來(lái)選擇用于圖塊字典的字典圖塊。N：如段落K-M中的任一段所述的計(jì)算設(shè)備，其特征在于，還包括被配置成捕捉場(chǎng)景的全色視頻的全色成像器以及相對(duì)于該全色成像器同步地操作并被配置成捕捉該場(chǎng)景的超光譜快照的超光譜成像器。O:如段落N所述的計(jì)算設(shè)備，其特征在于，該全色成像器被配置成在該超光譜成像器的幀時(shí)間期間捕捉全色視頻中的多個(gè)幀。P：如段落N或O所述的計(jì)算設(shè)備，其特征在于，該全色成像器具有至少涵蓋該超光譜成像器的一個(gè)或多個(gè)光譜通帶的光譜通帶。Q:如段落N-P中的任一段所述的計(jì)算設(shè)備，其特征在于，該重構(gòu)組件被配置成進(jìn)一步基于全色成像器或超光譜成像器的所選成像特性來(lái)生成HSHS視頻中的至少一幀。R:一種或多種包括計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，這些指令當(dāng)在計(jì)算設(shè)備的處理器上執(zhí)行時(shí)指示該計(jì)算設(shè)備：接收超光譜快照以及多個(gè)全色視頻幀；使用該多個(gè)全色視頻幀的圖像數(shù)據(jù)來(lái)確定多個(gè)字典圖塊；以及至少部分地基于全色視頻幀、超光譜快照以及多個(gè)字典圖塊來(lái)生成高速超光譜(HSHS)視頻幀。S:如段落R所述的一種或多種計(jì)算機(jī)可讀介質(zhì)，其特征在于，用于確定多 個(gè)字典圖塊的指令包括當(dāng)在計(jì)算設(shè)備的處理器上執(zhí)行時(shí)使該計(jì)算設(shè)備執(zhí)行以下操作的指令：從全色視頻幀中對(duì)樣本進(jìn)行采樣，這些樣本中的各個(gè)樣本包括來(lái)自多個(gè)全色視頻幀中的至少兩個(gè)的數(shù)據(jù)；以及對(duì)樣本進(jìn)行聚類以提供所選數(shù)量的字典圖塊。T：如段落R或S所述的一種或多種計(jì)算機(jī)可讀介質(zhì)，其特征在于，用于生成HSHS視頻幀的指令包括當(dāng)在計(jì)算設(shè)備的處理器上執(zhí)行時(shí)指示該計(jì)算設(shè)備至少部分地基于多個(gè)字典圖塊中的不止一個(gè)字典圖塊來(lái)確定超光譜快照的至少一部分的表示以及多個(gè)全色視頻幀中的不止一個(gè)幀的指令。U：一種系統(tǒng)，包括：用于確定超光譜快照的裝置；用于確定與該超光譜快照的幀時(shí)間相對(duì)應(yīng)的全色視頻的裝置，該全色視頻包括多個(gè)全色幀；以及用于生成高速超光譜(HSHS)視頻的裝置，包括用于至少部分地基于該全色視頻來(lái)構(gòu)建圖塊字典的裝置；以及用于至少部分地基于該圖塊字典、全色視頻和超光譜快照來(lái)生成該HSHS視頻中的至少一幀的裝置。V：如段落U所述的系統(tǒng)，其特征在于，用于確定全色視頻的裝置包括用于使用全色成像器來(lái)捕捉場(chǎng)景的全色視頻的裝置。W：如段落V所述的系統(tǒng)，其特征在于：用于確定該超光譜快照的裝置包括用于使用超光譜成像器來(lái)捕捉場(chǎng)景的超光譜快照的裝置；超光譜成像器捕捉與超光譜成像器的一個(gè)或多個(gè)光譜通帶相對(duì)應(yīng)的數(shù)據(jù)；并且全色成像器捕捉與至少涵蓋超光譜成像器的一個(gè)或多個(gè)光譜通帶的光譜通帶相對(duì)應(yīng)的數(shù)據(jù)。X：如段落U-W中的任一段所述的系統(tǒng)，其特征在于，用于構(gòu)建圖塊字典的裝置包括：用于至少部分地基于多個(gè)全色幀中的一個(gè)或多個(gè)的一個(gè)或多個(gè)像素的像素值來(lái)確定一個(gè)或多個(gè)訓(xùn)練圖塊的裝置；用于將所確定的一個(gè)或多個(gè)訓(xùn)練圖塊分配給多個(gè)聚類中的各個(gè)聚類的裝置；以及用于將圖塊字典構(gòu)建成包括多個(gè)聚類中的各個(gè)聚類的相應(yīng)字典圖塊的裝置。Y：如段落X所述的系統(tǒng)，其特征在于，訓(xùn)練圖塊中的特定訓(xùn)練圖塊包括從多個(gè)全色幀中的至少某一些中取得的多個(gè)像素高且多個(gè)像素寬的樣本。Z：如段落Y所述的系統(tǒng)，其特征在于，該特定訓(xùn)練圖塊包括從多個(gè)全色幀中的多個(gè)連續(xù)全色幀中取得的樣本。AA：如段落X-Z中的任一段所述的方法，其特征在于，用于確定一個(gè)或 多個(gè)訓(xùn)練圖塊的裝置包括：用于確定多個(gè)像素組的裝置，其中這些像素組中的各個(gè)像素組包括選自多個(gè)全色幀的多個(gè)像素的數(shù)據(jù)；以及用于選擇少于所有像素組的像素組的裝置，其中該一個(gè)或多個(gè)訓(xùn)練圖塊中的各個(gè)訓(xùn)練圖塊包括所選像素組中的相應(yīng)像素組。AB：如段落U-AA中的任一段所述的系統(tǒng)，其特征在于，用于生成HSHS視頻中的至少一幀的裝置包括用于至少部分地基于圖塊字典以及多個(gè)全色幀中的多個(gè)全色幀來(lái)生成HSHS視頻中的多個(gè)幀的裝置。AC：如段落AB所述的系統(tǒng)，其特征在于，用于生成HSHS視頻中的至少一幀的裝置包括用于僅僅基于圖塊字典、多個(gè)全色幀和超光譜快照來(lái)生成HSHS視頻中的至少一幀的裝置。AD：如段落U-AC中的任一段所述的方法，其特征在于，用于構(gòu)建圖塊字典的裝置包括用于僅僅基于全色視頻來(lái)確定圖塊字典中的一個(gè)或多個(gè)字典圖塊的裝置。AE：其上具有計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)(例如，計(jì)算機(jī)存儲(chǔ)介質(zhì))，該計(jì)算機(jī)可執(zhí)行指令在被執(zhí)行時(shí)將計(jì)算機(jī)配置成執(zhí)行段落A-J中的任一段所述的操作。AF：一種設(shè)備，包括：處理器；以及其上具有計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)(例如，計(jì)算機(jī)存儲(chǔ)介質(zhì))，該計(jì)算機(jī)可執(zhí)行指令在由處理器執(zhí)行時(shí)將該設(shè)備配置成執(zhí)行段落A-J中的任一段所述的操作。AG：一種系統(tǒng)，包括：用于處理的裝置；以及用于在其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令的裝置，這些計(jì)算機(jī)可執(zhí)行指令包括用于將該設(shè)備配置成執(zhí)行如段落A-J中的任一段所述的方法的裝置。結(jié)語(yǔ)雖然已經(jīng)用對(duì)結(jié)構(gòu)特征和/或方法步驟專用的語(yǔ)言描述了生成高速超光譜(HSHS)視頻數(shù)據(jù)，但是應(yīng)當(dāng)理解，所附權(quán)利要求書(shū)中定義的本發(fā)明不必限于所描述的具體特征或步驟。相反，各具體特征和步驟是作為實(shí)現(xiàn)所要求保護(hù)的本發(fā)明的優(yōu)選形式來(lái)公開(kāi)的。示例過(guò)程的操作在單獨(dú)的框中示出，并且參考這些框來(lái)概括。這些過(guò)程被示為邏輯框流，其每個(gè)框可表示可用硬件、軟件或其組合實(shí)現(xiàn)的一個(gè)或多個(gè)操 作。在軟件的上下文中，這些操作表示存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令，這些指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得一個(gè)或多個(gè)處理器執(zhí)行既定操作。一般而言，計(jì)算機(jī)可執(zhí)行指令包括執(zhí)行特定功能或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、模塊、組件、數(shù)據(jù)結(jié)構(gòu)等。描述操作的次序并不旨在解釋為限制，并且任何數(shù)量的所述操作可以按任何次序執(zhí)行、按任何次序進(jìn)行組合、細(xì)分成多個(gè)子操作、和/或并行執(zhí)行，以實(shí)現(xiàn)所描述的過(guò)程?？捎膳c一個(gè)或多個(gè)計(jì)算設(shè)備102相關(guān)聯(lián)的資源(諸如一個(gè)或多個(gè)內(nèi)部或外部CPU或GPU)和/或硬件邏輯的一個(gè)或多個(gè)片段(諸如FPGA、DSP或其他類型的加速器)來(lái)執(zhí)行所描述的過(guò)程。上述方法和過(guò)程可以用由一個(gè)或多個(gè)通用計(jì)算機(jī)或處理器執(zhí)行的軟件代碼模塊來(lái)具體化，并且可經(jīng)由這些軟件代碼模塊來(lái)完全自動(dòng)化。這些代碼模塊可以存儲(chǔ)在任何類型的計(jì)算機(jī)可執(zhí)行存儲(chǔ)介質(zhì)或其他計(jì)算機(jī)存儲(chǔ)設(shè)備中。這些方法中的某些或全部可另選地用專用計(jì)算機(jī)硬件來(lái)具體化。除非另外具體聲明，否則在上下文中可以理解條件語(yǔ)言(諸如“能”、“能夠”、“可能”或“可以”)表示特定示例包括而其他示例不包括特定特征、元素和/或步驟。因此，這樣的條件語(yǔ)言一般并非旨在暗示對(duì)于一個(gè)或多個(gè)示例需要特定特征、元素和/或步驟，或者一個(gè)或多個(gè)示例必然包括用于決定的邏輯、具有或不具有用戶輸入或提示、在任何特定實(shí)施例中是否要包括或要執(zhí)行特定特征、元素和/或步驟。除非另外具體聲明，應(yīng)理解聯(lián)合語(yǔ)言(諸如短語(yǔ)“X、Y或Z中至少一個(gè)”)表示項(xiàng)、詞語(yǔ)等可以是X、Y或Z中的任一者、或其組合。本文所述和/或附圖中描述的流程圖中任何例行描述、元素或框應(yīng)理解成潛在地表示包括用于實(shí)現(xiàn)該例程中具體邏輯功能或元素的一個(gè)或多個(gè)可執(zhí)行指令的代碼的模塊、片段或部分。替換實(shí)現(xiàn)被包括在本文描述的示例的范圍內(nèi)，其中各元素或功能可被刪除，或與所示出或討論的順序不一致地執(zhí)行，包括基本上同步地執(zhí)行或按相反順序執(zhí)行，這取決于所涉及的功能，如本領(lǐng)域技術(shù)人也將理解的。應(yīng)當(dāng)強(qiáng)調(diào)，可對(duì)上述示例作出許多變型和修改，其中的元素如同其他可接受的示例那樣應(yīng)被理解。所有這樣的修改和變型在此旨在包括在本公開(kāi)的范圍內(nèi)并且由以下權(quán)利要求書(shū)保護(hù)。當(dāng)前第1頁(yè)1 2 3