本發(fā)明涉及光電成像，特別涉及一種視頻幀率的高分辨率光譜成像系統(tǒng)及方法。

背景技術(shù)：

1、以rgb顏色格式捕獲的圖像是人類視覺系統(tǒng)所熟悉的，但同時(shí)也失去了目標(biāo)場景在光譜維度的大部分特征信息。光譜成像技術(shù)能夠記錄目標(biāo)場景在不同光譜波段的透射或反射響應(yīng)，從而進(jìn)一步揭示rgb圖像難以捕捉的物理化學(xué)特性，比如目標(biāo)物體的材質(zhì)、種類等中高級屬性特征。

2、光譜成像技術(shù)的核心難題在于，空間分辨率、光譜分辨率、時(shí)間分辨率、系統(tǒng)便攜性難以兼顧。早期的技術(shù)方案采用掃描成像的方式，犧牲了時(shí)間分辨率，因而很難完成視頻幀率的光譜成像，同時(shí)系統(tǒng)體積相對較大。隨著信息技術(shù)的發(fā)展，基于“光學(xué)編碼-計(jì)算解碼”架構(gòu)的計(jì)算光譜成像技術(shù)被提出，能夠在空間分辨率、光譜分辨率、時(shí)間分辨率之間取得較好的性能平衡。計(jì)算光譜成像技術(shù)在發(fā)展初期對應(yīng)的系統(tǒng)體積較大，結(jié)構(gòu)較為復(fù)雜；該項(xiàng)技術(shù)發(fā)展至今，已形成與普通rgb圖像采集設(shè)備體積相近的技術(shù)方案，例如光譜成像芯片、設(shè)備及光譜成像方法。但該類方案依然面臨空間分辨率降低以及單圖像采集設(shè)備光學(xué)編碼探測量不足的問題。另有采用雙圖像采集設(shè)備或多圖像采集設(shè)備結(jié)構(gòu)的計(jì)算光譜成像方案，例如dual-camera?design?for?coded?aperture?snapshot?spectral?imaging，此類方案的系統(tǒng)結(jié)構(gòu)仍相對龐大復(fù)雜，阻礙了光譜成像技術(shù)在小型平臺上的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種視頻幀率的高分辨率光譜成像系統(tǒng)及方法，以解決現(xiàn)有計(jì)算光譜成像系統(tǒng)體積大，難以應(yīng)用到小型平臺上，且依然面臨空間分辨率降低以及單相機(jī)光學(xué)編碼探測量不足等問題。

2、本發(fā)明第一方面實(shí)施例提供一種視頻幀率的高分辨率光譜成像系統(tǒng)，包括：光路設(shè)備，所述光路設(shè)備用于傳輸目標(biāo)場景的光信號；陣列采集組，所述陣列采集組包含至少兩個(gè)圖像采集設(shè)備，且至少一個(gè)圖像采集設(shè)備的感光器中設(shè)有微型濾光結(jié)構(gòu)陣列，所述陣列采集組與所述光路設(shè)備連接，用于接收所述光路設(shè)備傳輸?shù)乃龉庑盘?，并將所述光信號轉(zhuǎn)換為圖像數(shù)據(jù)組，其中，所述圖像數(shù)據(jù)組包括第一數(shù)字圖像或視頻和第二數(shù)字圖像或視頻；成像設(shè)備，所述成像設(shè)備與所述陣列采集組連接，用于對所述圖像數(shù)據(jù)組進(jìn)行反演計(jì)算，生成所述目標(biāo)場景的光譜圖像或光譜視頻。

3、可選地，所述光路設(shè)備包括：至少一個(gè)鏡頭，用于獲取所述目標(biāo)場景的光信號。

4、可選地，所述光路設(shè)備還包括：

5、分光裝置，所述分光裝置連接每個(gè)鏡頭，用于將所述光信號分配給所述陣列采集組中的每個(gè)圖像采集設(shè)備。

6、可選地，所述陣列采集組包括：

7、至少一臺多光譜圖像采集設(shè)備，所述至少一個(gè)光譜圖像采集設(shè)備的感光器設(shè)有微型濾光結(jié)構(gòu)陣列，用于根據(jù)不同光譜透射率曲線對所述光信號進(jìn)行成像，得到所述第一數(shù)字圖像或視頻；

8、至少一臺彩色圖像采集設(shè)備，用于通過至多四個(gè)光譜波段進(jìn)行對所述光信號進(jìn)行成像，得到所述第二數(shù)字圖像或視頻。

9、可選地，所述微型濾光結(jié)構(gòu)陣列包括至少四種濾光結(jié)構(gòu)，且每種濾光結(jié)構(gòu)的光譜透射率曲線不同。

10、可選地，所述微型濾光結(jié)構(gòu)陣列在空間尺度上周期性排布。

11、可選地，所述陣列采集組中的每個(gè)圖像采集設(shè)備具有大于或等于50％重疊度的光譜探測范圍。

12、可選地，所述陣列采集組的每個(gè)圖像采集設(shè)備朝向所述目標(biāo)環(huán)境中的相同目標(biāo)，且所述每個(gè)圖像采集設(shè)備連接所述至少一個(gè)鏡頭。

13、可選地，所述陣列采集組的每個(gè)圖像采集設(shè)備均朝向所述分光裝置，且所述每個(gè)圖像采集設(shè)備連接所述至少一個(gè)鏡頭。

14、可選地，所述陣列采集組的每個(gè)圖像采集設(shè)備均朝向所述分光裝置，且所述分光裝置連接所述至少一個(gè)鏡頭。

15、可選地，所述陣列采集組通過預(yù)設(shè)機(jī)械結(jié)構(gòu)與所述光路設(shè)備連接，其中，所述預(yù)設(shè)機(jī)械結(jié)構(gòu)包括外殼結(jié)構(gòu)、調(diào)整組件和/或可拆卸連接組件。

16、可選地，所述成像設(shè)備中裝載人工神經(jīng)網(wǎng)絡(luò)或數(shù)值算法，以通過所述人工神經(jīng)網(wǎng)絡(luò)或所述數(shù)值算法對所述圖像數(shù)據(jù)組進(jìn)行反演計(jì)算，生成所述目標(biāo)場景的光譜圖像或光譜視頻。

17、本發(fā)明第二方面實(shí)施例提供一種視頻幀率的高分辨率光譜成像方法，包括以下步驟：調(diào)整光路設(shè)備位置，以將目標(biāo)場景的光信號傳輸至陣列采集組；通過所述陣列采集組將所述光信號轉(zhuǎn)換為圖像數(shù)據(jù)組；利用所述成像設(shè)備對所述圖像數(shù)據(jù)組進(jìn)行反演計(jì)算，以生成所述目標(biāo)場景的光譜圖像或光譜視頻。

18、本發(fā)明第三方面實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)如上述實(shí)施例所述的視頻幀率的高分辨率光譜成像方法。

19、本發(fā)明第四方面實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的視頻幀率的高分辨率光譜成像方法。

20、本發(fā)明第五方面實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的視頻幀率的高分辨率光譜成像方法。

21、本發(fā)明實(shí)施例提出的視頻幀率的高分辨率光譜成像系統(tǒng)及方法，結(jié)構(gòu)簡單、緊湊，可對目標(biāo)場景光信號進(jìn)行有效獲取，通過反演計(jì)算可以實(shí)現(xiàn)視頻幀率的高分辨率光譜重建，可適配于無人機(jī)、無人車等多種載體。

22、本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

技術(shù)特征：

1.一種視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述光路設(shè)備包括：

3.根據(jù)權(quán)利要求2所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述光路設(shè)備還包括：

4.根據(jù)權(quán)利要求1所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組包括：

5.根據(jù)權(quán)利要求1或4所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述微型濾光結(jié)構(gòu)陣列包括至少四種濾光結(jié)構(gòu)，且每種濾光結(jié)構(gòu)的光譜透射率曲線不同。

6.根據(jù)權(quán)利要求1或4所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組中的每個(gè)圖像采集設(shè)備具有大于或等于50％重疊度的光譜探測范圍。

7.根據(jù)權(quán)利要求2所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組的每個(gè)圖像采集設(shè)備朝向所述目標(biāo)環(huán)境中的相同目標(biāo)，且所述每個(gè)圖像采集設(shè)備連接所述至少一個(gè)鏡頭。

8.根據(jù)權(quán)利要求3所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組的每個(gè)圖像采集設(shè)備均朝向所述分光裝置，且所述每個(gè)圖像采集設(shè)備連接所述至少一個(gè)鏡頭。

9.根據(jù)權(quán)利要求3所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組的每個(gè)圖像采集設(shè)備均朝向所述分光裝置，且所述分光裝置連接所述至少一個(gè)鏡頭。

10.根據(jù)權(quán)利要求1所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述陣列采集組通過預(yù)設(shè)機(jī)械結(jié)構(gòu)與所述光路設(shè)備連接，其中，所述預(yù)設(shè)機(jī)械結(jié)構(gòu)包括外殼結(jié)構(gòu)、調(diào)整組件和/或可拆卸連接組件。

11.根據(jù)權(quán)利要求1所述的視頻幀率的高分辨率光譜成像系統(tǒng)，其特征在于，所述成像設(shè)備中裝載人工神經(jīng)網(wǎng)絡(luò)或數(shù)值算法，以通過所述人工神經(jīng)網(wǎng)絡(luò)或所述數(shù)值算法對所述圖像數(shù)據(jù)組進(jìn)行反演計(jì)算，生成所述目標(biāo)場景的光譜圖像或光譜視頻。

12.一種視頻幀率的高分辨率光譜成像方法，其特征在于，基于權(quán)利要求1-11任一項(xiàng)所述的視頻幀率的高分辨率光譜成像系統(tǒng)，包括以下步驟：

13.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)如權(quán)利要求12所述的視頻幀率的高分辨率光譜成像方法。

14.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求12所述的視頻幀率的高分辨率光譜成像方法。

15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行，以用于實(shí)現(xiàn)如權(quán)利要求12所述的視頻幀率的高分辨率光譜成像方法。

技術(shù)總結(jié)
本發(fā)明涉及光電成像技術(shù)領(lǐng)域，特別涉及一種視頻幀率的高分辨率光譜成像系統(tǒng)及方法，其中，方法包括：光路設(shè)備，用于傳輸目標(biāo)場景的光信號；陣列采集組，陣列采集組包含至少兩個(gè)圖像采集設(shè)備，且至少一個(gè)圖像采集設(shè)備的感光器中設(shè)有微型濾光結(jié)構(gòu)陣列，陣列采集組與光路設(shè)備連接，用于接收陣光路設(shè)備傳輸?shù)墓庑盘?，并將光信號轉(zhuǎn)換為圖像數(shù)據(jù)組，其中，圖像數(shù)據(jù)組包括第一數(shù)字圖像或視頻和第二數(shù)字圖像或視頻；成像設(shè)備，與陣列采集組連接，用于對圖像數(shù)據(jù)組進(jìn)行反演計(jì)算，生成目標(biāo)場景的光譜圖像或光譜視頻。由此，解決了現(xiàn)有光譜成像系統(tǒng)體積大，難以應(yīng)用到小型平臺上，且依然面臨空間分辨率降低以及單相機(jī)光學(xué)編碼探測量不足等問題。

技術(shù)研發(fā)人員：季向陽,趙顯洪,李金山,連曉聰
受保護(hù)的技術(shù)使用者：清華大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26