本發(fā)明涉及光譜成像和目標(biāo)檢測(cè)，尤其涉及一種基于超構(gòu)表面的多光譜識(shí)別裝置、方法、介質(zhì)及設(shè)備。

背景技術(shù)：

1、隨著反探測(cè)偽裝技術(shù)的發(fā)展，傳統(tǒng)單波段成像探測(cè)手段已越來越難以滿足復(fù)雜環(huán)境下的偽裝目標(biāo)探測(cè)需求，因此，亟需開展多光譜目標(biāo)探測(cè)技術(shù)研究，通過分析各類目標(biāo)與背景在不同譜段下的特征輻射差異，實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境下的偽裝目標(biāo)的全天時(shí)探測(cè)。

2、多光譜成像技術(shù)利用目標(biāo)與背景以及人工干擾物之間光譜特征的差異性，來實(shí)現(xiàn)對(duì)真實(shí)目標(biāo)、背景和人工干擾物的區(qū)分，能夠大大提高目標(biāo)識(shí)別能力。隨著多光譜技術(shù)的不斷發(fā)展，多光譜成像技術(shù)還能夠有效識(shí)別空間目標(biāo)幾何或運(yùn)動(dòng)信息缺失條件下的目標(biāo)，原因在于多光譜數(shù)據(jù)的每個(gè)像元提供多個(gè)窄波段的光譜信息，它們組成了一個(gè)完整而連續(xù)的光譜曲線，而不同的空間目標(biāo)其光譜曲線存在著各種各樣的差異，一些在寬波段下無法察覺的信息可以在特定波段體現(xiàn)，從而僅實(shí)現(xiàn)對(duì)特定目標(biāo)的識(shí)別。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述問題，提出了一種基于超構(gòu)表面的多光譜識(shí)別裝置、方法、介質(zhì)及設(shè)備。

2、一種基于超構(gòu)表面的多光譜識(shí)別裝置，所述裝置包括：

3、分孔徑成像鏡組，用于采集目標(biāo)物體的多光譜信息，并對(duì)所述多光譜信息進(jìn)行分孔徑會(huì)聚以平行光形式輸出分孔徑會(huì)聚光。

4、超構(gòu)表面調(diào)制器件，用于通過微納結(jié)構(gòu)超表面生成預(yù)設(shè)個(gè)數(shù)的超表面原子，根據(jù)所述預(yù)設(shè)個(gè)數(shù)的超表面原子對(duì)所述分孔徑會(huì)聚光進(jìn)行多光譜調(diào)制，獲取已調(diào)制多光譜信息和未調(diào)制光譜信息。

5、電荷耦合器件，用于采集所述已調(diào)制多光譜信息和未調(diào)制光譜信息，獲取多光譜圖像和全波段圖像。

6、目標(biāo)檢測(cè)模塊，用于對(duì)所述多光譜圖像和全波段圖像進(jìn)行特征融合后，獲取融合池化結(jié)果，對(duì)所述融合池化結(jié)果進(jìn)行softmax歸一化處理，輸出最終目標(biāo)識(shí)別結(jié)果。

7、其中，所述分孔徑成像鏡組具體包括：縮束鏡頭和微透鏡陣列；

8、所述縮束鏡頭，用于采集目標(biāo)物體的多光譜信息。

9、所述微透鏡陣列，用于對(duì)所述多光譜信息進(jìn)行分孔徑會(huì)聚以平行光形式輸出分孔徑會(huì)聚光。

10、一種基于超構(gòu)表面的多光譜識(shí)別方法，所述方法包括：

11、采集目標(biāo)物體的多光譜信息，并對(duì)所述多光譜信息進(jìn)行會(huì)聚以平行光形式輸出分孔徑會(huì)聚光。

12、通過微納結(jié)構(gòu)超表面生成預(yù)設(shè)個(gè)數(shù)的超表面原子，根據(jù)所述預(yù)設(shè)個(gè)數(shù)的超表面原子對(duì)所述分孔徑會(huì)聚光進(jìn)行多光譜調(diào)制，獲取已調(diào)制多光譜信息和未調(diào)制光譜信息。

13、采集所述已調(diào)制多光譜信息和未調(diào)制光譜信息，獲取多光譜圖像和全波段圖像。

14、對(duì)所述多光譜圖像和全波段圖像進(jìn)行特征融合后，獲取融合池化結(jié)果，對(duì)所述融合池化結(jié)果進(jìn)行softmax歸一化處理，輸出最終目標(biāo)識(shí)別結(jié)果。

15、其中，所述通過微納結(jié)構(gòu)超表面生成預(yù)設(shè)個(gè)數(shù)的超表面原子，根據(jù)所述預(yù)設(shè)個(gè)數(shù)的超表面原子對(duì)所述分孔徑會(huì)聚光進(jìn)行多光譜調(diào)制，獲取已調(diào)制多光譜信息和未調(diào)制光譜信息，具體包括：

16、隨機(jī)初始化二值編碼向量。

17、根據(jù)所述二值編碼向量獲取預(yù)測(cè)光譜向量。

18、確定所述預(yù)測(cè)光譜向量滿足預(yù)設(shè)光譜條件，則獲取所述預(yù)測(cè)光譜向量對(duì)應(yīng)的原子形狀參數(shù)，根據(jù)所述原子形狀參數(shù)確定預(yù)設(shè)個(gè)數(shù)的超表面原子。

19、根據(jù)所述預(yù)設(shè)個(gè)數(shù)的超表面原子對(duì)所述分孔徑會(huì)聚光進(jìn)行多光譜調(diào)制，獲取已調(diào)制多光譜信息和未調(diào)制光譜信息。

20、其中，所述根據(jù)所述二值編碼向量獲取預(yù)測(cè)光譜向量，具體包括：

21、將所述二值編碼向量解碼為相應(yīng)的形狀向量和參數(shù)向量。

22、所述形狀向量根據(jù)第一三層卷積層和第一線性整流函數(shù)激活層，獲取均值向量和方差向量。

23、所述均值向量和方差向量相加，通過第二三層卷積層和第二線性整流函數(shù)激活層，獲取原子形狀圖像。

24、根據(jù)所述參數(shù)向量和所述原子形狀圖像獲取預(yù)測(cè)光譜向量。

25、其中，所述根據(jù)所述參數(shù)向量和原子形狀圖像獲取預(yù)測(cè)光譜向量，具體包括：

26、所述參數(shù)向量進(jìn)行全連接后，通過維度變換獲取第一特征圖。

27、所述原子形狀圖像根據(jù)第三三層卷積層和第三線性整流函數(shù)激活層，獲取第二特征圖。

28、所述第一特征圖和第二特征圖進(jìn)行第三維度拼接，獲取特征拼接圖。

29、所述特征拼接圖根據(jù)第四三層卷積層和第四線性整流函數(shù)激活層，獲取特征融合圖。

30、對(duì)所述特征融合圖進(jìn)行全連接，獲取預(yù)測(cè)光譜向量。

31、其中，所述根據(jù)所述二值編碼向量獲取預(yù)測(cè)光譜向量，還具體包括：

32、確定所述預(yù)測(cè)光譜向量不滿足所述預(yù)設(shè)光譜條件，則再次根據(jù)所述二值編碼向量獲取預(yù)測(cè)光譜向量，直至所述預(yù)測(cè)光譜向量滿足預(yù)設(shè)光譜條件。

33、其中，所述對(duì)所述多光譜圖像和全波段圖像進(jìn)行特征融合后，獲取融合池化結(jié)果，對(duì)所述融合池化結(jié)果進(jìn)行softmax歸一化處理，輸出最終目標(biāo)識(shí)別結(jié)果，具體包括：

34、對(duì)所述多光譜圖像進(jìn)行第三維度拼接，獲取三維多光譜。

35、所述三維多光譜通過雙注意力殘差塊進(jìn)行特征融合，獲取融合特征圖。

36、所述全波段圖像通過所述雙注意力殘差塊進(jìn)行特征融合，得到全波段特征圖。

37、所述融合特征圖和所述全波段特征圖分別編碼成鍵值映射對(duì)，獲取融合特征值圖、融合特征鍵圖、全波段特征值圖和全波段特征鍵圖。

38、所述融合特征值圖和所述全波段特征值圖進(jìn)行特征融合，獲取融合值圖。

39、所述融合特征鍵圖和所述全波段特征鍵圖進(jìn)行特征融合，獲取融合鍵圖。

40、融合值圖和融合鍵圖分別進(jìn)行softmax歸一化處理，將歸一化后的融合值圖和融合鍵圖進(jìn)行求和，獲取最終特征融合結(jié)果。

41、對(duì)所述最終特征融合結(jié)果進(jìn)行上下文感知特征聚合，選擇預(yù)設(shè)個(gè)數(shù)的分辨率進(jìn)行并行池化操作，獲取對(duì)應(yīng)的預(yù)設(shè)個(gè)數(shù)的池化結(jié)果。

42、通過注意力機(jī)制對(duì)所述預(yù)設(shè)個(gè)數(shù)的池化結(jié)果進(jìn)行融合，獲取融合池化結(jié)果。

43、對(duì)所述融合池化結(jié)果進(jìn)行softmax歸一化處理，輸出最終的目標(biāo)識(shí)別結(jié)果。

44、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如上所述方法的步驟。

45、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如上所述方法的步驟。

46、采用本發(fā)明實(shí)施例，具有如下有益效果：

47、本發(fā)明通過分孔徑成像鏡組，采用分孔徑設(shè)計(jì)，能夠同時(shí)采集目標(biāo)物體的多光譜信息，捕獲更豐富的光譜細(xì)節(jié)并以平行光形式輸出，為后續(xù)的超構(gòu)表面調(diào)制器件的調(diào)制提供了高質(zhì)量的輸入。進(jìn)一步地，利用微納結(jié)構(gòu)超表面生成預(yù)設(shè)個(gè)數(shù)的超表面原子，這些超表面原子具備對(duì)光波進(jìn)行精確調(diào)控的能力。通過對(duì)分孔徑會(huì)聚光進(jìn)行多光譜調(diào)制，不僅能夠獲取已調(diào)制的多光譜信息，還能保留未調(diào)制的光譜信息，實(shí)現(xiàn)了對(duì)光譜信息的靈活處理和細(xì)分調(diào)制。電荷耦合器件準(zhǔn)確采集已調(diào)制多光譜信息和未調(diào)制光譜信息，生成多光譜圖像和全波段圖像。最終在目標(biāo)檢測(cè)模塊基于深度學(xué)習(xí)對(duì)多光譜圖像和全波段圖像進(jìn)行特征融合，獲取融合池化結(jié)果，對(duì)融合池化結(jié)果進(jìn)行softmax歸一化處理，輸出最終目標(biāo)識(shí)別結(jié)果，提高了目標(biāo)識(shí)別準(zhǔn)確率。通過在深度學(xué)習(xí)方法下結(jié)合超構(gòu)表面多光譜成像，從而小型化成像設(shè)備并利用光譜特征來提高目標(biāo)識(shí)別準(zhǔn)確率。