GB-NIR拍攝的單一相機、由單一 RGB-IR相機或由 如2012年10月30日申請的第13/663, 897號美國申請案中描述的立體RGB-NIR相機系統(tǒng) 俘獲，所述申請案全文以引用的方式并入本文中。
[0025] 在以下描述中，給出具體細節(jié)以提供對實例的透徹理解。然而，所屬領(lǐng)域的一般技 術(shù)人員將理解，可在沒有這些具體細節(jié)的情況下實踐所述方面。舉例來說，可在框圖中展示 電組件/裝置，以免用不必要的細節(jié)混淆所述實例。在其它例子中，可詳細展示此些組件、 其它結(jié)構(gòu)和技術(shù)以便進一步闡釋所述實例。
[0026] 還應(yīng)注意，可將所述實例描述為過程，這個過程被描繪為流程圖、流程示意圖、有 限狀態(tài)圖、結(jié)構(gòu)圖或框圖。盡管流程圖可將操作描述為連續(xù)過程，但是許多操作可并行或同 時執(zhí)行，且所述過程可重復(fù)。另外，可重新布置操作的次序。過程在其操作完成時終止。過 程可對應(yīng)于方法、函數(shù)、過程、子例程、子程序等。當過程對應(yīng)于軟件函數(shù)時，其終止可對應(yīng) 于所述函數(shù)傳回到調(diào)用函數(shù)或主函數(shù)，或子程序或類似功能性的類似完成。
[0027] 所屬領(lǐng)域的技術(shù)人員將理解，可使用多種不同技術(shù)和技藝中的任一者來表示信息 和信號。舉例來說，可通過電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合 來表示貫穿以上描述可能參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號和碼片。
[0028] 系統(tǒng)概沐
[0029] 現(xiàn)轉(zhuǎn)而參看圖1，說明多光譜成像系統(tǒng)100的示意框圖。多光譜成像系統(tǒng)100可包 含多光譜成像設(shè)備110。多光譜成像設(shè)備110可經(jīng)配置以包含一或多個多光譜成像傳感器， 其可感測寬頻帶的波長，包含至少可見光波長和近紅外（NIR)光波長。舉例來說，多光譜成 像設(shè)備110可經(jīng)配置以檢測約390nm與約HOOnm之間的波長處的光。當然，成像設(shè)備110 還可經(jīng)配置以檢測更寬范圍的波長。在一些實施方案中，電荷耦合裝置（CCD)可用作多光 譜成像傳感器。在其它實施方案中，CMOS成像傳感器可用作多光譜成像傳感器。此外，閃 光燈模塊118和/或其它附件可包含在多光譜成像設(shè)備110中以幫助照明所述場景。在各 種實施方案中，閃光燈模塊8可包含可見和/或NIR閃光燈裝置。
[0030] 在圖1中展示的實施方案中，多光譜成像設(shè)備110包含兩個單獨傳感器而非單一 多光譜成像傳感器。在此實施方案中，多光譜成像設(shè)備110包含可見光傳感器115和單獨 NIR傳感器117。舉例來說，多光譜成像設(shè)備110具有能夠檢測至少約390nm與約800nm之 間的范圍中的可見光的第一可見傳感器115,例如(XD/CM0S傳感器。多光譜成像設(shè)備110 進一步包含能夠檢測約800nm與約HOOnm之間的范圍中的NIR光的第二NIR傳感器117， 例如(XD/CM0S傳感器。在一些實施方案中，可見和NIR傳感器的波長范圍可重疊或甚至可 實質(zhì)上相同。在一些實施方案中，例如NIR通濾波器等成像濾波器可在合適的(XD/CM0S傳 感器上使用以僅檢測NIR數(shù)據(jù)。在一個實施方案中，舉例來說，可見光傳感器115和NIR傳 感器117兩者可實施在Samsimg雜S5K4E1GX QSXGA CMOS傳感器上。NIR傳感器117可通 過移除IR截止濾波器以啟用傳感器來接收NIR光而實施。經(jīng)修改NIR傳感器117可進一 步由IR濾波器覆蓋以濾出較低波長，例如小于約800nm的波長。舉例來說，可在NIR傳感 器117上應(yīng)用K〇dak3? Wratten IR濾波器（#87〇。在其它實施方案中，各種其它傳感器或 其組合可用于俘獲可見和NIR圖像數(shù)據(jù)。
[0031] 在一些實施方案中，多光譜成像系統(tǒng)100可同時俘獲一對RGB和NIR圖像。多光 譜成像系統(tǒng)100可在其它實施例中在俘獲RGB圖像的預(yù)定時間間隔內(nèi)俘獲NIR圖像，且所 述預(yù)定時間間隔可足夠短使得所述對圖像可實質(zhì)上屬于同一場景?？墒褂肗IR閃光燈或通 過使用存在于目標圖像場景中的NIR環(huán)境光俘獲圖像而俘獲NIR圖像?？墒褂瞄W光燈或環(huán) 境光俘獲可見圖像。
[0032] 多光譜成像系統(tǒng)100進一步包含彼此且與成像設(shè)備110進行數(shù)據(jù)通信的處理器 140和存儲器130。處理器140和存儲器130可用于處理和存儲由成像設(shè)備110俘獲的圖 像。此外，多光譜成像系統(tǒng)100可包含經(jīng)配置以向用戶提供輸入/輸出（I/O)操作的用戶 接口（UI) 150。舉例來說，UI 150可包含向用戶呈現(xiàn)各種圖標的顯示器。UI 150還可包含 各種輸入裝置，例如鍵盤、觸摸屏輸入、鼠標、滾球、數(shù)據(jù)輸入（例如，USB或無線）和/或任 何其它合適的類型的輸入裝置。UI 150可經(jīng)編程以允許用戶操縱圖像數(shù)據(jù)和/或選擇用戶 希望使用的成像模式。UI 150還可包含用于俘獲多光譜圖像數(shù)據(jù)的控制。
[0033] 此外，處理器140和存儲器130可經(jīng)配置以實施作為軟件模塊存儲在圖像處理模 塊120中的過程且經(jīng)配置以處理由多光譜成像設(shè)備110俘獲的多光譜圖像數(shù)據(jù)。圖像處理 模塊120可在例如非暫時性存儲媒體等任何合適的計算機可讀存儲媒體中實施。圖像處理 模塊120可具有任何數(shù)目的軟件模塊。舉例來說，通信模塊121可實施在圖像處理模塊120 上。通信模塊121可包括計算機實施的指令，其管理多光譜成像系統(tǒng)100的組件之間的數(shù) 據(jù)的流動。舉例來說，通信模塊121可包含管理從多光譜成像設(shè)備110接收圖像數(shù)據(jù)的指 令。圖像處理模塊120還包含存儲模塊129,其經(jīng)配置以存儲不同類型的數(shù)據(jù)、源碼和/或 可執(zhí)行文件。舉例來說，存儲模塊129可經(jīng)編程以存儲由成像設(shè)備110接收的圖像數(shù)據(jù)和 /或由圖像處理模塊120處理的圖像數(shù)據(jù)。
[0034] 圖像處理模塊120還可包含經(jīng)編程以實施各種多光譜成像應(yīng)用的各種模塊。舉例 來說，圖像處理模塊120包含暗閃光燈成像模塊123,其經(jīng)編程以俘獲NIR圖像和可見光圖 像兩者。在一些實施方案中，暗閃光燈成像模塊123可致使可見光傳感器115和NIR傳感 器117在大體上相同時間俘獲目標場景的圖像。在另一實施方案中，暗閃光燈成像模塊123 可致使可見光傳感器115和NIR傳感器117連續(xù)地俘獲目標場景的圖像。
[0035] 此外，圖像處理模塊120可包含混合成像模塊125?；旌铣上衲K125可經(jīng)編程以 處理由成像設(shè)備110俘獲的靜態(tài)圖像和視頻圖像兩者。舉例來說，混合成像模塊25可經(jīng)編 程以處理來自可見光傳感器115的靜態(tài)圖像數(shù)據(jù)和來自NIR傳感器117的視頻圖像數(shù)據(jù)， 或反之亦然。在一些布置中，靜態(tài)圖像數(shù)據(jù)和視頻圖像數(shù)據(jù)可同時由相應(yīng)傳感器俘獲；在其 它布置中，靜態(tài)和視頻圖像數(shù)據(jù)可在單獨時間俘獲。在各種實施方案中，靜態(tài)圖像數(shù)據(jù)可在 比視頻圖像數(shù)據(jù)高的分辨率下俘獲以便減小場景的圖像中的運動模糊。
[0036] 圖像處理模塊120還包含多光譜信息處理模塊127。多光譜信息處理模塊127可 經(jīng)編程以處理從NIR傳感器117俘獲的NIR圖像數(shù)據(jù)以經(jīng)由去噪處理增強從可見光傳感器 115俘獲的可見光圖像數(shù)據(jù)的質(zhì)量。多光譜信息處理模塊127可包含用于實行噪聲減少過 程的各種子模塊，如下文所描述。
[0037] 多光譜信息處理模塊127可包含圖像對準模塊124。NIR傳感器117和可見光傳 感器115可隔開一距離，且可因此使用不同成幀和/或角度俘獲目標場景。NIR和可見光圖 像可在處理圖像之前對準以實現(xiàn)噪聲減少。圖像對準模塊124可經(jīng)編程以對NIR和可見光 圖像執(zhí)行任何預(yù)備操作，例如確認可見光傳感器115和NIR傳感器117垂直對準。圖像對 準模塊124可進一步經(jīng)編程以使NIR圖像中的像素與可見光圖像中的像素匹配從而形成多 個匹配的像素對。圖像對準模塊124可借此基于每一圖像的圖像描述符提供NIR和可見光 圖像的初始逐像素對準。圖像描述符可部分地基于相應(yīng)圖像中測得的圖像梯度。
[0038] 圖像對準模塊124還可經(jīng)編程以大體使NIR和可見光圖像的稀疏部分對準。舉例 來說，圖像對準模塊124可經(jīng)編程以計算每一匹配的像素對的像素差別。在各種實施方案 中，所述像素差別可基于每一匹配的像素對的像素分離距離。圖像對準模塊124可經(jīng)編程 以至少部分地基于每一匹配的像素對的所計算的像素差別向每一匹配的像素對指派權(quán)數(shù)。 一旦指派權(quán)數(shù)，在各種實施方案中，保持具有較高權(quán)數(shù)的匹配，同時丟棄具有較低權(quán)數(shù)的匹 配?？晒烙嬁梢娕cNIR圖像之間的逐段單應(yīng)約束，且可保持滿足所述單應(yīng)約束的匹配用于 后續(xù)對準處理。
[0039] 此外，圖像對準模塊124可經(jīng)編程以至少部分地基于所指派權(quán)數(shù)使NIR圖像與可 見光圖像對準。舉例來說，圖像對準模塊124可基于例如所指派的權(quán)數(shù)等強度類似性值和 /或置信度圖而將稀疏匹配結(jié)果傳播到密集匹配結(jié)果。在一些方面中，NIR圖像可扭曲到可 見光圖像的透視圖或反之亦然，以確認圖像的對準為準確的。
[0040] 梯度比例圖產(chǎn)生模塊126可經(jīng)編程以從NIR和RGB圖像產(chǎn)生梯度比例圖。舉例來 說，如上文所描述，可基于可見光圖像和NIR圖像中的梯度向量之間的差異和類似性而產(chǎn) 生梯度比例圖。因此，梯度比例圖產(chǎn)生模塊126可經(jīng)編程以例如通過將導(dǎo)數(shù)濾波器應(yīng)用于 像素塊且向每一像素塊中的中心像素指派梯度向量值而計算可見和NIR圖像中的每一者 中每一像素處的梯度向量值。
[0041] 梯度比例圖產(chǎn)生模塊126可進一步經(jīng)編程以基于NIR圖像和可見光圖像的梯度向 量的比較產(chǎn)生梯度比例圖。梯度比例圖相應(yīng)地可俘獲NIR和可見光圖像之間的結(jié)構(gòu)偏差和 類似性的性質(zhì)。在一些實施例中，梯度比例圖產(chǎn)生模塊12