專利名稱：多光譜和超光譜成像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種包括用于產(chǎn)生光譜信息豐富的多頻帶圖像以及多光譜和超光譜圖像、或者產(chǎn)生光譜或光譜信息豐富的信號的裝置和方法的系統(tǒng)。該裝置包括光收集裝置、包括嵌入式(與圖像傳感器集成)顏色分離裝置的帶有至少一個二維傳感器陣列的圖像傳感器、和以使成像局限于電磁譜的特定部分為目的、處在該裝置的光路中的任選的均勻濾譜器。本發(fā)明還涉及用于產(chǎn)生多光譜和超光譜圖像的光學輔助設(shè)備和方法。在本發(fā)明的裝置或本發(fā)明的光學輔助設(shè)備中可以包括彩色馬賽克、均勻濾色器和/或濾色器輪。由圖像傳感器記錄的圖像被去馬賽克成每個頻帶由記錄特定濾光器的響應信號的像素組成的多頻帶圖像。利用插值填充每個頻帶中的空區(qū)。針對每個多頻帶像素對光譜進行估算，并因此獲得多光譜或超光譜圖像。當然，可以通過計算所得圖像中所有光譜的平均值來為整個成像場景產(chǎn)生一個光譜，但是，更高效的方法是計算多頻帶圖像的每個頻帶(或每個頻帶的特定部分)的平均值，最后，將所得多頻帶向量變換成光譜，即，獲得一種光譜儀。可以使用光纖將光引向圖像傳感器陣列的特定部分，并因此獲得可以并行地測量數(shù)量與所使用光纖的數(shù)量一樣多的光源的多光譜儀。當該裝置中未包括濾色器輪或用于濾光器互換或交換的其它裝置時，獲得瞬時多光譜和超光譜圖像。濾光器互換或交換可以利用帶有移動部分的任何濾光器夾持器來執(zhí)行，還可以利用扁平透射式顯示器顯示所需均勻濾色器和/或濾光器馬賽克的序列來執(zhí)行。

背景技術(shù)：
盡管通常稱為光譜儀的多光譜和超光譜傳感器發(fā)生了重大的演變，但仍然只有非常少或粗糙的獲得環(huán)境的瞬時的所謂多光譜或超光譜2D圖像、即具有多于三個譜帶的2D圖像的方式。我們將超光譜圖像定義為包含多于十個譜帶的圖像，而多光譜圖像具有四個到十個譜帶。
現(xiàn)今的多光譜和超光譜傳感器系統(tǒng)依賴于空間掃描和/或光譜掃描來產(chǎn)生所得圖像。這些系統(tǒng)中的一些在如下出版物中有描述 -T.H.Barnes的“Photodiode array Fourier transform spectrometerwith improved dynamic range”Appl.Opt.24，3702-3706(1985)； -T.Okamoto，S.Kawata和S.Minani的“Fourier TransformSpectrometer with a Self-scanning Photodiode Array”Appl.Opt.23，269(1984)； -Slough，W.，J.，Rafert，J.B.，Rohde，C.A.，Hart，C.L.，的“THRIFTItomographic hyperspectral remote imaging Fourier transforminterferometer”Proceedings SPIE Vol.3393，207-216，(1998)； -Rafert，J.B.，Holbert，E.T.，Rusk，E.T.，Durham，S.E.，Caudill，E.，Keating，D.，Newby，H.的“A Visible，Spatially-Modulated Imaging FourierTransform Spectrometer(SMIFTS)for Astronomical Application”Bulletin of the American Astronomical Society，24，1282，(1992)；以及 -Tugbayev，V.A.的“Polarization interferometer for visible Fouriertransform spectrometer of static type”Proceeding SPIE Vol.2089，292，(1994)。
在空間掃描的情況中，傳感器系統(tǒng)瞬時捕捉整個光譜，但在每個瞬間只針對場景的一個小區(qū)域，且利用空間掃描來覆蓋整個場景。這可以通過例如利用跨待成像的場景而平移的一行傳感器單元來實現(xiàn)，這是產(chǎn)生如航空和衛(wèi)星圖像以及工業(yè)檢查方面大多數(shù)多光譜和超光譜圖像的方式。光譜掃描的情況相反，因此需要時間來獲得完整的光譜。光譜掃描可以例如利用包含若干不同窄帶或?qū)拵V光器的濾光器輪來實現(xiàn)，并且利用這些濾光器中的每一個來記錄完全相同的場景。
與掃描過程的需要相關(guān)聯(lián)的缺點是所得圖像對比掃描時間快的場景變化敏感。這對于快速變化事件的近距離成像尤其嚴重。本發(fā)明的目的在于當不執(zhí)行濾光器互換或交換、即不需要對場景執(zhí)行光譜掃描時捕捉瞬時多光譜和超光譜2D圖像。
數(shù)碼彩色相機可以利用與圖像傳感器芯片集成的濾色器馬賽克(例如，Bayer濾色器陣列)產(chǎn)生瞬時RGB(紅色、綠色、藍色)彩色圖像。所用濾色器馬賽克可以由RGB、RGBE(E＝翠綠色)、CMY(青色、洋紅色、黃色)或CMYG顏色區(qū)組成。處理在所用馬賽克的不同著色的區(qū)之后的傳感器的響應產(chǎn)生最終RGB圖像。
換句話說，三個或四個寬譜帶濾光器用于產(chǎn)生RGB圖像；3色帶圖像。這種技術(shù)的一種擴展是使用若干高質(zhì)量窄帶濾光器馬賽克來產(chǎn)生具有與用在馬賽克中的不同濾光器的數(shù)量一樣多數(shù)量的頻帶的圖像，如US 4885 634，其示出了用于顯示單色和彩色圖像的內(nèi)診鏡(其中光學內(nèi)診鏡與用于特定譜波長成分的圖像信號處理器和TV相機連接)、以及用于關(guān)于特定波長區(qū)的單色圖像以及普通彩色圖像的顯示裝置。但是，這種方法的高成本限制了它的實用性。
Zhang，C.，Bin，X.，Zhao，B.的出版物“Static polarization interferenceimaging spectrometer(SPIIS)”Proceedings SPIE Vol.4087，p.957，(2000)教導了一種可以用于瞬時超光譜成像的發(fā)展中的新技術(shù)。


發(fā)明內(nèi)容
本發(fā)明教導了使用若干重疊寬譜帶濾光器來(在適當?shù)膱D像去馬賽克和處理之后)產(chǎn)生可以變換成具有若干窄譜帶的多光譜或超光譜圖像的光譜信息豐富的多頻帶圖像。一系列重疊濾光器(這些濾光器直接物理接觸或者位于該裝置的光路中的不同位置)構(gòu)建所謂的多重濾光器，即輸入光依次穿過組分濾光器層。若干低成本濾色器可以用于構(gòu)建與使用更大數(shù)量的高成本窄帶濾光器等價的多重濾光器。因此，當使用這些多重濾光器代替對應的窄帶濾光器時，光譜掃描時間減少(注意，每個濾光器必須覆蓋整個場景)。此外，通過(利用由這些濾光器組成的周期性圖案)來構(gòu)造這些多重濾光器的高分辨率馬賽克，可以完全省去掃描時間。實現(xiàn)這個目的的另一種可能方式是使用需要復雜和昂貴光學硬件及電子硬件的多芯片傳感器。
在數(shù)碼彩色相機中，制造商已經(jīng)放入與傳感器集成的彩色馬賽克(例如，Bayer濾色器陣列)，且替換或改變這些濾光器非常困難和昂貴。因此，需要一種得到比對應彩色圖像包含更多光譜信息的瞬時多光譜或超光譜2D圖像或瞬時多頻帶圖像的節(jié)省成本的靈活設(shè)備。
本發(fā)明的一個被提出的實施例教導了將數(shù)碼彩色相機(包含CCD或CMOS圖像傳感器芯片)與在光路中具有彩色馬賽克的附加透鏡系統(tǒng)一起使用，以便獲取具有許多譜帶的瞬時2D圖像。通過在光路中設(shè)置濾光層，可以做到這一點。其也是節(jié)省成本的。
另一種方法是利用作為覆蓋圖像傳感器單元的松散放置的薄膜(或薄膜堆，即一塊層疊薄膜)、或作為與圖像傳感器單元集成(嵌入有圖像傳感器單元)的層的多重濾光器馬賽克薄膜來覆蓋圖像傳感器芯片(其可能已經(jīng)自帶有嵌入的濾色器馬賽克)。必須實現(xiàn)圖像傳感器單元與覆蓋膜或?qū)又g的直接接觸，以保證將這個額外膜或?qū)臃胖迷诠饴分械臅酃庵?。微透鏡可用于為膜和傳感器提供會聚光。
如果掃描時間不是關(guān)鍵的(在獲取圖像立方體(image cube)時，關(guān)于相機位置和場景的移動或變化都未發(fā)生)，還可以利用被對準并定位在光路中的會聚光中的若干重疊濾光器輪來獲得多重濾光器也就是說，當前均勻濾色器通過其而顯現(xiàn)的每個濾光器輪的窗口位于光路中的會聚光中。完全相同的場景利用通過選擇安裝在濾光器輪上的均勻濾色器的不同組合而產(chǎn)生的不同多重濾光器來記錄。還可以利用均勻濾色器輪(等價于使用可互換的均勻濾色器)與固定濾色器馬賽克的組合來產(chǎn)生多重濾光器馬賽克。更為一般的方法是將均勻濾色器輪與彩色馬賽克濾光器輪(等價于使用可互換的濾色器馬賽克)相組合。利用移動部分得到非瞬時成像系統(tǒng)。還可以使用扁平透射式顯示器來起到濾光器互換或交換設(shè)備的作用。在任何瞬時，所需的均勻濾色器或濾色器馬賽克由這些顯示器簡單地顯示。圖像立方體記錄期間的濾光器互換得到非瞬時圖像，而不同圖像記錄任務(wù)之間的濾光器互換可以用于改變系統(tǒng)的波長范圍并針對不同應用對其進行優(yōu)化。
另一種更昂貴的瞬時成像方法是使用其中可以將均勻濾色器與濾色器馬賽克相組合以產(chǎn)生多重濾光器馬賽克的多芯片相機(例如，三芯片相機)。
本發(fā)明是一種用于產(chǎn)生光譜信息豐富的多頻帶圖像以及多光譜和超光譜2D圖像的成像系統(tǒng)，該成像系統(tǒng)被構(gòu)造成通過使用重疊濾色器和/或濾色器馬賽克在光路中產(chǎn)生透射濾光器的組合(稱為多重濾光器)。所使用的濾光器或馬賽克可以通過普通打印技術(shù)來產(chǎn)生，所述普通打印技術(shù)通常得到就透明度而言質(zhì)量適中的寬帶濾色器。但是，將這些濾光器放置在光路中的會聚光中補償了這些不完美。當然，還可以利用對可見光和/或近紅外光敏感的常規(guī)透射濾光器和濾光器馬賽克。依次穿透重疊濾色器(可以是濾色器馬賽克中的小的均質(zhì)顏色區(qū))的光線穿過整個光學系統(tǒng)。
普通打印技術(shù)產(chǎn)生放置在(光學透鏡系統(tǒng)內(nèi))的光路中的會聚光中的(和/或直接覆蓋圖像傳感器單元的)有用的濾色器和濾色器馬賽克。這使本發(fā)明的系統(tǒng)的濾光部分是節(jié)省成本的。
本發(fā)明還示出了如何將該附加多重濾光器馬賽克構(gòu)造為單獨的模塊，從而例如具有此馬賽克的透鏡系統(tǒng)可以容易地附著到自帶或不自帶(嵌入的)相機透鏡的單色或彩色相機、普通數(shù)碼相機。如果相機已經(jīng)具有固定的(嵌入的)相機透鏡，則附著配備有目鏡的透鏡系統(tǒng)可做到這一點。否則，如果相機不自帶(嵌入的)相機透鏡，則透鏡系統(tǒng)起到配備有濾色器馬賽克的相機透鏡的作用。根據(jù)提出的實施例，這樣的透鏡系統(tǒng)于是可以視為自帶或不自帶固定的(嵌入的)相機透鏡的常規(guī)數(shù)碼相機的透鏡附件。其它提出的實施例教導了使用濾光器輪來夾持均勻濾色器和/或濾色器馬賽克(等價于使用可互換的濾光器和馬賽克)。當然，可以使用諸如LCD、等離子體或電致變色顯示器的扁平透射式顯示器，來通過簡單地顯示所需顏色圖片來起到均勻濾色器和/或濾色器馬賽克的作用?？梢允褂眠@些顯示器來代替濾光器輪。但是，這些類型顯示器的新設(shè)計需要增強其透明度和光譜特性。
本發(fā)明的目的還在于通過應用于來自系統(tǒng)的成像部分的輸出圖像的去馬賽克和插值方法繼之以變換方法來產(chǎn)生最終所得圖像中的光譜。這種變換方法將寬帶彩色馬賽克單元響應取作輸入，并利用例如線性代數(shù)將這些信號轉(zhuǎn)換成近似按單元的光譜。這使本發(fā)明的系統(tǒng)能夠產(chǎn)生在像素中存在光譜的瞬時2D圖像。如果系統(tǒng)不包括平板透射式顯示器(LCD、等離子體或電致變色顯示器)、濾光器輪或具有能夠可互換地使用若干不同的均勻濾色器和/或濾色器馬賽克的移動部分的其它濾光器夾持器，則不需要(光譜)掃描。平板透射式顯示器、濾光器輪等用于獲得較好的空間和光譜分辨率，但系統(tǒng)于是獲取非瞬時圖像，因為一系列圖像需要利用不同的多重濾光器來記錄。另一方面，在使用固定的多重濾光器馬賽克(也可以顯示在透射式顯示器上)的情況下，只記錄一個圖像(其具有與圖像傳感器陣列相同的尺寸)，導致所得瞬時多光譜或超光譜圖像的空間分辨率下降。為了增強所得瞬時多光譜或超光譜圖像的空間和光譜分辨率，可以使用一種更昂貴的方法利用其中可以使用均勻濾色器和/或濾色器馬賽克的組合的多芯片圖像傳感器(例如，三芯片圖像傳感器)。
使用平板透射式顯示器(LCD、等離子體或電致變色顯示器)使得可以使用針對不同波長區(qū)間優(yōu)化的不同濾色器馬賽克。
其中利用這里提供的本發(fā)明的技術(shù)的多光譜和超光譜成像可能有用的應用的列表是相當長的，包括(但不限于)如下領(lǐng)域 ·精細農(nóng)業(yè)/耕作(監(jiān)視土地狀況、預測產(chǎn)量、植物識別等)； ·植物病理壓力檢測和表征(檢測病蟲害)； ·獸醫(yī)(醫(yī)療診斷、狀況估算等)； ·食物質(zhì)量檢測(新鮮水果和蔬菜的檢測、奶類和油類質(zhì)量檢測、家禽、魚類和肉類質(zhì)量檢測、肉類中的脂肪估算等)； ·森林、植被和樹冠研究(測繪樹木品種、樹木體積/大小/年齡估算、檢測受損/折斷樹木、外來物種檢測等)； ·生態(tài)系統(tǒng)監(jiān)視； ·環(huán)境(濕地、陸地、水文等)； ·羽毛檢測和分析 ·水質(zhì)量和珊瑚礁監(jiān)視； ·海洋研究(深海測量、水體透明度等)； ·衛(wèi)生保健(食品安全、醫(yī)療診斷，例如，黑素瘤檢測和皮膚創(chuàng)傷分析等)； ·生物和化學檢測(檢測和識別危險物品)； ·物品識別(天然和人造物品)； ·礦物勘探和繪制； ·偽裝物和隱藏物檢測； ·災難緩解； ·城市規(guī)劃和房地產(chǎn)； ·交通能力分析； ·法律實施(測量溢出程度和污染物、跟蹤化學物品或油的排放、檢測保護區(qū)內(nèi)的非法活動等)。
但是，顯而易見，多頻帶圖像(其在去馬賽克步驟之后獲得)和對應的多光譜或超光譜圖像(其在變換步驟之后獲得)包含相同量的光譜信息。因此，不必要將多頻帶圖像轉(zhuǎn)換成多光譜或超光譜圖像以便能夠分析成像場景?？梢灾苯訉Χ囝l帶圖像進行分析，從而得到比使用估算的(即引入估算誤差)多光譜或超光譜圖像時更好的性能。
優(yōu)點 本發(fā)明的優(yōu)點是使利用低成本常規(guī)相機和光學附件產(chǎn)生節(jié)省成本的、瞬時和非瞬時多光譜和超光譜圖像或光譜信息豐富的多頻帶圖像成為可能。



現(xiàn)在參照附圖詳細描述根據(jù)本發(fā)明的包括裝置和方法的系統(tǒng)，在附圖中 圖1是產(chǎn)生瞬時和/或非瞬時多光譜和超光譜圖像的系統(tǒng)的示意性的和簡化的圖示。
圖2a是由重疊濾色器馬賽克組成的濾光器單元(FU)的示意性的和簡化的圖示，其中，CFMi指編號為“i”的濾色器馬賽克。
圖2b是由重疊均勻濾色器組成的濾光器單元(FU)的示意性的和簡化的圖示，其中，UCFi指編號為“i”的均勻濾色器。
圖2c是由重疊均勻濾色器和濾色器馬賽克組成的濾光器單元(FU)的示意性的和簡化的圖示，其中，XCFi可以是CFMi或UCFi。
圖3a是將圖像傳感器單元(ISU)與包括直接附著到ISU的濾光器單元FU0的多重濾光器單元(MFU)相組合的裝置的示意性的和簡化的圖示。
圖3b是將圖像傳感器單元(ISU)與包括直接附著到ISU的濾光器單元FU0以及位于光路(OP)中的會聚光中的若干(m≥1)濾光器單元(FUi)的多重濾光器單元(MFU)相組合的裝置的示意性的和簡化的圖示。
圖3c是將圖像傳感器單元(ISU)與由位于光路(OP)中的會聚光中的若干(m≥1)濾光器單元(FUi)組成的多重濾光器單元(MFU)相組合的裝置的示意性的和簡化的圖示，注意，未使用FU0。
圖4a是由兩個重疊濾色器馬賽克CMYT(由青色區(qū)域、洋紅色區(qū)域、黃色區(qū)域和透明區(qū)域組成)和RGBT(由紅色區(qū)域、綠色區(qū)域、藍色區(qū)域和透明區(qū)域組成)組成的多重濾光器馬賽克單元(其被重復以形成覆蓋整個圖像傳感器陣列的馬賽克)的示意性的和簡化的圖示，其中，CMYT馬賽克的每個單元覆蓋RGBT馬賽克的2×2個單元。
圖4b是利用夾持均勻濾色器的兩個對準的濾光器輪(出現(xiàn)來自每個濾光器輪的所選濾光器的窗口必須對準)產(chǎn)生均勻多重濾光器的裝置的示意性的和簡化的圖示，來自這兩個濾光器輪的濾光器的不同組合產(chǎn)生不同的多重濾光器。
圖5a、5b和5c是待與多芯片圖像傳感器一起使用的三個多重濾光器馬賽克的示意性的和簡化的圖示，其中，這些多重濾光器馬賽克中的每一個覆蓋圖像傳感器的傳感器陣列之一。
圖6是當使用圖4a中的濾色器馬賽克時的所得多重濾光器馬賽克的示意性的和簡化的圖示。
圖7是多重濾光器馬賽克的示意性的和簡化的圖示，其中，在圖像傳感器陣列與RGBT馬賽克之間實現(xiàn)按單元的匹配，而具有隨機分布的隨機形狀顏色單元的低分辨率CMYT馬賽克與RGBT馬賽克重疊。
圖8是包括兩個重疊CMY和RGB對角彩色馬賽克的多重濾光器馬賽克的示意性的和簡化的圖示，其中，在圖像傳感器陣列與RGB馬賽克之間實現(xiàn)按單元的匹配，且CMY馬賽克的每個單元覆蓋RGB馬賽克的2×2個單元。
圖9是多重濾光器馬賽克的示意性的和簡化的圖示，其中，RGB對角彩色馬賽克與圖像傳感器陣列集成，而CMY對角彩色馬賽克不能被完美地產(chǎn)生以包含充分分離的C、M和Y區(qū)域。
圖10是如圖9所示的多重濾光器馬賽克的另一種變體的示意性的和簡化的圖示，其中，C、M和Y區(qū)域是菱形的以防止CMY馬賽克的多于兩個區(qū)域之間的重疊。
圖11是其中使用單芯片圖像傳感器(包括一個傳感器陣列)的本發(fā)明實施例的示意性的和簡化的圖示。裝置1(其包括第一均勻濾譜器13)可以附著到等價于該圖中的部分12的常規(guī)數(shù)碼相機。
圖12是如圖11所示的實施例的另一種變體的示意性的和簡化的圖示，其中，第一均勻濾譜器是所用常規(guī)相機的一部分。
圖13是本發(fā)明實施例的示意性的和簡化的圖示，其中，使用單芯片圖像傳感器，且第一濾譜器或濾色器馬賽克112直接覆蓋顏色分離裝置123。
圖14是其中使用三芯片圖像傳感器(包括由三個不同的均勻濾光器覆蓋的三個單獨的傳感器陣列)的本發(fā)明實施例的示意性的和簡化的圖示。裝置1可以附著到等價于該圖中的部分12′的常規(guī)三芯片數(shù)碼相機。
圖15是本發(fā)明實施例的示意性的和簡化的圖示，其中，使用三芯片圖像傳感器，且包括均勻濾色器(125a、125b或125c)和濾色器馬賽克(123a、123b或123c)的每個多重濾光器馬賽克直接覆蓋單獨的傳感器陣列之一。
圖16是本發(fā)明實施例的示意性的和簡化的圖示，其中，使用四芯片圖像傳感器，且不同的多重濾光器馬賽克直接覆蓋不同的單獨的傳感器陣列。
圖17是濾光器的線性相關(guān)透射率曲線的示意性的和簡化的圖示，其中，透射率曲線TC1是其它兩個透射率曲線TC2和TC3的線性組合。
圖18a示出了五個濾光器透射率曲線TC1、TC2、TC3、TC4和TC5。
圖18b示出了透射率曲線TC6、TC7、TC8和TC9，它們分別是圖18a的透射率曲線的相乘對TC1乘以TC2、TC2乘以TC3、TC3乘以TC4和TC4乘以TC5的結(jié)果。
圖18c示出了由常規(guī)光譜儀記錄的濾色器的真實光譜。
圖19a和19b是適合農(nóng)業(yè)和醫(yī)學應用的兩個多重濾光器馬賽克的示意性的和簡化的圖示。
圖20示出了適合醫(yī)學和農(nóng)業(yè)應用的多重濾光器馬賽克的示意性的和簡化的圖示。
圖2la示出了根據(jù)本發(fā)明的包括至少一個第一濾譜器或濾色器馬賽克112的光學輔助設(shè)備33。本發(fā)明的光學設(shè)備33和常規(guī)相機44當相互連接時形成本發(fā)明的裝置。
圖21b示出了根據(jù)本發(fā)明的包括至少一個第一濾譜器或濾色器馬賽克112的目鏡5l。目鏡51與常規(guī)數(shù)碼相機52聯(lián)合作用形成本發(fā)明的裝置1。
圖22a示出了單獨的2D陣列的一部分，其中，陰影區(qū)域代表均質(zhì)區(qū)域。
圖22b示出了將距離變換應用于圖22a中的單獨陣列的部分的結(jié)果，其中，較暗單元對應于較長距離。
圖23是用于測量特定多重濾光器F2對各種顏色(通過產(chǎn)生彩虹光)以及各種光強(通過使用可變透射率濾光器F1)的響應的設(shè)置的示意性簡化例示。響應信號利用常規(guī)光譜儀和常規(guī)數(shù)碼相機來測量。
圖24是波長區(qū)間的范圍從300nm到1100nm的一組11個基本函數(shù)向量的示意性的和簡化的圖示。
圖25、26和27是示出其中具有重疊透射率曲線TC的兩個濾光器用于近似具有較窄曲線TC的兩個或三個濾光器的一些例子的示意性的和簡化的圖示。在圖25中，具有透射率曲線TC2和TC4的濾光器可以近似具有TC1、TC3和TC5的濾光器。在圖26中，具有TC7和TC8的濾光器可以近似具有TC6、TC9和TCl0的濾光器。在圖27中，具有TC12和TC13的濾光器可以近似具有TC11和TC14的濾光器。
圖28是由呈現(xiàn)在圖6中的類型的四個馬賽克單元組成的多重濾光器馬賽克的示意性的和簡化的圖示。
圖29和30是呈現(xiàn)在圖11和13中的實施例的經(jīng)修改版本的示意性的和簡化的圖示。新實施例記錄多光譜或超光譜圖像或測量物體O的光譜，同時測量利用光纖OF1和OF2饋送的光信號的光譜。
圖31和32是其中僅光纖OF用來將光信號提供給該裝置中的多重濾光器馬賽克的兩個實施例(其分別對應于圖29和30中的實施例)的示意性的和簡化的圖示。
圖33示出了前饋人工神經(jīng)網(wǎng)絡(luò)的示意性圖示。

具體實施例方式 現(xiàn)在參照圖1，描述產(chǎn)生瞬時和/或非瞬時多光譜和超光譜圖像的系統(tǒng)。
多重濾光器單元(MFU)包括多重濾光器馬賽克和/或置于光路中的會聚光中的均勻多重濾光器。多重濾光器是通過如此堆疊若干濾光器而產(chǎn)生的將它們放置在光路中的會聚光中的不同位置，和/或?qū)⑺鼈冎械娜舾啥询B在一起(以得到一塊層疊濾光器)并將它們放在會聚光中。還可以將所有它們堆疊在一起(和得到一塊層疊濾光器)和將它們放在光路中的會聚光中，例如，直接位于接收輸入光的圖像傳感器單元上。(例如用于非瞬時多光譜和超光譜圖像記錄的)均勻多重濾光器可以由重疊均勻濾色器產(chǎn)生，而(例如用于瞬時多光譜和超光譜圖像記錄的)多重濾光器馬賽克可以由重疊濾色器馬賽克以及均勻濾色器產(chǎn)生。這些濾光器和馬賽克可以安裝在固定濾光器夾持器中或安裝在濾光器輪或其它類型的濾光器夾持器中，以便能夠?qū)崿F(xiàn)產(chǎn)生不同多重濾光器和馬賽克的各種濾光器組合。扁平透射式顯示器可以用于起到濾色器馬賽克或均勻濾色器的作用。還可以通過顯示不同顏色圖案來互換或交換均勻濾光器和馬賽克。
圖像傳感器單元(ISU)將輸入光轉(zhuǎn)換成電信號，并且(通常利用A/D轉(zhuǎn)換器)產(chǎn)生與感測信號相對應的數(shù)字值。這個單元的輸出依賴于嵌入功能，使得所得輸出可以是一個(單頻帶)或三個(紅、綠和藍頻帶)2D陣列的數(shù)字值。
數(shù)字圖像處理單元(DIPU)通過應用于圖像傳感器單元(ISU)的輸出的任選(如果需要)去馬賽克和插值方法繼之以變換成光譜的方法產(chǎn)生最終所得圖像中的光譜。該變換方法將多重濾光器響應取作輸入，并且利用例如線性代數(shù)將這些信號轉(zhuǎn)換成近似光譜。這使本發(fā)明的系統(tǒng)能夠產(chǎn)生在像素中存在光譜的2D圖像。如果利用多重濾光器馬賽克，則必須采用去馬賽克方法和任選的(如果需要)插值方法并獲得瞬時多頻帶圖像。這些多頻帶圖像最終變換成多光譜或超光譜圖像。
圖2教導了濾光器單元(FU)被分別定義為如圖2a、圖2b和圖2c所示的重疊濾色器馬賽克、重疊均勻濾色器或重疊均勻濾色器和濾色器馬賽克，其中，CFMi和UCFi分別指編號為“i”的濾色器馬賽克和編號為“i”的均勻濾色器，而XCFi可以是CFMi或UCFi。若干(n≥1)濾光器(CFM和/或UCF)堆疊在一起以構(gòu)建待用在系統(tǒng)的多重濾光器單元(MFU)中的濾光器單元(FU)(一塊層疊濾光器)。這意味著FU也可以是單個CFM或UCF。
參照圖3，提出了將圖像傳感器單元(ISU)與多重濾光器單元(MFU)相組合的三種裝置，其中，F(xiàn)Ui指系統(tǒng)中編號為“i”的濾光器單元。用在圖3a和3b中的FU0是直接附著到圖像傳感器單元(ISU)的濾光器單元，且其組成部件(如圖2所示)中的一些可以與傳感器芯片集成(由芯片制造商)，而其余部件(如果有的話)可以被松散地或永久地安裝，以覆蓋芯片上的感測單元。注意，圖像傳感器單元位于光路(OP)中的會聚光中。圖3a教導了多重濾光器單元(MFU)可以只由FU0構(gòu)成，而在圖3b中，除了使用FU0之外，若干(m≥1)濾光器單元(FUi)位于光路(OP)中的會聚光中。在圖3c中，濾光器單元(FUi)位于光路(OP)中的會聚光中，但未使用FU0。如圖3所示，在多重濾光器單元(MFU)中，光學系統(tǒng)包括將輸入光(A)聚焦成會聚光(B)所需的任何透鏡(3)和/或鏡、以及將會聚光(B)轉(zhuǎn)換成近似準直的輸出光(C)所需的任何透鏡(4)和/或鏡。所有使用的透鏡(3和4)和鏡必須沿著光學系統(tǒng)中的公共光路(OP)精確對準。
如圖3所示，附加濾光器單元(FUi，i≥1)可以被松散地或永久地安裝到固定濾光器夾持器中或者濾光器輪或具有可互換地使用不同濾光器的移動部分的其它濾光器夾持器(出現(xiàn)所選濾光器的窗口必須沿著光學系統(tǒng)的公共光路OP對準)。還可以使用扁平透射式顯示器作為濾色器馬賽克或均勻濾色器或者使用扁平透射式顯示器來可互換地示出不同濾光器或馬賽克。
RGB、RGBE、CMY或CMYG濾色器陣列常常集成到用于RGB彩色圖像記錄的圖像傳感器中。這意味著基本技術(shù)和染料可用來能夠通過將由互補色組成的兩個濾色器馬賽克相重疊以獲得可以記錄比常規(guī)彩色圖像傳感器更多光譜信息的圖像傳感器，來產(chǎn)生如圖3所示的濾光器單元FU0。另一方面，需要新設(shè)計以產(chǎn)生透明度和光譜特性增強了的扁平透射式顯示器。
存在幾乎無限多可能的彩色馬賽克圖案。但是，用于瞬時成像的一個優(yōu)選實施例使用根據(jù)圖4a的重疊CMYT和RGBT彩色馬賽克，其中，在圖像傳感器單元和RGBT彩色馬賽克的R、G、B和T區(qū)域(每個顏色區(qū)域精確覆蓋一個傳感器單元)之間實現(xiàn)按單元的匹配。圖4b示出了利用兩個濾光器輪的對應非瞬時方法，而圖5圖示了對應瞬時四芯片方法，其中，第四傳感器陣列(在圖中未示出)只由RGBT彩色馬賽克覆蓋。這里還假設(shè)在RGBT彩色馬賽克與傳感器陣列之間按單元的匹配是可能的。因此，在圖4和5中，CMYT彩色馬賽克的每個單元覆蓋RGBT彩色馬賽克的2×2個單元。當CMYT彩色馬賽克的空間分辨率高于RGBT彩色馬賽克的空間分辨率時，獲得等價的結(jié)果。在圖4和5中，這通過分別用M、Y和C交換顏色R、G和B來實現(xiàn)。這里假設(shè)在CMYT彩色馬賽克與傳感器陣列之間按單元的匹配是可能的。因此，RGBT彩色馬賽克的每個單元覆蓋CMYT彩色馬賽克的2×2個單元。
但是，如果不能實現(xiàn)(較高分辨率馬賽克與傳感器陣列之間的和/或較高分辨率馬賽克與較低分辨率馬賽克之間的)按單元的匹配，則每個較高分辨率馬賽克單元應該完全覆蓋至少一個傳感器陣列單元，且每個較低分辨率馬賽克單元應該完全覆蓋較高分辨率馬賽克的不同單元之一。
一般說來，與可用的集成圖像傳感器濾色器馬賽克相結(jié)合，附加濾色器馬賽克可以包含集成濾光器的顏色的互補色、以及其它顏色或濾譜器。除此以外，附加濾色器馬賽克的每個單元必須覆蓋集成濾色器馬賽克的每個不同單元的至少一個顏色單元。大多數(shù)圖像傳感器陣列都配備有Bayer濾色器陣列(RGB或CMY)，這意味著在與圖像傳感器集成的馬賽克中通常找不到透明單元(T)。在圖4a中，用G單元替換RGBT彩色馬賽克的T單元。在圖像傳感器陣列配備有CMY Bayer濾色器陣列的情況下，用Y單元替換CMYT彩色馬賽克的T單元，這可以通過在圖4中分別用M、Y和C交換顏色R、G和B、然后在現(xiàn)在所得(按傳感器單元)CMYT彩色馬賽克中用Y替換T以最終獲得CMY彩色馬賽克來圖示。
圖6圖示了當使用圖4a中的濾色器馬賽克時的所得多重濾光器馬賽克。例如，多重濾光器馬賽克中的單元CR代表由CMYT和RGBT彩色馬賽克的C和R單元分別覆蓋的區(qū)域。
在本說明書中，濾色器馬賽克與濾色器陣列之間的差異是后者假設(shè)圖像傳感器的傳感器單元被布置為二維陣列，而濾色器馬賽克不具有與濾色器單元的形狀或分布有關(guān)的限制，使得甚至可以使用隨機形狀的和/或隨機分布的濾色器單元。濾色器馬賽克的這個特性的優(yōu)點是即使普通打印技術(shù)無法產(chǎn)生高分辨率的完美的或正確的濾色器陣列，也可以利用它們獲得較高空間分辨率。換句話說，濾色器陣列是濾色器馬賽克的特殊情況。
圖7圖示了這樣的情況假設(shè)在圖像傳感器陣列與RGBT濾色器陣列之間按單元的匹配是可能的，而具有隨機分布的隨機形狀顏色單元的較低分辨率CMYT彩色馬賽克與RGBT陣列重疊。
用于瞬時成像的另一個優(yōu)選實施例使用根據(jù)圖8的重疊CMY和RGB對角彩色馬賽克，其中，在圖像傳感器陣列和RGB彩色馬賽克(每個顏色區(qū)域精確覆蓋一個傳感器單元)之間實現(xiàn)按單元的匹配。CMY彩色馬賽克的每個單元精確覆蓋RGB彩色馬賽克的2×2個單元。為了能夠消除記錄圖像中的假像，使用對角彩色馬賽克，使得如果C、M和Y單元布置在從右上角到左下角的對角線上，則R、G和B單元必須布置在從左上角到右下角的對角線上。
圖9圖示了這樣的情況RGB對角彩色馬賽克與圖像傳感器陣列集成，而CMY對角彩色馬賽克不能被完美地產(chǎn)生以包含充分分離的C、M和Y區(qū)域。C、M和Y區(qū)域之間的重疊區(qū)域亦豐富了記錄圖像的光譜內(nèi)容。CMY馬賽克的每個單元(可以是C、M或Y區(qū)域或它們之間的任何重疊區(qū)域)必須覆蓋集成RGB馬賽克的每個R、G和B單元的至少一個顏色單元。
圖10示出了圖9中的情況的另一種變體，其中，C、M和Y區(qū)域是菱形的以防止CMY馬賽克的多于兩個區(qū)域之間的重疊。
現(xiàn)在參照圖11，描述用于產(chǎn)生待變換成多光譜或超光譜圖像的瞬時或非瞬時多頻帶圖像的裝置1。
裝置1包括光收集裝置11、以及具有至少一個二維傳感器陣列121和在裝置1的光路OP中位于圖像傳感器陣列121之前的瞬時顏色分離裝置123的圖像傳感器12。
裝置1還包括以將成像局限于電磁譜的某些部分為目的的光路OP中的第一均勻濾譜器13。
在瞬時成像的情況下，本發(fā)明特別教導了至少一個第一濾譜器或濾色器馬賽克112永久地或可互換地位于光路OP中的顏色分離裝置123之前，或者至少盡可能地接近會聚光B。可互換定位的第一濾譜器或濾色器馬賽克112提供了容易在不同第一濾譜器或濾色器馬賽克112之間切換(即濾光器交換)的可能性，以使裝置1適合于不同的光學要求并因此適合于不同的光譜測量。當然，還可以將第一濾譜器或濾色器馬賽克112永久地放置在光路OP中的顏色分離裝置123之前，或者至少盡可能地接近會聚光B。
光收集裝置11還包括將輸入光A聚焦成會聚光B并此后聚焦成近似準直的輸出光C所需的任何透鏡113和/或鏡。從而，透鏡系統(tǒng)在光學上將輸入光從物體O移動到近似無限遠。透鏡系統(tǒng)應該能夠適應各種距離處的物體。然而，由于本發(fā)明不涉及該裝置的這個光學部分，由于這些光學部分可以以許多不同方式實現(xiàn)，且由于它們對于本領(lǐng)域的普通技術(shù)人員來說是顯而易見的，所以不詳細描述這些光學部件。由于相同的理由，在本說明書中未詳細描述或在圖中未描繪圖像處理單元和光譜計算所需的一些其它硬件/軟件部分。
第一濾譜器或濾色器馬賽克112由布置為重復圖案的眾多小的均質(zhì)濾光器區(qū)(或濾光器單元)組成，且第一濾譜器或濾色器馬賽克112的這些顏色區(qū)的透射率曲線(TC，其被定義為作為波長的函數(shù)的濾光器透射率)部分重疊，除此之外，這些透射率曲線與屬于顏色分離裝置123的濾光器單元的透射率曲線重疊。第一濾譜器或濾色器馬賽克112的透射率曲線TC和顏色分離裝置123的透射率曲線TC必須遍布待考慮或研究的光譜的波長區(qū)間。
在非瞬時成像的情況下，本發(fā)明教導了至少一個濾色器輪114(代替濾光器馬賽克112)位于光路OP中的顏色分離裝置123之前，或者至少盡可能地接近會聚光B。利用濾光器輪執(zhí)行均勻濾色器互換，以光譜掃描整個圖像立方體，從而得到非瞬時圖像。關(guān)于安裝在濾光器輪114上的濾光器的透射率曲線TC和顏色分離裝置123的透射率曲線TC以及它們之間的關(guān)系，必須作出與使用濾光器馬賽克112的情況一樣的考慮。
更一般的方法是將至少一個扁平透射式顯示器115(代替濾光器馬賽克112或濾光器輪114)放置在光路OP中的顏色分離裝置123之前，或者至少盡可能地接近會聚光B。如果顯示器115用于產(chǎn)生濾色器馬賽克，則實現(xiàn)瞬時成像，而互換一系列均勻濾色器(即依次產(chǎn)生它們)得到非瞬時圖像。關(guān)于由透射式顯示器115顯示的濾光器的透射率曲線TC和顏色分離裝置123的透射率曲線TC以及它們之間的關(guān)系，必須作出與使用濾光器馬賽克112或濾光器輪114的情況一樣的考慮。
常規(guī)相機通常包括用于使成像局限于電磁譜的特定部分的均勻濾譜器。還提出，為常規(guī)相機諸部分的這些均勻濾譜器構(gòu)成根據(jù)圖12的第一均勻濾譜器13′。
在另一個實施例中，第一濾色器馬賽克112可定位成直接覆蓋顏色分離裝置123，如圖13所示。濾光器馬賽克112可松散地放置于顏色分離裝置123上，或與123集成。此裝置用于產(chǎn)生待變換成多光譜或超光譜圖像的瞬時多頻帶圖像。
一方面的顏色分離裝置123與另一方面的第一濾色器馬賽克112、或用在濾光器輪114中的一系列均勻濾色器、或由透射式顯示器115產(chǎn)生的一系列均勻濾色器或濾色器馬賽克的組合產(chǎn)生了不同組的線性無關(guān)的多重濾色器透射率曲線TC。
圖14示出了包括三個單獨的二維傳感器陣列121a、121b和121c的圖像傳感器12′，即三芯片相機的使用。在這種情況下，顏色分離裝置122′包括將輸入光分離成三個不同光譜帶或色帶的裝置，每個帶至相應的二維傳感器陣列121a、121b或121c。存在實現(xiàn)這一點的不同方式。一種可能的方案是使用分束器124以及三個單獨的均勻濾色器125a、125b和125c。還可以使用顏色分離分束器而不使用單獨的均勻濾色器，從而實現(xiàn)相同的光學結(jié)果。圖14中的實施例的細節(jié)與如前所述的圖11中的實施例相同。
圖15中的實施例展示了具有包括三個單獨的二維傳感器陣列121a、121b和121c的圖像傳感器12′的三芯片相機。這里，還使用包括分束器124以及三個單獨的均勻濾色器125a、125b和125c的顏色分離裝置122′。除此之外，三個濾色器馬賽克123a、123b和123c用于當與均勻濾色器125a、125b和125c相組合時形成多重濾光器馬賽克。這里，還可以通過使用顏色分離分束器而不使用單獨的均勻濾色器，即從圖15中省略均勻濾色器125a、125b和125c來實現(xiàn)相同的光學結(jié)果。濾色器馬賽克123a、123b和123c可以具有相同或不同的濾色器圖案。
圖16中的實施例展示了具有包括四個單獨的二維傳感器陣列121a、121b、121c和121d的圖像傳感器12′的四芯片相機。除了第四圖像傳感器121d在分束器之后不使用任何均勻濾色器，即在使用顏色分離分束器的情況下必須將包括整個光譜的信號提供給第四圖像傳感器陣列121d之外，所有細節(jié)都與圖15中的實施例相同。濾色器馬賽克123d(其可具有與123a、123b和123c相同或不同的濾色器圖案)用于第四圖像傳感器陣列121d。
對于展示在圖11、12、13、14、15和16中的實施例，圖4a和5以及考慮到實用方面的圖7、8、9和10圖示了優(yōu)選的多重濾色器馬賽克。還考慮了CMYT彩色馬賽克的空間分辨率高于RGBT彩色馬賽克的空間分辨率的情況。這是通過在圖4a和5中分別用M、Y和C交換顏色R、G和B實現(xiàn)的。當然，優(yōu)選的是，在圖像傳感器陣列與較高分辨率濾色器馬賽克之間實現(xiàn)按單元的匹配，且讓來自較低分辨率馬賽克的每個單元精確覆蓋較高分辨率馬賽克的2×2個單元。還可以給圖像傳感器陣列配備RGB Bayer濾色器陣列，其中，在圖4a和5中用G單元替換RGBT彩色馬賽克的T單元。在圖像傳感器陣列配備有CMY Bayer濾色器陣列的情況下，用Y單元替換CMYT彩色馬賽克的T單元，這可以通過在圖4a、5、7、8、9和10中分別用M、Y和C交換顏色R、G和B來圖示。在圖4a和7的情況下，在所得(按傳感器單元的)CMYT彩色馬賽克中用Y替換T單元，以最終獲得分辨率與圖像傳感器陣列相同的CMY彩色馬賽克。
本發(fā)明的優(yōu)選實施例提出常規(guī)數(shù)碼相機為本發(fā)明的裝置的一部分，其中，圖像傳感器12、12′和顏色分離裝置123、122′(如圖11、12、13、14、15和16所示)為常規(guī)相機的部分。
標準光譜輻射儀(也稱為光譜儀)可以容易地測量濾色器或彩色馬賽克單元的透射率曲線。這不是當均勻濾色器或彩色馬賽克與傳感器集成時的情況，其中，可以通過攝取整個彩虹的圖像并查看這個圖片中經(jīng)過所有顏色的一行像素來測量這些透射率曲線。這些像素值代表所用均勻濾色器的透射率曲線。在RGB彩色馬賽克的情況下，可以取所得彩色圖片的R、G和B帶來代表所用馬賽克的R、G和B濾色器單元的透射率曲線的估算。這些曲線利用光譜輻射儀來分級，以測量并估算沿著跨彩虹圖像的所選行的不同點處的波長。還可以以類似方式測量或估算其它彩色馬賽克的透射率曲線。這些測量結(jié)果被輸入至本發(fā)明方法的變換，即如何將經(jīng)測量的頻帶轉(zhuǎn)換成分立的光譜，這在下面將更詳細地討論。因此，當使用本發(fā)明的裝置時，如果不完全知道彩色馬賽克的光譜特性，則先決條件是使用例如光譜輻射儀或彩虹投影儀的輔助設(shè)備。
具有線性無關(guān)的透射率曲線TC(作為波長的函數(shù)而透射的光的一部分)的多重濾色器通過將不同濾色器相組合而產(chǎn)生，所述不同濾色器可以是通過不同手段如透射式顯示器以及打印和影印技術(shù)而產(chǎn)生的濾色器馬賽克中的小單元和/或均勻濾色器。術(shù)語線性無關(guān)在任何數(shù)學手冊中有定義，且僅意味著每個透射率曲線不能通過將另一個透射率曲線乘以常數(shù)或者通過其它透射率曲線的線性組合來獲得。圖17圖示了線性相關(guān)的例子，其中，為虛線的透射率曲線TC1是兩個其它為實線的透射率曲線TC2和TC3的線性組合。通過普通打印技術(shù)產(chǎn)生的濾色器的透射率曲線通常由兩個稍平區(qū)和在兩個稍平區(qū)之間的透射率曲線的陡峭傾斜部分組成，當形成多重濾色器時，該陡峭傾斜部分有良好特性。兩個窄峰(例如，對于洋紅濾色器)是可以利用這些技術(shù)實現(xiàn)的另一個有用的打印濾光器單元。多重濾色器的透射率曲線近似是形成這個多重濾色器的組分濾色器的透射率曲線向量的按單元相乘的結(jié)果。作為說明性的例子，在圖18a中展示了五個透射率曲線TC1、TC2、TC3、TC4和TC5，且在圖18b中展示了這些透射率曲線對之間的一些按單元相乘的結(jié)果，其中，TC6、TC7、TC8和TC9分別是將TC1乘以TC2、將TC2乘以TC3、將TC3乘以TC4、和將TC4乘以TC5的結(jié)果。圖18c示出了由常規(guī)光譜輻射儀記錄的濾色器的真實光譜。
與圖像傳感器集成或嵌入在圖像傳感器中的濾色器馬賽克不能輕易分離。該重要暗示是這阻止用戶在針對他的應用改變馬賽克方面的靈活性并且排除用于產(chǎn)生廉價彩色馬賽克的常規(guī)打印技術(shù)的使用。此外，用戶不能容易地測量嵌入式濾色器馬賽克的光學特性。本發(fā)明教導了總是可以使用由低成本寬帶濾光器單元或低成本二向色濾光器組成的非集成濾色器馬賽克。但是，在應用需要的情況下，當然可以使用由這樣的濾光器組成的馬賽克或昂貴的窄帶濾光器。
為了提供實現(xiàn)本發(fā)明的節(jié)約成本的方式，提出了可以通過現(xiàn)有彩色(激光或噴墨)打印技術(shù)或通過其它當前影印技術(shù)在透明材料上產(chǎn)生濾色器馬賽克。
本發(fā)明的基本思想是試圖通過采用低成本寬帶濾光器或低成本二向色濾光器的組合來避免使用昂貴的窄帶濾光器(均勻濾光器或濾光器馬賽克)。一種這樣類型的低成本濾光器或馬賽克事實上是透明材料例如透明膜上的打印圖案?？梢允褂贸Ｒ?guī)彩色激光打印機來產(chǎn)生分辨率低至每英寸200個單元的彩色馬賽克?；诒景l(fā)明的另一個思想是通過使用光路中的打印彩色馬賽克和與圖像傳感器集成的彩色馬賽克，來利用當前可用的大規(guī)模生產(chǎn)的濾色器。相機制造商已開發(fā)了高質(zhì)量彩色馬賽克(例如，CMYG、CMY、RGB、RGBE等)且涉及打印技術(shù)的工業(yè)已開發(fā)了高質(zhì)量彩色打印機(常常為CMYK，其中K＝黑色)。這兩個工業(yè)分支在尋求獲得一些感覺最佳的濾光器方面具有長的發(fā)展歷史，并且存在朝著提高質(zhì)量以及提高空間分辨率和降低成本方向的并行趨勢，這意味著對本發(fā)明起有利的作用。
會聚光指的是光線束趨向于朝著其會聚的空間位置。由于光的性質(zhì)和光學系統(tǒng)的不完美性，該會聚不可能是嚴格的，但是，用日常的話來說，這些區(qū)通常被稱為中間圖像。打印在普通透明膜上的濾色器馬賽克遠非透明，似乎對濾色器無用，但當它們被放置在會聚光中時，它們達到幾乎完美的透明度。遠離會聚光存在模糊的副作用。
圖19a圖示了適合于多光譜和超光譜測量的農(nóng)業(yè)和醫(yī)學應用的實施例。這里，包括光譜近紅外區(qū)中的頻帶是至關(guān)重要的。在該情況下，簡單的馬賽克設(shè)計是與嵌入在圖像傳感器中或與圖像傳感器集成的顏色分離裝置123(RGB濾色器馬賽克)相結(jié)合，在第一濾色器馬賽克112中使用CMYTBrBk馬賽克(Br＝棕色、Bk＝黑色)。黑色和棕色馬賽克單元對光譜近紅外區(qū)中的頻帶敏感。然后，必須去除包括在大多數(shù)圖像傳感器中的紅外阻擋濾光器。這產(chǎn)生了一些期望的多重濾光器。濾色器單元由簡單的打印過程例如在彩色打印機上在透明材料上獲得。
圖19b圖示了另一個濾色器馬賽克實施例，其示出由6個濾光器單元組成的圖案可以用在第一濾色器馬賽克112以及具有VT馬賽克的第二相鄰層中，其中，V代表電磁譜的可見部分(V＝紅外阻擋，T＝在可見和近紅外光譜區(qū)中是透明的)。在這種特殊情況下，圖像傳感器是單色無紅外阻擋濾光器。
圖20圖示了適合于多光譜和超光譜測量的醫(yī)學和農(nóng)業(yè)應用的實施例。這里，圖6中所示的多重濾光器馬賽克與VT馬賽克相組合。在這種特殊情況下，圖像傳感器是單色無紅外阻擋濾光器。當然，還可以使用配備有RGBT馬賽克的圖像傳感器，并加上由分別如圖4a和圖20所示的CMYT馬賽克和VT馬賽克構(gòu)建的多重濾光器馬賽克。另一種可能是使用配備有RGB馬賽克(如前所述，其中用G單元替換RGBT彩色馬賽克的T單元)的圖像傳感器，并加上由CMYT馬賽克和VT馬賽克構(gòu)建的多重濾光器馬賽克。
一般說來，在數(shù)碼相機中有百萬像素圖像的當前趨勢意味著在馬賽克中使用4個、9個或16個單元的圖案造成的分辨率損失是可以容忍的。但是，請注意，一般說來，我們試圖使用多重濾光器來增加光譜信息。
在David L. Gilblom，Sang Keun Yoo和Peter Ventura的出版物“Real-time color imaging with a CMOS sensor having stackedphotodiodes”Proceedings SPIE，Volume 5210，pp.105-115(2004)中展示了其中單個傳感器能夠同時捕捉三個寬R、G和B光譜帶的分層光電二極管感測。由于每個CMOS傳感器單元包含三個處于不同深度的p-n結(jié)，所以這些傳感器也被稱為三阱圖像傳感器。這種特殊單芯片圖像傳感器等價于使用配備有R、G和B均勻濾色器的三芯片圖像傳感器，R、G和B均勻濾色器中的每一個覆蓋三個傳感器芯片之一。將CMYT馬賽克添加至這個傳感器陣列將產(chǎn)生與前面在文本和圖中展示的情況類似的多重濾光效果。為了獲得最佳的可能空間圖像分辨率，在CMYT馬賽克單元與三層圖像傳感器陣列單元之間按像素的匹配是優(yōu)選的，即CMYT馬賽克與圖像傳感器芯片集成。但是，如前面在文本和圖中所述，CMYT馬賽克可以放置在光路(OP)中發(fā)現(xiàn)會聚光的任何位置。
然而，還可以用多于三個的層來構(gòu)造分層光電二極管，該多于三個的層包括近紫外和/或近紅外敏感層。用諸如CMYT或CMYTBk的適當濾色器馬賽克覆蓋分層傳感器單元陣列產(chǎn)生了有用的光譜光信號響應，該響應是足夠光譜豐富的，以致被轉(zhuǎn)換成覆蓋近紫外、可見以及近紅外波長區(qū)的光譜。
圖21a示出了根據(jù)本發(fā)明的包括至少一個第一濾色器馬賽克112的光學輔助設(shè)備33。光學設(shè)備33適于以使光學設(shè)備33的光軸與相機44的光軸對準的方式與常規(guī)數(shù)碼相機44連接。該相機不自帶相機透鏡，而光學設(shè)備33起到配備有濾色器馬賽克的相機透鏡的作用。當相互連接時，本發(fā)明的光學設(shè)備33和常規(guī)相機44形成本發(fā)明的裝置1。
圖21b示出了根據(jù)本發(fā)明的包括至少一個第一濾色器馬賽克112的目鏡51。目鏡51與常規(guī)數(shù)碼相機52(該相機自帶相機透鏡)聯(lián)合作用形成本發(fā)明的裝置1重要的是，使目鏡51的光軸與相機52的光軸對準。濾色器馬賽克112可適于插入到嵌入例如望遠鏡、雙筒鏡或顯微鏡中的常規(guī)目鏡51中。濾色器馬賽克112應該與光路中的中間圖像接近地設(shè)置。這應該在前面所示實施例(圖11、12和14中)的光收集裝置11之內(nèi)或者在后面的實施例(圖21b中)的目鏡51中完成。大多數(shù)顯微鏡、望遠鏡和雙筒鏡透鏡系統(tǒng)都具有適合于濾色器馬賽克板的機械插入的目鏡部分。對于更詳細的討論，參看出版物WO 00/41010。
彩色馬賽克的取向和尺度在簡單實施例中可能是自由的，但理想的是，在彩色馬賽克與圖像傳感器陣列之間實現(xiàn)按像素的匹配，以及在一個彩色馬賽克與另一個彩色馬賽克之間實現(xiàn)按單元的匹配，該另一個彩色馬賽克具有精確覆蓋第一個彩色馬賽克(較高分辨率馬賽克)的2×2、2×3、3×3或其它數(shù)量的單元的單元，即兩個彩色馬賽克精確匹配。圖像處理軟件(可以內(nèi)置在相機盒內(nèi)，或安裝在圖像從相機轉(zhuǎn)移至的計算機上)利用簡單校準過程自動尋找圖像中受不同彩色馬賽克單元影響的區(qū)。攝取白色背景或白色光的圖像可以例如校準成像系統(tǒng)，并且有助于對圖像中的不同彩色馬賽克單元區(qū)域進行標識和分段。假設(shè)彩色馬賽克以后既不改變位置也不改變?nèi)∠?，以便能夠假設(shè)當攝取任意場景的新圖像時，同一多重濾光器馬賽克或圖案仍然有效。換句話說，對新圖像執(zhí)行完全相同的分段(白色背景圖像)。每當彩色馬賽克(其用在圖1中的多重濾光器單元MFU中)被改變或者彩色馬賽克的位置或取向被改變時，必須記錄新的白色背景圖像以用來校準利用當前彩色馬賽克記錄的圖像。
圖像傳感器單元(ISU)利用包括如從圖1開始的圖所示的濾色器馬賽克的多重濾光器單元(MFU)記錄的圖像將由小相鄰區(qū)組成，每個小相鄰區(qū)都受特定馬賽克濾光器單元影響，即記錄圖像的這個區(qū)的傳感器單元被該馬賽克濾光器單元覆蓋。可使用白色背景顏色歸一化圖像，以便能夠標識屬于特定馬賽克濾光器單元的圖像像素，且使用獲得的信息來從任意圖像中提取對應像素(其具有與所選白色背景圖像像素完全相同的坐標)，并將它們放在因此包含空單元的單獨陣列(其具有與圖像相同的尺寸)中。這些單獨陣列與在多重濾光器單元(MFU)中可發(fā)現(xiàn)的不同馬賽克濾光器單元一樣多。圖4a中的裝置將例如產(chǎn)生16個部分填充的(多孔的)陣列，其中，當考慮在所有陣列中坐標相同的所有陣列單元時，只填充一個陣列單元。這意味著來自記錄圖像的每個像素將只屬于這些單獨陣列中的一個。這個任務(wù)可以看作一種去馬賽克過程。
其余空陣列單元可以利用一種插值過程來填充。如下兩種方法是優(yōu)選的。
利用距離變換的插值 圖22a示出了由上面提到的去馬賽克過程產(chǎn)生的單獨陣列的一部分，其中，陰影或帶點區(qū)域(代表均質(zhì)區(qū)域)代表屬于所用多重濾光器馬賽克的同一單元的區(qū)。這里的目的是填充陣列中的空單元(即，圖22a中的白色區(qū)域)。
距離變換可以用于計算每個空單元與最接近的陰影單元之間的距離。圖22b示出了將距離變換應用于圖22a中的單獨陣列的部分的結(jié)果，其中，較暗單元對應于較長距離。對于每個單獨陣列(整個陣列)，插值(也可以看作外插(extrapolation))開始于白色單元并結(jié)束于黑色單元。
還可以利用克里格法(kriging)填充陣列的空空間。
利用統(tǒng)計變換的插值 在這種方法中，每個多重濾光器響應被變換成其它多重濾光器的對應響應。在圖4a所展示的情況下，必須估算所需系數(shù)，以便能夠?qū)D6中所展示的每個多重濾光器的響應變換成所有其它多重濾光器的響應。變換系數(shù)可以利用如下線性方程組計算 FiCij＝Fj(1) 其中，F(xiàn)i和Fj是分別由多重濾光器組i和j的響應組成的兩個矩陣，且Cij包含將Fi變換成Fj的變換系數(shù)。形式為Ax＝y(tǒng)(其中矩陣A和列向量y是已知的，而列向量x是未知的)的線性方程組的解是x＝AT(AAT)-1y，其中AT(AAT)-1是A的偽逆矩陣(其中AT表示矩陣A的轉(zhuǎn)置矩陣，且A-1表示矩陣A的逆矩陣)。類似地，系數(shù)矩陣Cij可以按如下估算 Cij＝FiT(FiFiT)-1Fj(2) 作為一個說明性的例子，來查看將多重濾光器CR、CG、CB和C的響應變換成MR、MG、MB和M的響應的情況。這里我們有如下方程組 FCCCM＝FM (3) 其中，矩陣FC和FM由N(其中N是整數(shù))行和四列組成，而CCM是4×4矩陣，如下

其中，F(xiàn)C的四列包含多重濾光器CR、CG、CB和C的響應，而FM的列包含MR、MG、MB和M對完全相同光信號的并且以完全相同的順序展示在矩陣的行上的響應；例如，F(xiàn)C和FM的第1行上的值對應于多重濾光器CR、CG、CB和C以及MR、MG、MB和M對完全相同光信號的響應。系數(shù)矩陣CCM利用方程(2)估算，得出 CCM＝FCT(FCFCT)-1FM(4) 然后，經(jīng)估算的變換矩陣CCM用于將多重濾光器CR、CG、CB和C的新測量的響應變換成MR、MG、MB和M的對應響應。在FC和FM中用來估算CCM的值屬于所謂的訓練數(shù)據(jù)集。
相同的方法可以應用于估算其它所需變換矩陣，以便能夠填充并完成經(jīng)分離的或經(jīng)去馬賽克的(多孔的)陣列(例如，在使用圖4a中所展示的多重濾光器馬賽克的情況下，必須處理16個這樣的陣列)。注意，還需要逆變換，例如，將FM變換成FC的CMC。但是，用于估算CCM的同一訓練數(shù)據(jù)集可用于對CMC估算如下CMC＝FMT(FMFMT)-1FC。
作為另一個說明性的例子，來查看圖8中所展示的情況。這里，在彩色馬賽克中未使用透明濾光器單元，從而得出例如下面的FC、FM和CCM矩陣

方程(1)中的系數(shù)矩陣Cij還可以利用偏最小二乘(PLS)法(代替使用方程2)來估算。
所需變換矩陣的良好估算需要使用可覆蓋整個數(shù)據(jù)空間的訓練數(shù)據(jù)集，即訓練數(shù)據(jù)集必須包含可提供給系統(tǒng)或需要系統(tǒng)在將來(即在完成訓練階段之后)處理的數(shù)據(jù)樣本的所有可能變體的代表性數(shù)據(jù)樣本。因此，準備良好的訓練數(shù)據(jù)集是能夠進行這種方法所必不可少的。
圖23圖示了用于測量均勻濾光器對具有變化的光強的投影彩虹的響應的設(shè)置。彩虹通過透射率變化的濾光器F1(從0平滑變化到100％)投影，從而獲得或產(chǎn)生彩虹的每種顏色的各種光強。例如，F(xiàn)1影響彩虹的幾乎均勻紅色窄區(qū)，從而這個區(qū)的顏色朝著暗紅色逐漸變化，即在彩虹的這個區(qū)中可以看到從紅色變動到暗紅色或黑色的一組顏色。這同樣適用于其它的彩虹均勻顏色區(qū)。所關(guān)心的均勻多重濾光器在圖23中用F2表示。圖中所示的相機是單色相機。但是，如果多重濾色器由嵌入的相機彩色馬賽克和外部彩色馬賽克構(gòu)建，則也可以使用彩色相機。必須將類型與外部馬賽克單元相同的均勻濾色器(可互換地)用作圖23中的F2。
相機記錄投影在白色表面(例如白紙)上的整個彩虹的圖像。該設(shè)置中的不同部分，即光源、棱鏡、F1、白色表面以及相機在獲取整個訓練數(shù)據(jù)集期間必須保持不變，以便能夠假設(shè)記錄圖像之間的按像素的匹配。在這種情況下，像素值是構(gòu)建訓練數(shù)據(jù)集所需的多重濾光器響應。
本發(fā)明還涉及一種利用本發(fā)明的裝置來執(zhí)行光譜測量的方法。依賴于將多頻帶圖像變換成多光譜或超光譜圖像的所用方法，常常必須測量所用多重濾色器的光譜特性，或者測量這些濾光器對各種類型入射光的響應。測量多重濾色器(均勻和馬賽克)的光譜特性前面已經(jīng)討論過。這里將討論的是如何使用光譜儀(也稱為光譜輻射儀)來測量如圖23所示投影在白色表面上的彩虹的不同點或區(qū)處的光譜。但是，通過例如在此白色表面中形成的孔來執(zhí)行測量是更好且更容易的?？梢允褂冒椎挠膊牧习?，或者簡單地使用適當硬材料網(wǎng)格或網(wǎng)眼(以利用光譜儀測量通過這些孔的光譜)，并用沒有孔的松散放置的白色蓋子覆蓋它(以將彩虹投影在上面并利用相機記錄它的圖像)。
在其透射率曲線TC為組分濾色器的透射率曲線之積的多重濾色器產(chǎn)生N個色帶的情況下，可以通過如下所述的方法估算近似光譜。注意，圖像傳感器單元所記錄的是入射能量(作為波長的函數(shù)的輸入光子數(shù))x乘以多重濾光器的透射率曲線(例如，在多重濾光器由具有透射率曲線t1和t2的兩個重疊濾色器組成的情況下為t1·t2)，該結(jié)果最后乘以傳感器單元本身的靈敏度曲線σ(作為波長的函數(shù)的傳感器所吸收的一部分能量)，如下面的按單元的向量積所描述的那樣 σ·t1·t2·x 但是為了簡單起見，認為σ等于1。
現(xiàn)在描述利用線性代數(shù)估算圖像單元處的近似光譜的幾種方法。利用偏最小二乘法的統(tǒng)計方法 設(shè)x是光譜信號的向量(即具有m個元素的光譜向量)，且y是來自N個不同多重濾光器的N頻帶輸出向量(N元素向量)。根據(jù)多頻帶數(shù)據(jù)y估算光譜x的高效方式是針對各種類型的入射光使用Q個已知光譜x(由常規(guī)光譜儀測量)和Q個對應圖像響應y(由相機記錄)的訓練數(shù)據(jù)集，來統(tǒng)計地估算x和y之間的線性關(guān)系P，使得 x＝Py(5) 所測量的響應yi(i＝1，2，...，Q)可形成以yi為列的矩陣Y，類似地，對于光譜xi，形成矩陣X(m×Q)。設(shè)yi的維數(shù)是D，并且設(shè)訓練對(xiyi)的數(shù)目Q超過該維數(shù)Q＞D，使得矩陣Y為非標準(D×Q)矩形的。于是這可以用公式表示為 X＝PY(6) 并且可以通過偏最小二乘(PLS)法求解，從而得出估算值P′(m×Q)。最后，由x′＝P′yj形成用x′表示的x的估算值，其中yj是訓練數(shù)據(jù)集之外的圖像響應，即未包括在訓練數(shù)據(jù)集中的新測量的圖像響應。
這種方法可視為利用低成本寬帶濾光器來估算窄帶濾光器的近似值。圖25、26和27示出了具有重疊透射率曲線TC的兩個濾光器用于近似若干較窄濾光器的一些例子。在圖25中，具有透射率曲線TC2和TC4的濾光器可用于近似具有TC1、TC3和TC5的濾光器。圖26示出了具有TC7和TC8的濾光器可用于近似具有TC6、TC9和TC10的濾光器。最后，在圖27中，具有TC12和TC13的濾光器可用于近似具有TC11和TC14的濾光器。
人工神經(jīng)網(wǎng)絡(luò)方法 可以利用人工神經(jīng)網(wǎng)絡(luò)來執(zhí)行插值方法2以及變換成光譜的方法1。圖33示出了可用于線性和非線性函數(shù)估算的具有三個層(輸入、隱藏和輸出)的前饋神經(jīng)網(wǎng)絡(luò)。輸入層具有N個節(jié)點，其中N是待變換成出現(xiàn)在K個輸出層節(jié)點上的所需結(jié)果的輸入?yún)?shù)的數(shù)目，其中K是被估算參數(shù)的數(shù)目。隱藏層包含M個節(jié)點，其中M被選擇成獲得最節(jié)省成本的模型(通常，M＝N+1是最佳選擇)。每個輸入節(jié)點與所有隱藏層節(jié)點連接，每個隱藏層節(jié)點又與所有輸出節(jié)點連接。所有信息在工作期間沿著一個方向從輸入層移動到輸出層。隱藏和輸出層中的每個節(jié)點都具有如下兩個部分，即線性求和函數(shù)和非線性激活函數(shù) 其中y是節(jié)點的輸出，a是比例因子，tanh是雙曲正切函數(shù)，j是至節(jié)點的輸入的數(shù)目，xi是到節(jié)點的輸入，wi是與至節(jié)點的每個輸入連接相關(guān)的加權(quán)因子，b是偏離因子。因子a、b和wi通過利用訓練數(shù)據(jù)集訓練神經(jīng)網(wǎng)絡(luò)來估算，該訓練數(shù)據(jù)集由神經(jīng)網(wǎng)絡(luò)所將用于的輸入和輸出參數(shù)對組成(即當將輸入?yún)?shù)輸入至該網(wǎng)絡(luò)時，估算所需輸出參數(shù))。作為一個說明性的例子，來查看將多重濾光器CR、CG、CB和C的響應變換成MR、MG、MB和M的響應的情況。這里，使用具有N＝4個輸入節(jié)點(接收CR、CG、CB和C信號)、M＝5個隱藏節(jié)點和K＝4個輸出節(jié)點(產(chǎn)生MR、MG、MB和M信號)的神經(jīng)網(wǎng)絡(luò)在計算方面是高效的。
當將多重濾光器響應變換成光譜時，神經(jīng)網(wǎng)絡(luò)應該具有與不同多重濾光器一樣多的輸入，例如，當使用圖6中所述的多重濾光器時，需要16個輸入節(jié)點(和17個隱藏節(jié)點)。輸出層具有與被估算光譜中所需光譜帶的數(shù)目一樣多的節(jié)點。
其它優(yōu)點和應用 與單色圖像(即單頻帶圖像)一樣小的多重濾光器馬賽克圖像可以被容易地轉(zhuǎn)移和保存，這使得這種技術(shù)可用于機載和星載成像系統(tǒng)等，以及電視醫(yī)療和電子醫(yī)學記錄和歸檔，其中，所獲取的圖像被轉(zhuǎn)移到待保存(和歸檔)和/或分析(在產(chǎn)生多光譜或超光譜圖像之后)的另一地方。對多重濾光器馬賽克圖像去馬賽克產(chǎn)生亦比超光譜圖像小得多(并因此更易于轉(zhuǎn)移和保存)的多頻帶圖像。具有可互換均勻濾光器(利用濾光器輪或平板透射式顯示器)的系統(tǒng)直接產(chǎn)生多頻帶圖像。當需要時，多光譜或超光譜圖像可以通過變換對應多頻帶圖像來產(chǎn)生和分析。
本發(fā)明可能有用的另一重要應用是產(chǎn)生多光譜或超光譜圖像，然后執(zhí)行適當處理和分析，以補償發(fā)光和周圍環(huán)境對圖像的影響，最后將經(jīng)處理的多光譜或超光譜圖像回變換成彩色RGB圖像?？梢酝ㄟ^這種方式執(zhí)行高效顏色校正。還可以針對特定顯示器例如系統(tǒng)中當前使用的顯示設(shè)備而(通過選擇并使用適當R、G和B濾光器)優(yōu)化所得彩色RGB圖像。
最后，當然可以利用上述技術(shù)和方法來構(gòu)造光譜儀。主要差異在于，不需要用插值/外插來填充屬于不同多重濾光器的被提取單獨陣列中的空空間。代替之，這里需要完成的是簡單計算每個單獨陣列的非空單元的平均值。如果單獨陣列包含相同數(shù)目的非空單元，則可以使用非空陣列單元之和(代替平均值)。因此，每個單獨陣列將產(chǎn)生單個標量值。這些標量值形成單個向量，其中這些值根據(jù)特定順序被插入。此后，這個多頻帶向量可以(利用上述變換成光譜的方法之一)變換成光譜分辨率和精度盡可能高的光譜。
此外，還可以構(gòu)造可以并行地執(zhí)行若干光譜測量的光譜測定設(shè)備，因為，圖像傳感器陣列的空間分辨率通常高到足以與由大數(shù)量的重復馬賽克圖案單元組成的多重濾光器馬賽克一起使用，該重復馬賽克圖案單元是被重復以形成覆蓋整個圖像傳感器陣列的馬賽克的濾光器馬賽克圖案。因此，由至少一個馬賽克圖案單元覆蓋的圖像傳感器陣列的不同部分可以用于構(gòu)建獨立的光譜儀，如圖28所示，其中我們具有由圖6中所展示的類型(即同一多重濾光器馬賽克圖案)的四個馬賽克單元組成的多重濾光器馬賽克。在圖28中，可以利用四個馬賽克單元中的每一個來構(gòu)建獨立的光譜儀，如果可以并行地將四個不同光信號遞送到這些馬賽克單元區(qū)域的話(這可以利用四個單獨光纖OF來容易地實現(xiàn)，該四個單獨光纖OF中的每一個將光遞送到不同的馬賽克單元)。但是，在圖像傳感器陣列與多重濾光器馬賽克之間不可能實現(xiàn)按像素的匹配的情況下，重要的是確保光纖OF覆蓋至少一個馬賽克單元。還可以利用(如圖3、11-16和21所述的)透鏡系統(tǒng)來構(gòu)建多光譜或超光譜相機(其可以產(chǎn)生在像素中存在光譜的多光譜或超光譜圖像)，或者利用圖像傳感器陣列來構(gòu)建光譜儀(其產(chǎn)生單個光譜)，其中該圖像傳感器陣列具有足以省去該傳感器陣列的至少一部分(即這些部分不用于構(gòu)建相機或光譜儀)的空間分辨率和單元數(shù)目，這些部分中的每一個都由將由光纖OF覆蓋并構(gòu)建獨立的光譜儀的至少一個多重馬賽克單元所覆蓋(如上所述，通過直接物理接觸或通過將彩色馬賽克放置在光路OF中來覆蓋)。
圖29和30示出了可以如何修改分別如圖11和13所示的實施例以構(gòu)建多個設(shè)備。在圖29中，可以記錄多光譜或超光譜圖像或測量物體O的光譜，同時測量利用光纖OF1和OF2饋送的光信號的光譜。至少需要一個光纖OF，以便能夠補償發(fā)光和周圍環(huán)境對測量的光譜或記錄的多光譜或超光譜圖像的影響，例如，顏色校正然后可以被容易地執(zhí)行。
圖31和32示出了其中僅光纖OF用來將光信號提供給該裝置中的多重濾光器馬賽克的兩個實施例(它們分別對應于圖29和30中的實施例)。至少使用一個光纖OF，但如果應用需要，也可以使用多至與圖像傳感器陣列單元的數(shù)目一樣多的光纖OF，以及可以將它們遍及圖像傳感器陣列區(qū)域而均勻分布。在單個光纖OF與圖像傳感器單元或多重濾光器單元之間按單元的匹配是優(yōu)選的。
應該理解，本發(fā)明不局限于其上述和圖示的示范性實施例，而可以如所附權(quán)利要求所述的那樣在本發(fā)明概念的范圍內(nèi)作出修改。代替圖像傳感器中當前廣泛使用的矩形網(wǎng)格布置，可以類似地使用六角形、八角形或其它像素布置圖案。Fujifilm宣布生產(chǎn)了“Super CCD”(Fujifilm，2004，新聞集錦-用尖端的小型化技術(shù)產(chǎn)生更高分辨率和更寬動態(tài)范圍的新的第四代Super CCD，F(xiàn)ujifilm網(wǎng)址見于2005年9月的環(huán)球網(wǎng)@http://home.fujifilm.com/news/n030122.html)。
權(quán)利要求
1.一種用于產(chǎn)生瞬時或非瞬時多頻帶圖像的裝置(1)，包括光收集裝置(11)、具有至少一個二維傳感器陣列(121)并位于所述裝置(1)的光路(OP)中的所述圖像傳感器陣列(121)之前或嵌入所述圖像傳感器陣列(121)中的瞬時顏色分離裝置(123)的圖像傳感器(12)、以及以使成像局限于電磁譜的特定部分為目的的位于所述光路(OP)中的第一均勻濾譜器(13)；其特征在于使用包括重疊濾色器或濾譜器馬賽克的濾光器單元(FU)，或包括重疊濾色器或濾譜器馬賽克和均勻濾色器或濾譜器的濾光器單元(FU)；所述濾光器單元(FU)永久地或可互換地位于所述光路(OP)中的所述顏色分離裝置(123)之前，或者接近會聚光(B)；所述濾色器或濾譜器馬賽克包括眾多均質(zhì)濾光區(qū)；濾色器或濾譜器馬賽克的所述濾光區(qū)、所述均勻濾光器以及所述顏色分離裝置(123)的濾光區(qū)的透射率曲線(TC)之間存在重疊或部分重疊；所述濾色器或濾譜器馬賽克、所述均勻濾光器以及所述顏色分離裝置(123)的所述透射率曲線(TC)適當遍布待研究的光譜區(qū)間；并且，所述顏色分離裝置(123)與所述濾色器或濾譜器馬賽克的組合產(chǎn)生不同組的線性無關(guān)的透射率曲線(TC)；并且，通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克，以獲得多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像。
2.一種用于產(chǎn)生瞬時或非瞬時多頻帶圖像的裝置(1)，包括光收集裝置(11)、具有至少一個二維傳感器陣列(121)和位于所述裝置(1)的光路(OP)中的所述圖像傳感器陣列(121)之前或嵌入所述圖像傳感器陣列(121)中的瞬時顏色分離裝置(123)的圖像傳感器(12)、以及以使成像局限于電磁譜的特定部分為目的的位于所述光路(OP)中的第一均勻濾譜器(13)；其特征在于使用包括重疊濾色器或濾譜器馬賽克和均勻濾色器或濾譜器的濾光器單元(FU)，或包括重疊均勻濾色器或濾譜器的(FU)，使得所述均勻濾色器或濾譜器安裝在濾光器輪(114)上或由透射式顯示器(115)顯示；所述濾光器單元(FU)位于所述光路(OP)中的所述顏色分離裝置(123)之前，或者接近會聚光(B)；所述濾色器或濾譜器馬賽克包括眾多均質(zhì)濾光區(qū)；濾色器或濾譜器馬賽克的所述濾光區(qū)、所述均勻濾光器以及所述顏色分離裝置(123)的濾光區(qū)的透射率曲線(TC)之間存在重疊或部分重疊；所述濾色器或濾譜器馬賽克、所述均勻濾光器以及所述顏色分離裝置(123)的所述透射率曲線(TC)適當遍布待研究的光譜區(qū)間；并且，所述顏色分離裝置(123)與所述濾色器或濾譜器馬賽克的組合產(chǎn)生不同組的線性無關(guān)的透射率曲線(TC)；并且，通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克，以獲得多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像。
3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于所述圖像傳感器(12′)包括三個單獨的二維傳感器陣列(121a、121b、121c)；并且，所述顏色分離裝置(122′)包括將輸入光分離成三個不同光譜帶的裝置，每個帶至相應的二維傳感器陣列(121a、121b、121c)，該裝置諸如分束器(124)連同三個單獨的均勻濾色器(125a、125b、125c)、或者顏色分離分束器；并且，所述濾光器單元(FU)包括濾色器或濾譜器馬賽克。
4.一種用于產(chǎn)生瞬時多頻帶圖像的圖像傳感器(12)，包括至少一個二維傳感器陣列(121)、嵌入所述圖像傳感器陣列(121)中的瞬時顏色分離裝置(123)以及濾光器單元(FU)，其特征在于所述圖像傳感器包括濾色器或濾譜器馬賽克(112)；并且，所述濾光器單元(FU)可以直接放置在所述顏色分離裝置(123)上，或者與所述顏色分離裝置(123)集成；并且，可以在所述濾光器單元(FU)和所述顏色分離裝置(123)之間使用微透鏡；并且，通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的圖像被去馬賽克，以獲得多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像；并且，所述顏色分離裝置(123)包括RGBT彩色馬賽克，而所述濾色器或濾譜器馬賽克(112)包括CMYT彩色馬賽克；或者，所述顏色分離裝置(123)包括CMYT彩色馬賽克，而所述濾色器或濾譜器馬賽克(112)包括RGBT彩色馬賽克。
5.根據(jù)權(quán)利要求4所述的裝置，其特征在于所述圖像傳感器(12′)包括具有嵌入的濾色器馬賽克(123a、123b、123c)的三個單獨的二維傳感器陣列(121a、121b、121c)；并且，所述顏色分離裝置(122′)包括將輸入光分離成三個不同光譜帶的裝置，每個帶至相應的二維傳感器陣列(121a、121b、121c)，該裝置諸如分束器(124)連同三個單獨的均勻濾色器或濾譜器(125a、125b、125c)、或者顏色分離分束器。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于所述圖像傳感器(12′)包括四個單獨的二維傳感器陣列(121a、121b、121c、121d)，其中，所述傳感器陣列(121d)被瞬時顏色分離裝置(123d)覆蓋，而不對所述傳感器陣列(121d)使用任何均勻濾色器或濾譜器。
7.根據(jù)權(quán)利要求1到6的任何一項所述的裝置，其特征在于至少一個附加光纖(OF)用于將光信號提供給所述裝置中的多重濾光器馬賽克的一部分，而所述多重濾光器馬賽克區(qū)域的其余部分接收由所用透鏡系統(tǒng)遞送的光信號。
8.根據(jù)權(quán)利要求1到6的任何一項所述的裝置，其特征在于若干光纖(OF)用于將光信號提供給所述裝置中的所述多重濾光器馬賽克。
9.根據(jù)權(quán)利要求1到8的任何一項所述的裝置，其特征在于每個所述二維傳感器陣列(121、121a、121b、121c或121d)都包括具有至少三個層的分層光電二極管，使得光譜分離或顏色分離被嵌入所述傳感器陣列(121、121a、121b、121c或121d)中，且不需要附加的顏色分離裝置(分別為123、123a、123b、123c或123d)。
10.根據(jù)權(quán)利要求1到9的任何一項所述的裝置，其特征在于通過現(xiàn)有彩色激光或噴墨打印技術(shù)，或通過其它當前影印技術(shù)在透明或半透明材料上產(chǎn)生所述濾色器或濾譜器馬賽克和/或所述均勻濾色器或濾譜器(125a、125b、125c)。
11.根據(jù)權(quán)利要求1到8的任何一項所述的裝置，其特征在于所述圖像傳感器(12)包括一個單獨的二維傳感器陣列(121)以及顏色分離裝置，所述顏色分離裝置為具有與所述單獨二維傳感器陣列(121)上的各個像素單元相配合的小型單元的第二濾色器或濾譜器馬賽克。
12.根據(jù)權(quán)利要求1到9的任何一項所述的裝置，其特征在于常規(guī)數(shù)碼相機是所述裝置的一部分；并且，所述圖像傳感器(12或12′)和所述顏色分離裝置(123或122′)是所述常規(guī)相機的部分。
13.一種光學輔助設(shè)備，其適于以將所述光學設(shè)備的光軸與所述相機的光軸對準的方式與具有或不具有自帶相機透鏡的常規(guī)數(shù)碼相機連接，其特征在于當相互連接時，所述光學設(shè)備和所述相機形成根據(jù)權(quán)利要求1到9的任何一項所述的裝置。
14.一種包括至少一個第一濾色器或濾譜器馬賽克(112)的彩色或光譜馬賽克，其特征在于所述彩色或光譜馬賽克(112)適于插入目鏡中，由此，所述目鏡和被插入的所述彩色或光譜馬賽克與常規(guī)數(shù)碼相機聯(lián)合作用形成根據(jù)權(quán)利要求1到9的任何一項所述的裝置。
15.根據(jù)權(quán)利要求14所述的彩色或光譜馬賽克，其特征在于所述彩色或光譜馬賽克(112)適于插入諸如望遠鏡或顯微鏡的常規(guī)目鏡中。
16.根據(jù)權(quán)利要求1到8的任何一項所述的裝置，其特征在于通過組合互補濾色器或濾譜器馬賽克和/或均勻濾色器或濾譜器，如RGBT或RGB和CMYT或CMY彩色馬賽克，或者這些顏色的均勻濾色器，產(chǎn)生均勻多重濾光器或多重濾光器馬賽克的組；并且，在所述圖像傳感器陣列(121)和所述多重濾光器馬賽克之間按像素的匹配是優(yōu)選的。
17.根據(jù)權(quán)利要求9所述的裝置，其特征在于CMYT或CMY彩色馬賽克用于實現(xiàn)所需多重濾光效果；或者，均勻C、M和Y濾色器用于實現(xiàn)所需多重濾光效果；所用分層光電二極管具有至少三個層(R、G和B)；并且，在所述圖像傳感器陣列和所述彩色馬賽克之間按像素的匹配是優(yōu)選的。
18.根據(jù)權(quán)利要求16或17所述的裝置，其特征在于VT馬賽克被放置在會聚光中，以有助于構(gòu)建所得多重濾光器馬賽克。
19.根據(jù)權(quán)利要求1到8的任何一項所述的裝置，其特征在于RGB和CMYTBrBk彩色馬賽克被組合以構(gòu)建所得多重濾光器馬賽克。
20.根據(jù)權(quán)利要求9所述的裝置，其特征在于當使用具有至少三個層(R、G和B)的分層光電二極管時，CMYTBrBk彩色馬賽克用于實現(xiàn)所需多重濾光效果。
21.根據(jù)權(quán)利要求9所述的裝置，其特征在于當使用具有至少三個層的分層光電二極管時，CMYT或CMYTBk彩色馬賽克用于實現(xiàn)所需多重濾光效果，在所述分層光電二極管中，至少一個層對近紅外光敏感且至少另一個層對近紫外光敏感。
22.根據(jù)權(quán)利要求1到8的任何一項所述的裝置，其特征在于RGCYBrBk和VT彩色或光譜馬賽克被組合以構(gòu)建所得多重濾光器馬賽克。
23.一種包括根據(jù)權(quán)利要求1到6的任何一項所述的裝置的系統(tǒng)，其特征在于通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克；并且，利用三種方法，即使用距離變換的插值方法、使用采用偏最小二乘法的統(tǒng)計變換的插值方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種執(zhí)行插值，以獲得具有完整頻帶的多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像。
24.一種包括根據(jù)權(quán)利要求1到9的任何一項所述的裝置的系統(tǒng)，其特征在于通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克；并且，針對特定圖像區(qū)計算平均值，為每個區(qū)產(chǎn)生一個多頻帶平均向量，而利用三種方法，即使用距離變換的插值方法、使用采用偏最小二乘法的統(tǒng)計變換的插值方法、或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對其它圖像區(qū)執(zhí)行插值，以獲得在這些圖像區(qū)中具有完整頻帶內(nèi)容的多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對包括所述多頻帶平均向量的所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像以及與每個所述多頻帶平均向量相對應的光譜。
25.一種包括根據(jù)權(quán)利要求7所述的裝置的系統(tǒng)，其特征在于通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克；并且，針對圖像區(qū)計算平均值，檢測光纖(OF)光信號，以為每個區(qū)產(chǎn)生一個多頻帶平均向量，而利用三種方法，即使用距離變換的插值方法、使用采用偏最小二乘法的統(tǒng)計變換的插值方法、或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對其它圖像區(qū)執(zhí)行插值，以獲得在這些圖像區(qū)中具有完整頻帶內(nèi)容的多頻帶圖像；并且，利用兩種方法，即使用偏最小二乘法的統(tǒng)計方法或人工神經(jīng)網(wǎng)絡(luò)方法中的一種來對包括所述多頻帶平均向量的所述多頻帶圖像進行變換，以獲得多光譜或超光譜圖像以及與每個所述多頻帶平均向量相對應的光譜。
26.一種包括根據(jù)權(quán)利要求25所述的裝置的系統(tǒng)，其特征在于光纖(OF)中的至少一個遞送發(fā)光源的信號，且所得所述多頻帶平均向量和對應的估算光譜分別用于補償發(fā)光對所述多頻帶圖像和所述多光譜或超光譜圖像的影響，且通過這種方式，在像素中分別獲得反射光譜響應和反射光譜。
27.一種包括根據(jù)權(quán)利要求26所述的裝置的系統(tǒng)，其特征在于通過使用具有所需或優(yōu)化透射率曲線(TC)的R、G和B濾光器，所述反射光譜響應和所述反射光譜被轉(zhuǎn)換成R、G和B值，以產(chǎn)生經(jīng)顏色校正的圖像。
全文摘要
本發(fā)明涉及待變換成多光譜或超光譜圖像的瞬時或非瞬時多頻帶圖像的產(chǎn)生，包括光收集裝置(11)、具有至少一個二維傳感器陣列(121)和位于裝置(1)的光路(OP)中的所述圖像傳感器陣列(121)之前的瞬時顏色分離裝置(123)的圖像傳感器(12)、以及以使成像局限于電磁譜的特定部分為目的的位于所述光路(OP)中的第一均勻濾譜器(13)。本發(fā)明特別教導了包括安裝在濾光器輪(114)上或由透射式顯示器(115)顯示的均勻濾色器或濾譜器和/或濾色器或濾譜器馬賽克的濾光器單元(FU)永久地或可互換地位于所述光路(OP)中的所述顏色分離裝置(123)之前，或者接近會聚光(B)。每個濾色器或濾譜器馬賽克由眾多均質(zhì)濾光區(qū)組成。濾色器或濾譜器馬賽克的所述濾光區(qū)的透射率曲線(TC)可以部分重疊，除此之外，這些透射率曲線與屬于所述顏色分離裝置(123)的所述濾光區(qū)的透射率曲線重疊。所述濾色器或濾譜器馬賽克和所述顏色分離裝置(123)的透射率曲線(TC)適當遍布待研究的光譜區(qū)間。所述顏色分離裝置(123)與所述濾色器或濾譜器馬賽克的組合產(chǎn)生不同組的線性無關(guān)的透射率曲線(TC)。通過對受多重濾光器馬賽克的諸區(qū)影響的圖像區(qū)進行標識和分段，由所述圖像傳感器(12)捕捉到的多重濾光器圖像被去馬賽克，且在任選的插值步驟之后，獲得多頻帶圖像。所得多頻帶圖像被變換成多光譜或超光譜圖像。
文檔編號G01J3/12GK101124462SQ200580041267
公開日2008年2月13日 申請日期2005年10月25日 優(yōu)先權(quán)日2004年10月25日
發(fā)明者哈邁德·哈米德·穆罕默德, 弗雷德里克·貝里霍爾姆 申請人:Rp風險技術(shù)有限公司