本發(fā)明涉及樣本、尤其生物組織的多光譜成像。

背景技術(shù)：

當(dāng)使組織成像時，照明光可以被吸收或被散射。如果組織包含熒光分子，則通過將分子設(shè)置處于激發(fā)態(tài)而臨時存儲吸收的能量，然后吸收的能量部分地被釋放為較長波長的光子。作為熒光發(fā)射的光的強(qiáng)度通常比已反射的激發(fā)光的強(qiáng)度弱許多數(shù)量級，以及因此需要將反射光與發(fā)射光分離或隔斷。

最實際的方式為在光束的激發(fā)路徑和發(fā)射路徑中使用帶通濾波器，以限制光的光譜范圍以避免反射的激發(fā)在記錄的發(fā)射路徑中的滲透。該方法的直接結(jié)果是，無法在同一檢測路徑中同時獲得反射的激發(fā)圖像與熒光圖像。

為了獲取熒光圖像和反射圖像二者，需要在兩種獲取模式之間切換：具有濾波器和不具有濾波器。對于靜態(tài)對象，即對于在獲取熒光圖像和反射圖像期間不顯著移動的對象，在濾波器之間切換以及按順序獲取兩個圖像從不是問題。然而，如果視野中的對象移動，則記錄的圖像不一致，以及甚至在密集圖像處理之后，配準(zhǔn)會非常困難。

然而，可出現(xiàn)的另一問題是具有不同激發(fā)特性和發(fā)射特性的多種熒光劑的同時成像。在該情況下，必須使用不同組的用于激發(fā)和發(fā)射的成像濾波器來使不同的熒光染料成像，這最終增加了復(fù)雜度和獲取圖像的數(shù)量。此外，當(dāng)使移動對象成像時，需要利用相當(dāng)高的視頻幀速率記錄對象的發(fā)射的熒光和反射的激發(fā)。然后必須很快速地完成濾波器之間的切換。

存在用于實現(xiàn)多光譜成像的幾種方法。它們可以概略地以下列項為特征：a)所使用的傳感器的數(shù)量、b)開關(guān)濾波器的使用、c)不同照明之間的切換、或d)多個帶通濾波器的使用、分束器的使用等[y.garini、i.t.young和g.mcnamara的“spectralimaging:principlesandapplications”cytometryparta69a，735-747(2006)]。

在下文將詳細(xì)地描述這些現(xiàn)有技術(shù)。

[開關(guān)濾波器]

一些多光譜成像系統(tǒng)具有單個圖像傳感器且實施反射成像模式和熒光成像模式之間的快速切換機(jī)制。這可以使用安裝在濾光輪或濾波器立方塊上的帶通激發(fā)濾波器設(shè)置和發(fā)射濾波器設(shè)置來實現(xiàn)，該濾光輪或濾波器立方塊被快速更換，從而以高頻交替地記錄反射圖像和熒光圖像。該方法為直接的且允許最高的光吞吐量，但是需要機(jī)械地移動零件，比如濾光輪。進(jìn)一步地，根據(jù)濾波器配置，它允許一次僅記錄一個熒光團(tuán)的強(qiáng)度。處于接近視頻速度頻率的開關(guān)濾波器在技術(shù)上為復(fù)雜的且需要與照相機(jī)的抓幀序列的準(zhǔn)確機(jī)械同步。

為了避免機(jī)械組件，可以使用光譜可調(diào)濾波器，例如液晶可調(diào)濾波器。適合于不同熒光團(tuán)的光譜設(shè)置之間的切換可以非常快速(<1ms)，然而可調(diào)濾波器的透射吞吐量被限制。此外，可調(diào)濾波器對光透射角度和光偏振高度敏感，且與相當(dāng)高的成本相關(guān)聯(lián)。

[分束器]

用于多光譜成像的替選方法為使用多個傳感器，其中，在每個傳感器的前面布置對應(yīng)的發(fā)射濾波器。通過穿過單個物鏡且使用光學(xué)分束器布置來將光傳遞到每個傳感器，光可以到達(dá)每個傳感器，或者每個傳感器可以具有獨立的物鏡。在任一情況下，每個傳感器與濾波器配對，該濾波器可以阻斷激發(fā)波長且記錄來自一個熒光團(tuán)的發(fā)射[luciam.a.crane等人的jvisexp.2010；(44)：2225]。附加傳感器可以記錄具有不同成像路徑的反射圖像。這個概念很簡單，但是多個傳感器、分束器或物鏡的使用增大了尺寸、設(shè)計復(fù)雜度和成本。

[快速切換照明]

用于多光譜成像的另一方案使用不同激發(fā)光之間的切換。其中，替選地利用具有特定激發(fā)光譜的激發(fā)光束照明對象，濾波器阻斷該特定激發(fā)光譜進(jìn)入一個或多個照相機(jī)中。在us20130286176a1中，使用單個顏色傳感器、激發(fā)熒光的激光激發(fā)、以及開啟和關(guān)閉的寬帶照明源。當(dāng)僅激光激發(fā)源開啟時，則傳感器可以捕獲發(fā)射的熒光，以及當(dāng)寬帶照明開啟時，則傳感器可以捕獲反射的圖像。該系統(tǒng)產(chǎn)生反射圖像和熒光團(tuán)的圖像，但是觀察者可以在視覺上體驗由于不同源的開啟-關(guān)閉切換而造成的令人煩擾的閃爍。

[阻斷多個帶通圖像]

另一個方法使用與單色傳感器配對的具有多個帶通區(qū)域的濾波器。在該方法中，在單色傳感器前面的濾波器阻斷激發(fā)波長進(jìn)入單色傳感器中?？梢詥为毜乩眉ぐl(fā)掃描使不同熒光團(tuán)成像?？商孢x地，濾波后的多分量熒光可以被分為取決于波長的路徑，然后使這些路徑成像到單色傳感器的不同空間區(qū)域上。利用該方法，可以利用單色傳感器同時記錄多個通道。

在替選方法中，顏色傳感器可以用于利用多通道(因此彩色)傳感器記錄多分量熒光。然后可以處理多通道傳感器輸出，從而獲得各個熒光分量。

附加傳感器可以用于通過將反射的激發(fā)光分到不同的光學(xué)路徑中而記錄反射圖像，該不同的光學(xué)路徑使該光成像在該傳感器上。這與反射一起提供多個熒光成像帶，但是觀察者將在視覺上感知偽彩色表示。根據(jù)特定激發(fā)波長，可能無法甚至在數(shù)字化上修正偽感知。

可以進(jìn)一步將反射和熒光二者分到多個附加顏色傳感器上以增加光譜通道的數(shù)量。每個通道在傳感器的前面具有窄帶通濾波器，以及計算每個單獨的窄濾波器帶中的強(qiáng)度[us20120085932a1]。

根據(jù)在具體應(yīng)用中使用的激發(fā)濾波器和發(fā)射濾波器的精確組合，所使用的濾波器組被稱為“pinkel”、“sedat”、或“全-多頻帶”。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在提供用于多光譜成像的方法和裝置，該方法和裝置避免了上文提及的現(xiàn)有技術(shù)的問題且為簡單的、快速的且有成本效益的。

該問題通過根據(jù)權(quán)利要求1的方法和根據(jù)權(quán)利要求9的裝置以及根據(jù)權(quán)利要求15的內(nèi)窺鏡或外科顯微鏡及其根據(jù)權(quán)利要求16的用途來解決。在各個從屬權(quán)利要求中提供有利改進(jìn)。

根據(jù)本發(fā)明提供了一種用于獲取對象的熒光圖像和反射圖像的方法。在該發(fā)明方法中，利用兩種不同的光交替地照明對象。這至少兩種不同的光包括交替地指向?qū)ο蟮闹辽僖环N第一光和至少一種第二光。第一光具有多個高強(qiáng)度的光譜區(qū)域和至少一個低強(qiáng)度的區(qū)域，該低強(qiáng)度的區(qū)域的波長比高強(qiáng)度的區(qū)域的波長長，同時至少第二光具有至少一個高強(qiáng)度的光譜區(qū)域。

在利用這兩種光交替地照明對象期間，公共傳感器陣列記錄圖像。在利用第一光和第二光照明對象期間，記錄被照明的對象的單獨的圖像。另外，使在其中第一光具有高強(qiáng)度的至少一個光譜區(qū)域中記錄的光(即由對象發(fā)射的且指向公共傳感器陣列的光)衰減。

通過利用所述第一光和所述第二光交替地照明對象，因此可以在利用第一光照明期間記錄該對象的熒光圖像。在利用第二光照明期間可以記錄該對象的反射圖像。

在第一有利改進(jìn)中，公共用于交替地記錄熒光圖像和反射圖像的傳感器陣列為多通道陣列、優(yōu)選地為顏色傳感器陣列。這類多通道陣列將圖像記錄在通道圖像空間中，例如在顏色傳感器的彩色圖像空間中。這些圖像數(shù)據(jù)然后被轉(zhuǎn)換為分量圖像空間的值，其中，分量空間優(yōu)選地對應(yīng)于熒色物、吸收體、其導(dǎo)出值或噪聲的空間分布。因此在本發(fā)明中，第一圖像被記錄在通道圖像空間中，例如在彩色圖像空間中，然后被轉(zhuǎn)移到顯示例如特定熒色物、吸收體等的橫向分布的圖像。

如上所述，第一光和/或第二光可以具有高強(qiáng)度的光譜區(qū)域和低強(qiáng)度的光譜區(qū)域。為了記錄上文提及的熒光圖像和反射圖像，如果處于較短波長的高強(qiáng)度區(qū)域和處于較長波長的低強(qiáng)度的相鄰區(qū)域之間的光強(qiáng)度比至少為1×10²、優(yōu)選地大于或等于1×10⁶，則是有利的。

另外，如上所述，在第一光具有高強(qiáng)度的光譜區(qū)域中的至少一個光譜區(qū)域中使由傳感器陣列記錄的光衰減。未衰減的光譜區(qū)域與衰減的光譜區(qū)域的強(qiáng)度之間的衰減比優(yōu)選地至少為1×10²，優(yōu)選地至少為1×10³，優(yōu)選地至少為1×10⁶。在替選實施方式中，由傳感器陣列記錄的光在第一光具有高強(qiáng)度的光譜區(qū)域中的至少一者中的衰減量使得記錄在未衰減的光譜區(qū)域中的光的強(qiáng)度優(yōu)選地高于記錄在衰減的第二光譜區(qū)域的總和中的光的強(qiáng)度。

特別地，由傳感器陣列記錄的光可以被多帶通濾波器濾波。

在本發(fā)明的優(yōu)選布置中，第一光和/或第二光由寬帶光生成，該寬帶光然后被對應(yīng)的多帶通濾波器濾波以生成第一光和第二光。為了實現(xiàn)這點，用于第一光和第二光的所述多帶通濾波器可以具有互補(bǔ)的濾波器區(qū)域，使得第一光的高光強(qiáng)度的范圍與第二光的高光強(qiáng)度的范圍交替。

用于第一光和第二光的類似光分布可以通過將多個窄帶光源用于第一光和第二光來實現(xiàn)，其中，用于第一光的光源的發(fā)射峰和用于第二光的光源的發(fā)射峰沿著光譜波長軸交替。

而且，用于生成第一光和第二光的上述概念的組合是可行的。

通過這類布置，可以在由公共傳感器陣列前面的多帶通濾波器透射的相同光譜區(qū)域中交替地記錄熒光圖像和反射圖像。在優(yōu)選場景中，被從通過公共傳感器陣列前面的所述多帶通濾波器的記錄排除的波長區(qū)域可能對于反射圖像的可視化不是至關(guān)重要的，這是因為記錄的光譜區(qū)域可以用于重構(gòu)彩色圖像。

由于使更多數(shù)量的分量(即熒光團(tuán))成像，因此可以通過使用更多數(shù)量的不同第一光來記錄單獨的圖像。可解混的分量(即熒色物)的數(shù)量主要取決于顏色通道的數(shù)量。例如使用rgb傳感器，高達(dá)3種熒色物可以被解混。例如與同一rgb傳感器一起使用一種附加的第一光，高達(dá)6種熒色物可以被分離。所述第一光應(yīng)當(dāng)優(yōu)選地適用于所述熒光團(tuán)的激發(fā)光譜，而記錄的光需要根據(jù)感興趣的所有熒光團(tuán)的發(fā)射光譜來選擇。為了測量熒光圖像，可能需要在圖像記錄期間使成像裝置的周圍保持黑暗，從而減少非熒光。然而，尤其在醫(yī)學(xué)應(yīng)用中，可能需要額外提供環(huán)境光以便操作人員查看環(huán)境。為了該目的，建議利用至少一種第一光和至少一種第二光以及在另一時間段中利用另一光的脈沖來交替地照明對象，其中，該另一光的脈沖持續(xù)時間比用于利用至少第一光和至少第二光照明對象的照明時段短。也可以在至少第一光或第二光的應(yīng)用期間應(yīng)用所述另一光，同時在利用所述另一光照明期間停止記錄第一圖像和第二圖像。優(yōu)選地，另一光的光脈沖相應(yīng)地比第一光或第二光的持續(xù)時間短。

所述另一光于是可以足夠強(qiáng)，從而為工作在本發(fā)明的成像裝置的環(huán)境中的人員提供足夠的光來觀察該環(huán)境。如果所述另一光部分的頻率足夠高，則可以為工作在該環(huán)境中的人員提供連續(xù)的視覺效果。

附圖說明

在下文中提供本發(fā)明的不同示例。其中，針對類似的或相同的元件，使用類似的或相同的附圖標(biāo)記。在以下示例中，可以組合地描述對于本發(fā)明必需的特征和可選的特征的組合。然而，以這類組合描述的可選特征分別可以單獨地且逐一地被使用以改進(jìn)如在本權(quán)利要求中所描述的本發(fā)明。

結(jié)合圖1至圖35示出多個示例，圖1至圖35全部示出本發(fā)明的示例的多個方面。

具體實施方式

示例1

圖1描述了本發(fā)明的一般概念。本發(fā)明的系統(tǒng)包括照明系統(tǒng)100，該照明系統(tǒng)100產(chǎn)生且引導(dǎo)包含光譜多路復(fù)用特性和時間多路復(fù)用特性的光以照明對象400。從對象400發(fā)出的光被成像系統(tǒng)200收集且檢測或成像，該成像系統(tǒng)200包括多個元件，比如透鏡、濾波器、和光傳感器/檢測器陣列(即照相機(jī))等。照明系統(tǒng)100和檢測系統(tǒng)200均連接到控制和處理單元(300)，該控制和處理單元(300)控制照明系統(tǒng)100的操作、使操作同步且從檢測系統(tǒng)200抓取圖像、以及處理圖像數(shù)據(jù)，用于后續(xù)評估、顯示和存儲。最終，顯示/可視化系統(tǒng)500單獨地或同時地/疊加地顯示分解的圖像。

照明系統(tǒng)100在兩個(或更多個)交替階段中操作，如圖2所示。圖2a示出了不同階段的時間進(jìn)程，圖2b示出了第一光的光譜，圖2c示出了第二光的光譜，以及圖2d示出了待檢測的入射光的透射。

在階段1中，系統(tǒng)利用展示具有高強(qiáng)度區(qū)域和低強(qiáng)度區(qū)域的光譜形狀的光照明對象，如圖2b所示。各種光譜形狀是可能的，但是必不可少的是，光具有在比高強(qiáng)度區(qū)域的波長長的波長下具有非常低的強(qiáng)度的光譜區(qū)域。在那些區(qū)域中，在利用第一光激發(fā)時由對象發(fā)射的熒光可以被成像系統(tǒng)檢測，而不檢測相關(guān)量的反射光。在階段2中，利用寬帶光照明對象，如圖2c所示。

成像系統(tǒng)200包括一個成像通道/路徑。該成像通道具有圖像傳感器陣列設(shè)置，用于檢測和記錄處于不同階段的熒光圖像和反射圖像。到達(dá)圖像傳感器的光在光譜上衰減，使得通常階段1的照明光在到達(dá)成像傳感器之前衰減，如通過圖2d中的衰減器的透射光譜所示。

通過交替對象的照明，可以利用同一傳感器在相同的光譜區(qū)域中交替地記錄互補(bǔ)的反射圖像和熒光圖像。在照明階段1中，從對象反射的光的光譜帶衰減以及基本上僅熒光發(fā)射被透射且被傳感器陣列檢測，形成熒光圖像，而在階段2中，從對象反射的光部分地被透射且利用傳感器來記錄，以形成反射圖像。

待衰減的光譜區(qū)域在光到達(dá)傳感器之前的衰減量可以被近似評估，從而當(dāng)傳感器優(yōu)選地用于檢測熒光時，檢測的熒光信號應(yīng)當(dāng)優(yōu)選地多于滲透的激發(fā)光。

示例2

在圖3中示出了優(yōu)選實施方式之一。其中使用兩個寬帶白光源111和121，這兩個寬帶白光源111和121可以被交替地開啟和關(guān)閉。一個寬帶白光源利用多帶通濾波器122濾波。利用多帶通多色鏡101組合來自這兩個源111和121的兩個光束。在那些元件之間，準(zhǔn)直透鏡可以可選地地放置以便將更多光引導(dǎo)到待成像的區(qū)域。利用物鏡201(或充當(dāng)物鏡的透鏡系統(tǒng))將由對象400發(fā)射的光收集在檢測系統(tǒng)200中，用在開放手術(shù)中的該物鏡201優(yōu)選地具有200mm的對焦距離。與濾波器122互補(bǔ)的多帶通濾波器213使光束衰減。濾波的光束然后通過多通道或多色傳感器陣列211來成像。處理/控制單元300由抓幀器301、控制單元302、和處理單元303組成，以生成圖像501，...，圖像507...?？蛇x的透鏡212、透鏡214可以被用在各個元件之間以將圖像轉(zhuǎn)發(fā)到傳感器。多帶通濾波器213優(yōu)選地放在光學(xué)上無限大的修正成像空間中。

多帶通濾波器和多色濾波器通常被制作為激發(fā)/發(fā)射/鏡濾波器組，用以在熒光顯微法中用作sedat組、pinkel組或全多頻帶組中。在圖4中示出了用于四帶濾波器組的透射光譜的示例，該四帶濾波器組初始被配置成使四個熒色物成像。在位置122上使用“激發(fā)濾波器”、在101上使用“多色鏡”、以及在位置213上使用“發(fā)射濾波器”?？梢葬槍Ω鞣N熒色物應(yīng)用使用濾波器的各種不同組合以及各種濾波器組。通常在濾波器傳輸帶之間具有小的間隙，以避免串?dāng)_(參看圖表)。這個帶的寬度取決于操作在一系列入射角之下的濾波器的特性連同在具有現(xiàn)實條件的環(huán)境中執(zhí)行的濾波器組的需求。

針對兩種照明模式使用這樣的濾波器組指的是，在階段1中，該組的激發(fā)濾波器用于對來自源111的白光濾波，多色鏡被用作將來自源111和源121的多個光束組合為一個光束的元件101，以及發(fā)射濾波器被用作位置122上的濾波器213以阻斷來自111的激發(fā)光。實際上且假設(shè)組織中的熒色物的標(biāo)稱濃度(通常在100×10^-9m到1×10^-3m之間，其中1m＝1摩爾/升)，6個數(shù)量級的光密度(o.d.)的干擾多個帶通濾波器的阻帶中的常規(guī)衰減率是足夠的，然而期望的是，在許多情況下，2或3的o.d.的衰減可以是充足的。

在階段1中，利用來自源111的光譜成形的光照明對象400，該光至少部分地被對象400反射、透射且吸收以激發(fā)熒光。在傳感器211前面的發(fā)射濾波器213使階段1中被對象400反射的激發(fā)光衰減，該傳感器211因此僅記錄熒光發(fā)射。在階段2中，利用來自源121的寬帶光照明對象400。該光部分地被對象400反射，該對象400發(fā)射反射光和熒光。濾波器213僅透射一些頻帶的反射光和熒光發(fā)射光。由于熒光強(qiáng)度通常比反射光低許多數(shù)量級，因此可以假設(shè)實際上僅記錄反射圖像?？偠灾?，在階段1中，傳感器211記錄熒光，且在階段2中記錄對象在濾波器213示出足夠透射的光譜區(qū)域中的反射圖像。通常，熒光圖像具有比反射圖像低很多的強(qiáng)度。為了適應(yīng)不同的動態(tài)范圍，更長的曝光時間應(yīng)當(dāng)被用于熒光圖像。在圖5中示出了階段和圖像的這類序列。在此，圖5a示出了照明階段1和照明階段2的時序，其中，階段1比階段2長。圖5b示出了檢測階段1和檢測階段2的時序，其中，用于檢測熒光圖像的階段1比用于檢測反射圖像的階段2長。

對象的照明和傳感器的曝光的控制從處理和控制單元300中的信號來提供。兩個寬帶光源111和121可以為白熾燈、氣體燈(比如hg、xe或混合物)、發(fā)光二極管(lightemittingdiode，led)、或任何其它寬帶光源。led源可以以高頻速率來開啟和關(guān)閉，其中上升時間和下降時間比100微秒快。這類系統(tǒng)可以以視頻速率(即大約以25fps(幀/秒))、利用交替階段照明對象。在此以及在更高的照明速率下，照明場的視覺感知是均勻的，其中任何閃爍效果是幾乎觀察不到的。

傳感器213優(yōu)選地為具有利用多個通道記錄圖像的能力的多通道(多色)傳感器。每個光譜區(qū)域具有不同的光譜敏感度且記錄對象中的各種反射物質(zhì)和熒光物質(zhì)的光譜多路復(fù)用的反射光。多通道顏色傳感器陣列的示例為rgb(紅-綠-藍(lán))或cmyg(藍(lán)綠-洋紅-黃-綠)圖案傳感器。在圖6中示出了不同類型的顏色傳感器的典型的顏色敏感度。在圖6a中示出了rgb傳感器的紅色傳感元件、綠色傳感元件和藍(lán)色傳感元件的敏感度。在圖6b中示出了cmyg傳感器的藍(lán)綠色傳感元件、洋紅色傳感元件、黃色傳感元件和綠色傳感元件的敏感度。因此，由這些傳感器記錄的數(shù)據(jù)為對應(yīng)色彩空間(即通過對應(yīng)顏色(例如rgb或cmyg)所跨越的空間)中的數(shù)據(jù)。

圖7公開了典型熒光團(tuán)的典型熒光發(fā)射光譜的激發(fā)光譜和熒光發(fā)射光譜，該典型熒光團(tuán)比如為異硫氰酸熒光素-fitc(圖7a)、atto647(圖7b)和吲哚菁綠(icg)(圖7c)。

然后將記錄的圖像從傳感器213傳送到處理單元300以備一系列圖像處理操作，諸如演示、配準(zhǔn)、噪聲濾波、背景暗噪聲減少、針對色幀的顏色校正、和光譜解混。特別地，最簡單形式的光譜解混可以為從照相機(jī)和分量空間生成的顏色通道圖像之間的線性變換。分量可以為光可攜帶來自其的信息的任何事物，諸如可以為可來自那些分量的衍生物的材料、濃度或特性、或數(shù)量。它們可具有對應(yīng)于對象400的元件401、元件402的特定空間分布。在計算分量401、分量402等的空間分布的圖像501、圖像507之后，可以使用顏色映射(諸如偽色)將這些圖像存儲、顯示或覆蓋在其它圖像上。

用于光譜解混之后的圖像的一些示例(但不限于此)示出：

a)吸收體分布：反射光的光譜通過對象400的組織中的吸收和透射光譜來成形，且這被記錄在顏色傳感器信號中。通過在具有已知濃度的吸收體上的組織吸收和/或系統(tǒng)校準(zhǔn)的系統(tǒng)和組織建模，可以導(dǎo)出內(nèi)在組織吸收體(比如氧化的和去氧化的血紅蛋白、黑色素等)或還有外部施用的吸收造影劑(例如亞甲藍(lán))的濃度。

b)氧飽和：從氧化的和去氧化的血紅蛋白分布的圖，可以計算氧飽和度圖以及相關(guān)的生理或病理參數(shù)。

c)熒色物分布：熒光要么來自內(nèi)生的熒色物、要么來自外部施用的熒光造影劑。熒光信號被顏色傳感器記錄，以及通過系統(tǒng)和組織建模和/或系統(tǒng)校準(zhǔn)，可以導(dǎo)出熒色物分布。另外，可以計算傳送關(guān)于癌癥的更具體信息的熒色物圖之間的比率。在下文中呈現(xiàn)了針對用于計算熒光分量的圖像處理的基本描述。類似值(如反射吸收分布)以及導(dǎo)出值類似地被建模和計算。

在本發(fā)明中，照相機(jī)測量不同顏色通道的信號強(qiáng)度。該信號通過所有分量的總和的光強(qiáng)度來創(chuàng)建，該光強(qiáng)度與傳感器211的光譜靈敏度結(jié)合，所有分量在光譜上被透射濾波器濾波且另外被傳感器211的rgb顏色濾波器濾波。假設(shè)檢測器響應(yīng)是線性的，則生成的信號為：

其中，sc為出自所有組合的顏色傳感器圖像的具體譜色c中的信號；例如{顏色}＝{r，g，b}。iλ(λ，f)為光譜熒光通道強(qiáng)度密度。它取決于波長和熒光通道。每個熒光通道的特征是特定的光譜光特性。在最簡單的情況下，成像系統(tǒng)的熒光通道的光譜光特性對應(yīng)于熒光團(tuán)。在該情況下，iλ(λ，f)對應(yīng)于熒光團(tuán)的光譜發(fā)射譜。在該情況下，考慮熒光團(tuán)濃度、熒光團(tuán)量子產(chǎn)率和光譜照明光強(qiáng)度，可以確定iλ(λ，f)的準(zhǔn)確值。t(λ，c)為特定空間顏色傳感器或像素的總透射特性，這也展現(xiàn)了包括發(fā)射濾波器的光學(xué)系統(tǒng)的透射特性。假設(shè)熒光活性被定位成靠近組織表面使得熒光發(fā)射光譜輪廓和強(qiáng)度不受組織本征吸收嚴(yán)重影響以及其它非線性效果(比如淬火)可忽略不計，則光譜熒光團(tuán)強(qiáng)度iλ(λ，f)可以被寫成iλ(λ，f)＝c(f)*φλ(λ，f)：

其中，c(f)為熒光團(tuán)f的濃度。在將熒光通道f用于反射成像的情況下，c(f)為強(qiáng)度因子。用于濃度的符號c與顏色通道指數(shù)相同。φλ(λ，f)為摩爾光譜熒光強(qiáng)度密度，描述熒光團(tuán)f的發(fā)射的光譜輪廓。該強(qiáng)度通過熒光團(tuán)的濃度c(f)來調(diào)整大小。在f為反射通道的情況下，φλ(λ，f)為具有光譜分布的通道的標(biāo)準(zhǔn)化的光譜反射強(qiáng)度。

作為一個示例，φλ(λ，f)可以為眼睛中的紅色受體的光譜響應(yīng)。這會導(dǎo)致對于該紅色通道的自然色印象。在重排之后，公式

導(dǎo)致熒光團(tuán)濃度和傳感器測量的通道強(qiáng)度之間的線性關(guān)系：

該線性關(guān)系允許計算所有的熒光通道強(qiáng)度和反射通道強(qiáng)度c(f)。其中，存在針對具有通道紅、綠和藍(lán)的傳感器以及染料異硫氰酸熒光素(fitc)、atto647和吲哚菁綠(icg)計算矩陣m的示例。在圖7中給出了熒光團(tuán)激勵和發(fā)射光譜：

信號等式為：

s紅＝c(fitc)*m(fitc，紅)+c(atto647)*m(atto647，紅)+c(icg)*m(icg，紅)

s綠＝c(fitc)*m(fitc，綠)+c(atto647)*m(atto647，綠)+c(icg)*m(icg，綠)

s藍(lán)＝c(fitc)*m(fitc，藍(lán))+c(atto647)*m(atto647，藍(lán))+c(icg)*m(icg，藍(lán))

其中針對fitc和紅色檢測器通道的組合示例地寫出系數(shù)m：

可以通過倒置系數(shù)矩陣m來獲得熒光強(qiáng)度：

在優(yōu)選實施方式中，如果檢測器顏色通道的數(shù)量等于待解決的熒光通道的數(shù)量，則等式系統(tǒng)可以被求解為等式的線性系統(tǒng)。變量sc由成像系統(tǒng)測量。如果系統(tǒng)的其它參數(shù)是已知的(φλ(λ，f)和t(λ，c))，則可以計算c(f)的值。在校準(zhǔn)過程中可以提前確定這些因子且因此矩陣m(f，c)。為了計算c(f)，矩陣m(f，c)需要求逆。

如果被測通道的數(shù)量大于熒光通道的數(shù)量，則系統(tǒng)為超定的。處理該有利情況的一個選項為計算m(f，c)的偽逆，其不再為方矩陣。可以使用各種算法來改善計算的結(jié)果且例如使源自于傳感器中的測量的噪聲最小化。

矩陣m可以從系統(tǒng)建模和/或從系統(tǒng)校準(zhǔn)來計算。在系統(tǒng)建模中，可以從光源到顏色傳感器陣列像素對光通道光譜含量建模。參數(shù)包括但不限于：照明源光譜分布、激發(fā)濾波器的光譜透射、或照明光的光譜輪廓、熒色物激發(fā)和發(fā)射光譜以及量子產(chǎn)率、組織中的分量的近似深度、組織的光學(xué)特性、成像系統(tǒng)(透鏡、分束鏡、濾波器、鏡子等)的透射特性、和/或傳感器陣列的光譜靈敏度。建模計算將濃度信息與記錄信號相關(guān)聯(lián)的矩陣m(正演問題)?？梢詮哪嫠銌栴}的解答導(dǎo)出分量分布?？商孢x地，系統(tǒng)校準(zhǔn)可以利用記錄已知組成、濃度和位置的分量的信號且然后求解未知的矩陣m，或者通過利用解混算法的盲目分解來完成，該解混算法諸如主分量分析(principlecomponentanalysis，pca)、獨立分量分析(independentcomponentanalysis，ica)或類似的統(tǒng)計算法。最終，建模或一般地使用現(xiàn)有信息可以用于確定除了被測通道的數(shù)量以外的更多未知參數(shù)。

代替線性建模，該系統(tǒng)可以使用非線性描述來更詳細(xì)地建模。采用該方式，可以考慮非線性的潛能，諸如檢測器或高熒色物濃度的淬火效應(yīng)。最終，利用建模和/或現(xiàn)有信息，可以計算從比可用通道的數(shù)量多的分量恢復(fù)信息的矩陣，這不同地為欠確定的系統(tǒng)。

[光譜帶的數(shù)量]

最終，如前所示，解混的分量的數(shù)量與從傳感器可獲得的通道(例如顏色)的數(shù)量、或在組合圖像的情況下與組合圖像的顏色通道的總數(shù)相關(guān)。然而，照明和/或透射中的光譜帶的數(shù)量獨立于通道(顏色)的數(shù)量和解混的分量的數(shù)量。通常，在感興趣的區(qū)域中可用的譜帶越多，越不可能將不記錄來自特定分量的光譜特征。因此，許多“窄”光譜帶提供反射圖像的更準(zhǔn)確的顏色表示以及各種分量的更準(zhǔn)確的解混。然而，在光譜帶的數(shù)量小于通道的數(shù)量的情況下，各種分量的光譜解混是可行的。

重要的是強(qiáng)調(diào)，多頻帶濾波器的光譜帶的數(shù)量對于待解混的熒光團(tuán)的數(shù)量而言不是相關(guān)的數(shù)學(xué)條件。反而，照相機(jī)通道的數(shù)量在數(shù)學(xué)上是重要條件。

示例3

在下文中，我們描述用于本發(fā)明的基礎(chǔ)光源和各種替代物。

如前所述且如圖8所示，最基礎(chǔ)的光源100包括兩個獨立的光源111、121，這兩個光源優(yōu)選地為寬帶led111和寬帶led121。相比于傳統(tǒng)光源，諸如鹵素?zé)艋螂瘹鉄?，led通常具有非?？焖俚那袚Q性能?？蛇x地利用準(zhǔn)直透鏡119和準(zhǔn)直透鏡129使光束準(zhǔn)直。利用帶通濾波器122對從源121傳出的光濾波且然后使用多色鏡101將其與從源121傳出的光組合。

圖9a示出了寬帶led的光譜，寬帶led對于光源111、光源121可以相同或不同。該光譜通常用于白光led。圖9b示出了多帶激發(fā)濾波器122的透射光譜。圖9c提供了由led源121發(fā)射的且由濾波器122濾波的光的強(qiáng)度譜。

在優(yōu)選實施方式中，具有最大光譜功率密度的兩個寬帶高功率led源的發(fā)射光譜大于30mw/nm。發(fā)射光被多帶通濾波器濾波，如圖9b所示。該濾波器具有傳輸帶(420nm-460nm、510.5nm-531.5nm、590nm-624nm、677.5nm-722.5nm)，在每個傳輸帶中具有90％的近似最大的傳輸。濾波器在阻斷區(qū)域中的衰減特性通常至少為光學(xué)密度2(o.d.2)。通常濾波器的帶外抑制/衰減特性和o.d.6一樣好。

在圖9c中示出了在利用對應(yīng)的多頻帶濾波器濾波之后的光源的有效發(fā)射。第一光(源121)的光譜在該照明階段期間通過濾波器來成形，以及第二光(源)的光譜為如圖9a所示的固有的寬帶發(fā)射輪廓或類似的寬帶。因此，光的所有繪制光譜為在對應(yīng)階段期間累積的光譜。

利用該基礎(chǔ)光源的一個潛在缺點是，照明場對于觀察者在強(qiáng)度方面和光譜含量方面的視覺感知可能不是最佳的。這兩種光具有不同的整體強(qiáng)度和光譜含量，以及當(dāng)它們交替時可呈現(xiàn)強(qiáng)度或顏色的視覺閃爍。另外，光譜含量不是平衡的且色外觀可以不是自然的。

替選的照明源為基礎(chǔ)光源的變型，其中區(qū)別是第二光也利用如圖10a所示的濾波器112來濾波。對第二光濾波的基礎(chǔ)優(yōu)勢是，它促進(jìn)整個顏色感知的優(yōu)化且使閃爍最小化。濾波器112也可以為多帶通濾波器。它的光譜透射特性可以與濾波器122的光譜透射特性互補(bǔ)且可以具有與在傳感器陣列211前面的熒光發(fā)射濾波器213相同或類似的透射特性。圖10b提供在第一階段中如由光源121發(fā)射的第一激發(fā)光在通過濾波器122濾波之后的光譜。圖10c提供在第二階段中如由光源111發(fā)射的第二激發(fā)光在通過濾波器112濾波之后的光譜?；パa(bǔ)的濾波器112和濾波器122累積地提供光譜連續(xù)的照明，該照明幾乎等于通過原始寬帶源的寬帶照明，因此提供自然顏色感知。另外，強(qiáng)度或顏色閃爍的效果較小。然而，第二光(階段2)的光照明的光譜形狀可以自由改變以便達(dá)到最佳的顏色感知和最小的強(qiáng)度閃爍。

另外，光源100的輸出可以通過光纖耦合透鏡系統(tǒng)耦合到光導(dǎo)管中。該光導(dǎo)管可以為單個光纖、光學(xué)纖維束、或液芯光導(dǎo)管。

在如圖11所示的照明系統(tǒng)的替選實現(xiàn)中，利用多頻帶濾波器濾波的寬帶光源中的一者或多者用一組窄帶的單獨控制的源133、143、153來替換，這組窄帶的單獨控制的源可選地通過各自的窄帶濾波器125來濾波。這類源133-153可以為激光器、激光二極管、led等。在圖11中，圖10a的發(fā)光模塊111已經(jīng)被多個激光源133、143、153來替換。模塊123的發(fā)射光通過濾波器125濾波。多色鏡101、多色鏡104、多色鏡105、多色鏡106將激光器133、激光器143、激光器153的輻射與來自激光器123的輻射組合。所有的光被一起耦合到光纖103。

分束器101可以為偏振分束器。采用該方式，可以組合不同的源123、源133、源143、源153，使損耗最小化。多個激光器133、143和153以及更多激光器可以代替一個寬帶源，例如圖10中的源111。激光器133、激光器143、激光器153可以具有窄光譜發(fā)射輪廓和/或可以為可調(diào)諧的。一些激光器可以需要清除濾波器來抑制不想要的放大的自發(fā)發(fā)射。激光器也可以在波長和強(qiáng)度上為可調(diào)諧的，它們可以為連續(xù)波激光器或脈沖激光器。不同的激光源被長傳多色鏡104(截止波長為415nm)、長傳多色鏡105(截止波長為650nm)和長傳多色鏡106(具有大約785nm的截止波長的高反射率的平面反光鏡)組合。包括一個階段中的照明的這些或類似的窄帶源可以同時照明(具有全部或部分時間重疊)、或可以按順序操作。然而，與照明階段相關(guān)聯(lián)的曝光時段內(nèi)的任何時間組合被視為在一個照明階段中累積的光譜分布。

在圖12中示出了優(yōu)選的光譜場景，其中，寬帶led源覆蓋整個光譜范圍且與窄帶激光源組合，該窄帶激光源可以優(yōu)選地為(出于切換原因)激光二極管。在該情況下使用普遍的模塊，比如405nm激光二極管模塊、633nm激光二極管模塊和785nm激光二極管模塊。處于405nm的二極管激光器可以激發(fā)廣泛用于腦部手術(shù)的原卟啉ix(ppix)。處于633nm的二極管激光器可以激發(fā)高度穩(wěn)定且明亮的熒光團(tuán)，諸如用在熒光探針中的alexa647，以及以785nm發(fā)光的二極管激光器激發(fā)臨床相關(guān)的吲哚菁綠(icg)。

示例4

在該示例中，替選的照明系統(tǒng)用于利用幾個led光源生成照明光。如圖13所示，代替使用兩個寬帶led源，該選項使用具有窄的光譜發(fā)射的多個led121、131、141、151...。這需要更復(fù)雜的照明設(shè)備，但是在另一方面，輸出功率可以顯著增大且可以獨立地使不同led的強(qiáng)度平衡。大多數(shù)單色led仍在旁側(cè)光譜上具有帶尾窄發(fā)射。因此，可以可選地在每個led的前面使用激發(fā)濾波器122、激發(fā)濾波器132、激發(fā)濾波器142、激發(fā)濾波器152以清除激發(fā)光譜。類似于激光源，來自由許多窄帶源組成的led源的光可以被視為一個照明光。led可以同時照明(具有全部或部分時間重疊)或可以無重疊按順序操作。然而，與照明階段相關(guān)聯(lián)的曝光時段內(nèi)的任何時間組合被視為在一個照明階段中累積的光譜分布。

這類照明子系統(tǒng)(比如圖13中所描述的照明子系統(tǒng))可以被組合在多階段照明系統(tǒng)中，如圖14的示意圖所示。其中，提供兩個光源100c和100d，各光源將其發(fā)射光耦合到分別用于樣本400的照明的光纖103c和光纖103d中。

圖15至圖18分別示出了led光源的發(fā)射光譜、在發(fā)射光束中布置的濾波器的透射光譜、以及發(fā)射光在通過所述濾波器之后的強(qiáng)度光譜。所有的四個光源在一起可以替換一個光譜寬帶光源。

該優(yōu)選配置針對多頻帶濾波器的每個帶具有一個激發(fā)led。這將需要用于四帶通濾波器的8個單個的不同led。在圖19中示出了這類配置的光譜。圖19在左側(cè)示出了構(gòu)成第一光源的4個led的光譜、對應(yīng)濾波器的透射光譜以及第一光產(chǎn)生的發(fā)射光譜。在右側(cè)示出了對應(yīng)于第二光的光譜。在光譜中已暗示，各個led與一種光相關(guān)聯(lián)且因此與一個階段相關(guān)聯(lián)。然而，該組的4個單獨led還可以使用在每個單獨led前面的4個單獨的單帶通濾波器來濾波。而且，各個led不嚴(yán)格地連接到階段之一。圖20示出了4個市場上可買到的具有處于380nm、490nm、565nm和635nm的發(fā)射峰的led的真實發(fā)射光譜。圖21示出了被四帶通濾波器濾波的上述四個led的形成的照明光譜輪廓。

示例5

在圖22中所示的另一示例中，不同光源之間的暫時切換使用具有可變透明度的光學(xué)元件168和光學(xué)元件165來執(zhí)行。在最簡單的情況下，這些具有可變透明度的光學(xué)元件168和光學(xué)元件165為機(jī)械光閘。它們也可以為光調(diào)制器或聲光設(shè)備。從光源161傳出的寬帶光被多色鏡162分離，然后被互補(bǔ)的激發(fā)濾波器164和激發(fā)濾波器167濾波以及被類似于元件162的多色元件169再次合并。鏡子163和鏡子166用于對齊和引導(dǎo)被系統(tǒng)中的濾波器165濾波的部分光束。為了進(jìn)一步改善，應(yīng)當(dāng)使激發(fā)光準(zhǔn)直以使損耗最小化且優(yōu)化系統(tǒng)中的濾波器性能。

示例6

在如圖23所示的替選實施方式中，照明系統(tǒng)被配置成通過光學(xué)系統(tǒng)照明。光學(xué)導(dǎo)光管將光從多光譜照明系統(tǒng)100傳送到成像設(shè)備200的處于連接器端口204的部分。照明路徑可以包含用于優(yōu)化對對象400的照明的光學(xué)透鏡系統(tǒng)203。然后光被偏振濾波器206濾波且隨后與具有分束器設(shè)備205的成像路徑組合。這類設(shè)備可以為偏振分束器立方體205。然后使光通過可旋轉(zhuǎn)的半波片207，當(dāng)光正在通過時，該半波片207旋轉(zhuǎn)偏振的角度。這允許根據(jù)半波片的位置減少或消除反射光的反射。在簡單組裝中，半波片207位于物鏡201前面。

示例7

在下文中提供各種替選的檢測器系統(tǒng)的描述。

作為一般性描述，傳感器211為多通道顏色傳感器。這意味著傳感器記錄多個不同的光譜分布中的光場。這可以利用以下各種選項來實現(xiàn)：a)在像素前面具有微型濾波器的傳感器，該微型濾波器遵循拜耳(bayer)rggb微型濾波器模式或其改造版(比如rg(ir)b、cmyg)，b)任何其它濾波器鑲嵌模式，其中每個像素記錄具有不同光譜分布的光，和/或c)在單色傳感器上的任何其它光束分離、顏色濾波和成像。在圖24中示出了這些模式中的一些。

通常，rggb模式實現(xiàn)更準(zhǔn)確的顏色再現(xiàn)，而cmyg可以為更敏感的。全分辨率彩色圖像可以通過去馬賽克來恢復(fù)，這可以發(fā)生在照相機(jī)硬件中或后續(xù)發(fā)生在圖像處理中。微型濾波器模式通?？梢员粩U(kuò)展到多種顏色或多種光譜透射輪廓，比如abcdefghi等。如此示例為平版印刷而形成圖案的雙色濾波器陣列，如在us6638668b2中所公開。

可替選地，多通道顏色傳感器可以基于foveonx3傳感器(參看us6632701)或如圖25所示的類似技術(shù)。相比于微型濾波器模式，foveon傳感器具有在空間上布置在x方向和y方向上的光電傳感器，以及多個層(層1、層2...)豎直疊放。每個層由于硅吸收和對于光之上的層的不同透射深度而對不同的光譜區(qū)域敏感，因此每個層的所生成的圖像對應(yīng)于不同的顏色。利用這點可以實現(xiàn)更高的空間分辨率。

在如圖26a所示的替選實施方式中，使用分束器或鏡252、鏡253、鏡254、鏡255將待檢測的光束分為三條平行的局部光束以及利用濾波器或利用雙色鏡對光束濾波。另外，如圖3所示的多通道傳感器211被單色傳感器251替換。每個濾波器或雙色鏡具有特定的透射光譜輪廓，該輪廓透射如圖26b和圖26c所示的三種不同顏色之一的光。因此不同圖像彼此橫向遠(yuǎn)離地被形成在單色傳感器中，各單色傳感器使不同的光譜帶成像。

另外，多顏色通道可以利用多次分光和多個濾波器來實現(xiàn)，諸如在us3659918中所公開的棱鏡3-ccd幾何結(jié)構(gòu)。在這個或類似分光實現(xiàn)方式中，每個路徑被濾波以攜帶具有特定顏色(例如rgb)的光譜的光。該方法可以被擴(kuò)展到提供多個成像路徑(3個以及更多)的類似的多個分束器。

示例8

對于大多數(shù)熒光應(yīng)用，需要避免或阻斷環(huán)境光，這是因為環(huán)境光的強(qiáng)度比源自于熒光染料的熒光的強(qiáng)度強(qiáng)多個數(shù)量級。環(huán)境光可來自于太陽且穿過窗戶到達(dá)對象上，或環(huán)境光可由室內(nèi)燈發(fā)射。在現(xiàn)有技術(shù)的系統(tǒng)中，環(huán)境黑暗以避免來自熒光通道中的環(huán)境光的密集信號。作為替選，將會穿過發(fā)射濾波器的環(huán)境光的特定波長區(qū)域可以被濾波器阻斷。遺憾地，這類濾波器通常非常昂貴，且不可能用這類濾波器覆蓋大的窗口或室內(nèi)燈，或這類濾波器剛好不是對于任何光譜配置都可用。

在此呈現(xiàn)的技術(shù)描述了允許房間的環(huán)境照明和在相同情況下檢測熒光的替選方案。這個改進(jìn)在開放式手術(shù)期間的外科熒光成像中是特別重要的。

呈現(xiàn)了兩個不同的選項。兩個選項利用脈沖光源作為環(huán)境照明來操作。在第一方法/實施方式中，在記錄(在權(quán)利要求中稱為“保持記錄”)幀期間阻斷成像路徑中的所有光，以及第二方法/實施方式在用于環(huán)境照明的幀之間使用傳感器陣列的停滯時間。

示例8a

相比于人眼的最大頻率感知(例如處于200hz)，使室內(nèi)燈的照明以高頻發(fā)出脈沖。脈沖的持續(xù)時間(占空比)通常為整個周期的一小部分(例如該周期的5％-20％，通常0.1ms-5ms)，這允許更長的曝光時間用于熒光成像，如圖27所示。用于使熒光信號成像的光路徑在環(huán)境照明的光脈沖期間被阻斷。該圖示出了成像系統(tǒng)的階段以及允許環(huán)境照明的光閘設(shè)備的對應(yīng)時序。

在圖28中所示的實施方式中，提供室內(nèi)照明/環(huán)境照明光源902，該光源902的光被耦合到激發(fā)光路徑中。還在成像路徑中提供附加的光閘900。在該實施方式中，出于簡化原因，光閘位于光學(xué)系統(tǒng)200的物鏡前面。然而，光閘也可以位于路徑中的另一位置?？商孢x地，光閘設(shè)備900可以被包括在傳感器陣列的正前方的成像路徑中。光閘900和室內(nèi)照明902二者均由控制/處理單元300來控制。

當(dāng)關(guān)閉光閘900時，光閘900阻斷所有的光進(jìn)入成像/檢測路徑且因此光不到達(dá)傳感器系統(tǒng)200中的傳感器陣列。來自源902的環(huán)境照明的操作頻率不一定適應(yīng)熒光成像系統(tǒng)的操作頻率。如果成像系統(tǒng)以30hz-60hz運轉(zhuǎn)來生成對于人眼的流暢的熒光和反射的圖像流，則是優(yōu)選的。環(huán)境照明902優(yōu)選地利用較高的頻率來操作，因此人眼在室內(nèi)環(huán)境中感知不到任何閃爍。

優(yōu)選地，環(huán)境照明系統(tǒng)902的操作頻率為成像頻率的高次諧波。在該情況下，每個按順序拍攝的圖片等同地受關(guān)閉的成像路徑影響。但是也可以檢測環(huán)境照明時序以及數(shù)字地校正用于略有不同地遮蔽的成像路徑的影響的成像數(shù)據(jù)(若需要)。

光閘900可以為可允許或阻斷光沿著光束路徑傳播的任何機(jī)電設(shè)備。在優(yōu)選實施方式中，環(huán)境光和光學(xué)成像路徑903被如圖29所示的光束斬波輪901來遮蔽，該光束斬波輪901以光閘效應(yīng)的頻率的一半來旋轉(zhuǎn)。

斬波輪901為以特定頻率中斷成像路徑的良好選擇且通常以比光學(xué)光閘更高的頻率操作?？商孢x地，斬波輪可以用通過使路徑不透明而保持圖像記錄的不同設(shè)備來交換，該不同設(shè)備比如光電調(diào)制器、slm、或聲波-光學(xué)調(diào)制器。在另一替選中，使用偏振濾波器且使用具有光的可變偏振敏感透射的電子設(shè)備來關(guān)閉路徑。這還允許有效地阻斷成像路徑。

光源可以為可利用短脈沖操作的任何類型的環(huán)境光源。光源902優(yōu)選地包括電子脈沖led。這類led很好地適合于手術(shù)室的環(huán)境照明以及可以使這類led非常精確地以比人眼的頻率高很多的頻率發(fā)出脈沖。

示例8b

如圖30所示的替選實施方式使用來自不同光源的照明光的附加階段(第3階段)，該附加階段一直在用于環(huán)境照明的成像設(shè)置的階段1和階段2之間。該階段以其它階段的頻率的雙倍進(jìn)行運轉(zhuǎn)。該光源可以為獨立的(類似于光源902)或被包括在照明系統(tǒng)的光源100中。由該光源發(fā)射的光不一定用于成像，但可以主要地用于改善人眼在對象和/或周圍環(huán)境中的視覺感知。

在基礎(chǔ)實施方式中，成像區(qū)域的照明僅被優(yōu)化用于檢測圖像分量和圖像處理，尤其用于解混不同的熒光團(tuán)。通常，這類照明對于外科醫(yī)生的視覺印象而言不是最佳的且可以形成低的圖像對比度和非自然的視覺印象。然而，附加的第三照明階段的光譜分布和強(qiáng)度是自由的以優(yōu)化用戶(or中的外科醫(yī)生和醫(yī)務(wù)人員)的整體視覺感知和亮度，如針對所有照明階段所累積感知的。

在第3階段中的照明脈沖短得足以適應(yīng)兩個階段之間的成像傳感器的停滯時間，如圖30所示。通常，停滯時間發(fā)生在將數(shù)據(jù)從傳感器200傳送到控制單元300時。因此需要具有高準(zhǔn)確度的環(huán)境光的短脈沖。如果成像系統(tǒng)以30hz的頻率工作，則脈沖式環(huán)境照明可以以該頻率(即60hz)的雙倍工作。如果環(huán)境照明應(yīng)當(dāng)僅消耗1％的占空比，則脈沖的脈沖寬度應(yīng)當(dāng)大約170μs。如果環(huán)境照明消耗5％的占空比，則附加的照明階段提供更明亮的場以及脈沖式環(huán)境照明持續(xù)時間為800μs。

示例9

在前文描述中，使用具有兩個不同階段的對象照明描述了組合式光譜和時間多路復(fù)用系統(tǒng)的概念。然而，本發(fā)明可以被擴(kuò)展到在更詳盡的成像場景中的其它階段。這些允許例如獲取關(guān)于反射圖像和/或熒光圖像的附加光譜信息。在如下章節(jié)中將詳細(xì)地描述多階段系統(tǒng)的附加示例。

示例9a

在圖31中描述了利用4個光源在4個階段中操作的方法。該示例具有四個不同的光源110、120、130和140以及在多個帶中傳輸光的成像系統(tǒng)200。在圖32中示出了光源的各自的示例性發(fā)射光譜以及成像(檢測)系統(tǒng)200中的光傳輸。所有的四種光的光譜輪廓由多個光譜帶組成。光1和光2的光譜帶與成像系統(tǒng)的光譜衰減帶一致，而光3和光4的光譜帶與成像系統(tǒng)的傳輸帶一致。如圖33所示(照明的時間進(jìn)程)，通過四個光源110、120、130和140在4個階段中按順序照明樣本。在每個階段中，一種光照明對象400。在該特定示例中，光1和光2隨后激發(fā)熒光。成像系統(tǒng)中的濾波器使反射的激發(fā)光衰減，同時傳輸熒光發(fā)射，以及從利用第一光和第二光的照明形成熒光發(fā)射圖像。隨后利用光3和光4照明對象400。光3和光4被對象反射且通過成像系統(tǒng)傳輸以形成反射光?？偣灿涗?個圖像，每個圖像源自于每個照明階段。兩個熒光圖像(當(dāng)利用光1和光2照明時)被處理單元300組合以形成合成熒光圖像，該合成熒光圖像被處理以在光譜上解混熒光分量，以及兩個反射圖像(當(dāng)利用光3和光4照明時)被處理單元300組合以形成合成反射圖像，該合成反射圖像被處理以在光譜上解混反射分量。

假設(shè)每個傳感器具有3個檢測通道(例如標(biāo)準(zhǔn)的rgb照相機(jī))，則在4個階段完成以后，系統(tǒng)記錄來自6個通道的組合的反射圖像和來自6個通道的組合的熒光信息。

存在多階段光譜多路復(fù)用方法的各種替選。每種光的光譜輪廓不需要在光譜上與相鄰光分離，但是可以在光譜上部分重疊，但不相同。唯一的必要條件是指定用于激發(fā)熒光的光應(yīng)當(dāng)在成像系統(tǒng)200的傳輸帶內(nèi)不具有光譜分量。另外，它們不必須按順序來操作，任何次序都是可行的。另一替選可以具有用于激發(fā)的光的不同組合。例如，當(dāng)利用rgb傳感器將一種光用于熒光且將三種光用于反射時，可以組合熒光圖像并將其分解為3個熒光分量和9個反射分量?；蛘弋?dāng)將兩種光用于熒光且將一種光用于反射時，可以組合圖像并將其分解為6個熒光分量和3個反射分量。

示例10

多光譜成像方法和系統(tǒng)可以通過集成到各種成像工具中來實現(xiàn)。在圖34a所示的第一實施方式中，通過將檢測器200與照相機(jī)適配器附接而將多光譜成像系統(tǒng)與作為物鏡的變焦鏡頭291一起使用。照明系統(tǒng)100利用導(dǎo)光管將光傳送到對象。

在圖34b所示的另一實施方式中，檢測系統(tǒng)200連接到手術(shù)顯微鏡292的視頻端口，且照明系統(tǒng)100利用導(dǎo)光管連接到照明端口以通過顯微鏡的物鏡照明對象。

在圖34c所示的另一實施方式中，檢測系統(tǒng)200可選地使用適配器連接到硬式內(nèi)鏡的目鏡端口，以及照明系統(tǒng)100利用導(dǎo)光管連接到照明端口。

在圖34d所示的另一實施方式中，檢測系統(tǒng)200被小型化且被集成到彈性內(nèi)鏡的尖端中，同時照明系統(tǒng)100附接到該內(nèi)鏡的照明端口。

在圖34e所示的另一實施方式中，檢測系統(tǒng)200連接到彈性纖維鏡的照相機(jī)端口，該彈性纖維鏡使用彈性纖維束將圖像從其尖端傳送到其遠(yuǎn)端點，以及照明系統(tǒng)100連接到照明端口。

示例11

在下文中描述本發(fā)明的方法的幾個可行應(yīng)用。

a)應(yīng)用場景：血氧的成像：在下文中通過評估組織上含氧的血紅蛋白與缺氧的血紅蛋白(hbo和hb)相對濃度來使示例性氧飽和成像。由于hbo和hb具有如圖35所示的不同吸收光譜，因此反射光攜帶可記錄在系統(tǒng)中的光譜輪廓信息。通過在光譜上解混多個反射分量，可以生成a)在視覺系統(tǒng)中待顯示的rgb圖像，b)hbo和hb分量的體內(nèi)分布的附加圖。氧飽和圖通過hbo與總的血氧飽和度之間的比率來計算。

b)應(yīng)用場景：癌性病變、解剖特征、或官能條件的檢測

另一設(shè)想的應(yīng)用為使用系統(tǒng)使用于體內(nèi)臨床診斷成像的可注射的熒光造影劑的體內(nèi)分布可視化。這些熒光造影劑可以為無定位的，比如用于突出血管化、血液灌注等的熒光蛋白或吲哚菁綠，或以通過結(jié)合到與組織中的相關(guān)官能或病理活動相關(guān)聯(lián)的分子位點而可利用熒光突出疾病(諸如癌癥)、醫(yī)療狀況(諸如炎癥)、或解剖特征(諸如神經(jīng)和淋巴結(jié))的方式來定位。一個示例為在腦部手術(shù)期間使用5-ala(誘導(dǎo)在癌細(xì)胞中產(chǎn)生原卟啉的化合物)對惡性膠質(zhì)腫瘤成像。這些應(yīng)用可以涉及將發(fā)明方法集成在醫(yī)學(xué)成像系統(tǒng)中，該醫(yī)學(xué)成像系統(tǒng)比如手術(shù)顯微鏡、內(nèi)窺鏡、腹腔鏡、胃窺鏡、氣管鏡、檢眼鏡、眼底照相機(jī)等。

c)應(yīng)用場景：多上報器成像

特別感興趣的是將發(fā)明的實時多光譜成像技術(shù)應(yīng)用在利用雙上報器診斷方法的臨床應(yīng)用中。使用兩個或更多個熒光探針可以提供關(guān)于不同生物標(biāo)記的多樣信息以獲取組織的病理或官能狀態(tài)。不同藥劑(其在解混之后作為圖像分量)的體內(nèi)分布的組合可以增強(qiáng)待成像的目標(biāo)(即病變)的可視化，提高病理特征的檢測敏感度和特異性。

d)應(yīng)用場景：機(jī)器檢查

實時多光譜熒光成像的附加設(shè)想的應(yīng)用場景是關(guān)于機(jī)械檢查。由于內(nèi)部封閉而難以在視覺上檢查的引擎或機(jī)械部分(諸如齒輪)可能具有損害，比如小裂紋。在利用熒光溶液沖洗引擎的內(nèi)部之后，可以使用內(nèi)窺鏡使這些結(jié)構(gòu)缺陷可視化，以在內(nèi)部檢查保持有熒光流體的裂紋的位置。實時多光譜成像可以同時提供顏色反射圖像和熒光圖像。

e)應(yīng)用場景：ph敏感的染料

化學(xué)環(huán)境可以影響熒光染料的發(fā)射或激發(fā)。改變?nèi)玖衔蘸桶l(fā)射特性的這些參數(shù)之一為ph值。

發(fā)射敏感的染料的情況：

優(yōu)選的是，以檢測在光譜上對ph值的變化敏感的信號的方式來優(yōu)化各自濾波器的透射帶。還優(yōu)選的是，具有極大地取決于ph值的檢測通道，而其它大部分對ph值的變化不敏感。

這例如可以通過調(diào)整發(fā)射濾波器頻帶來實現(xiàn)，使得各自測量的熒光帶的中心匹配染料發(fā)射光譜在ph值變化時改變最大的光譜點，或染料發(fā)射光譜最低程度地取決于ph值的光譜點。

激發(fā)敏感染料的情況：

優(yōu)選的是，以檢測在光譜上對ph值的變化敏感的信號的方式來優(yōu)化各自濾波器和光源的激發(fā)帶。還優(yōu)選的是具有激發(fā)帶使得一些檢測通道極大地取決于ph值，而其它通道大部分對ph值的變化不敏感。

激發(fā)濾波器帶應(yīng)當(dāng)被調(diào)整，使得各自帶的中心匹配染料激發(fā)光譜在ph值變化時改變最大的光譜點，或染料激發(fā)光譜最低程度地取決于ph值的光譜點。

以如下這類方式在多光譜上記錄、在光譜上解混和處理記錄的圖像：這些圖像使ph值的空間分布可視化。

f)應(yīng)用場景：通過ppix發(fā)射光譜中的差別來區(qū)分腫瘤浸潤區(qū)和實體腫塊

對于腫瘤診斷，對患者實施5-ala，導(dǎo)致原卟啉ix(ppix)在腫瘤組織中的積累。物質(zhì)ppix既為熒光染料、又為用于光動力治療的藥劑。

ppix的熒光發(fā)射光譜根據(jù)腫瘤內(nèi)部的位置和微環(huán)境來改變。更精確地，相比于實體腫塊，浸潤區(qū)展現(xiàn)不同的熒光發(fā)射光譜?？梢允褂迷摴庾V差別，以便在腫塊和浸潤區(qū)之間區(qū)分。

在620nm和635nm處具有最大值的兩個不同峰值的ppix光譜可以被記錄且利用本發(fā)明的系統(tǒng)來解混。

另外，也可以記錄其它熒光團(tuán)和自發(fā)熒光。

g)應(yīng)用場景：自發(fā)熒光

感興趣的應(yīng)用是內(nèi)在組織自發(fā)熒光的光譜檢測，該自發(fā)熒光為通常在不實施熒光造影劑(例如熒光團(tuán))的情況下所發(fā)射的熒光。組織內(nèi)在的自發(fā)熒光歸因于組織中存在或產(chǎn)生的各個分子，組織諸如nadph、黃素、膠原蛋白、彈性蛋白等。存在、產(chǎn)生、積累或其它濃度屬性被鏈接到各種組織特征，諸如解剖特征、官能特征和病理特征。根據(jù)本發(fā)明的組織自發(fā)熒光的多光譜成像和相關(guān)聯(lián)的化合物的光譜解混可以揭示組織的幫助評估或診斷醫(yī)療狀況的特征或特性。自發(fā)熒光的多光譜成像和解混可以利用系統(tǒng)管理的熒光分子而一起發(fā)生。

h)應(yīng)用場景：視網(wǎng)膜成像

可以通過眼睛使視網(wǎng)膜成像。目前，該成像模式被用在主要出于視網(wǎng)膜本身的診斷目的的臨床實踐中。

眼睛將透明窗口提供給在視網(wǎng)膜血管中直視的主體的血管。利用根據(jù)本發(fā)明的視網(wǎng)膜的多光譜成像和光譜解混，可以識別存在于視網(wǎng)膜中或在其血管中循環(huán)的熒光分子。這些熒光分子可已經(jīng)被系統(tǒng)管理，以自由地循環(huán)或瞄準(zhǔn)細(xì)胞(可能為轉(zhuǎn)移性癌細(xì)胞)、微生物、病毒或分子。多光譜成像和解混可以識別這些物質(zhì)，這些物質(zhì)通?？梢蕴峁╆P(guān)于血液循環(huán)或目標(biāo)的循環(huán)的信息，這可以幫助評估“患者”的官能或病理狀態(tài)。因此可以使用視網(wǎng)膜成像獲得關(guān)于視網(wǎng)膜自身的信息以及還獲得關(guān)于在血液中循環(huán)的化合物的信息。

i)應(yīng)用場景：機(jī)器人手術(shù)

多光譜成像和系統(tǒng)的感興趣應(yīng)用為將其與外科手術(shù)機(jī)器人系統(tǒng)組合。首先，它可以使外科醫(yī)生利用在反射色域中或在(自發(fā))熒光域中關(guān)于組織解剖、官能或疾病的視覺多光譜信息來操作。在第二層面上，可以提供提高機(jī)器人操作的安全性的輸入，例如禁止醫(yī)生意外損傷(即切割)組織(例如神經(jīng))。在第三層面上，它可以直接向自動化的機(jī)器人手術(shù)過程提供輸入和/或反饋，這降低了人員控制或使人員控制最小化。