相關(guān)聯(lián)的波矢量(kxi,kyi)為中心。 在該實例中,多個N個低分辨率圖像與以在傅立葉空間中的多個N個入射角度為中心的多 個N個區(qū)域相關(guān)聯(lián)。
[0093] 在傅立葉空間中,重疊面積相鄰區(qū)域可以共享在其上它們對相同的傅立葉域數(shù)據(jù) 進行采樣的重疊的區(qū)域。在傅立葉空間中的相鄰區(qū)域之間的重疊面積可基于相應的入射角 度的值確定。在大多數(shù)實施方式中,設計N個入射角使得在傅立葉空間中的相鄰區(qū)域由一 定量的重疊面積重疊。例如,可設計N個入射角的值以生成一定量的重疊面積,用于在恢復 過程中更快收斂到高分辨率的解。在一個實施方式中,相鄰區(qū)域之間的重疊面積可具有區(qū) 域之一的面積的2%到99. 5%的范圍內(nèi)的面積。在另一個實施方式中,相鄰區(qū)域之間的重 疊面積可具有區(qū)域之一的面積的65%到75%的范圍內(nèi)的面積。在另一個實施方式中,相鄰 區(qū)域之間的重疊面積可具有區(qū)域之一的面積的約65%的面積。
[0094] 圖1A的FPI系統(tǒng)10還包括計算設備200,其包括處理器210 (例如,微處理器)、 CRM220(例如,存儲器)和顯示器230。圖像顯示器230和CRM220通信地耦合到處理器 210。在其它實施方式中,計算設備200可以是與FPI系統(tǒng)10分尚的設備。該計算設備200 可以以各種形式,諸如,例如,智能電話、筆記本計算機、臺式計算機、平板計算機等。本領(lǐng)域 的一個技術(shù)人員將預期各種形式的計算設備。
[0095] 處理器210 (例如,微處理器)可執(zhí)行存儲在CRM220的指令以執(zhí)行FPI系統(tǒng)10 的一個或更多個功能。例如,處理器210可執(zhí)行指令以執(zhí)行FPI方法的恢復過程的一個或 更多個步驟。作為另一個實例,處理器210可執(zhí)行用于照射可變照射器的光元件的照射指 令。作為另一個實例,處理器210可執(zhí)行存儲在CRM220上的指令以執(zhí)行FPI系統(tǒng)的一個 或更多個其它功能10,諸如,例如,1)解譯來自多個低分辨率圖像的圖像數(shù)據(jù),2)從圖像數(shù) 據(jù)產(chǎn)生高分辨率圖像,以及3)在顯示器230上顯示來自FPI方法的一個或更多個圖像或其 它輸出。
[0096]CRM(例如,存儲器)220可存儲用于執(zhí)行FPI系統(tǒng)10的功能中的一些功能的指令。 指令是可由處理器210或FPI系統(tǒng)10的其它處理組件執(zhí)行的。CRM220也可存儲低分辨率 圖像和高分辨率的圖像以及由FPI系統(tǒng)10產(chǎn)生的其它數(shù)據(jù)。
[0097] FPI系統(tǒng)10還包括與處理器210電子通信的顯示器230以接收數(shù)據(jù)(例如,圖像 數(shù)據(jù)),并提供輸出數(shù)據(jù)(例如,圖像)到FPI系統(tǒng)10的操作者。圖像顯示器230可以是彩 色顯示器或黑白顯示器。此外,該顯示器230可以是二維顯示器或三維顯示器。在一個實 施方式中,顯示器230可能夠顯示多個視圖。
[0098]FPI系統(tǒng)10或FPI設備100可進行修改、添加或省略,而不脫離本公開內(nèi)容的范 圍。此外,F(xiàn)PI系統(tǒng)10或FPI設備100的組件可根據(jù)特定需要集成或分離。例如,計算設 備200或其組件可集成到FPI設備100。在一些實施方式中,處理器210或其它適當?shù)奶幚?器可以是FPI設備100的一部分。在某些情況下,處理器210可集成到輻射檢測器140,使 得輻射檢測器140執(zhí)行處理器210的功能。作為另一實例,在某些情況下可從FPI系統(tǒng)10 省略CRM220和/或顯示器230。
[0099]II.FPI設備配置
[0100] 在某些實施方式中,F(xiàn)PI設備(例如,圖2A的FPI設備100(a)和圖3的FPI設備 100(b))可配置用于使用特定類型的輻射。例如,圖2A的FPI設備100(a)可特別適合使用 可見光、Terahertz、和/或微波福射。作為另一實例,圖4A的FPI設備100(c)可特別適合 使用X射線輻射。
[0101] 圖2A是根據(jù)本發(fā)明的實施方式的FPI設備100(a)的組件的側(cè)視圖示意圖。FPI 設備100 (a)包括可變照射器110 (a),其包括多個N個以二維矩陣格式布置的固定的光元 件。在圖示的實例中,第i個光元件112提供從入射角度(0/,0/)的照射。雖然圖2A示 出了具有10X10矩陣的光元件112的可變照射器110(a),但是在其它實施例方案中可使用 其它尺寸。此外,雖然圖2A示出了等間距的光元件112,但是在其它實施方式中可使用其它 間距。可變照射器110 (a)還包括X'軸、y'軸(未示出)和z'軸。如圖所示,固定的光元 件112沿X'方向和y'方向延伸。
[0102] FPI設備100 (a)還包括光學元件130 (a)(例如,物鏡)和具有感測表面142的輻 射檢測器140(a)。雖然在距離光學元件130(a)的一定距離處示出了輻射檢測器140,但是 輻射檢測器140可以可選地位于光學元件130(a)。FPI設備100(a)還包括在z= 0的焦 點對準平面122和在z=Z(l的采樣平面124。FPI設備100 (a)包括在焦點對準平面122中 的x軸和y軸(未示出)以及正交于焦點對準平面122的z軸。FPI設備100 (a)還包括在 可變照射器110 (a)和采樣平面124之間的距離d。在圖示的實例中,樣本20已經(jīng)定位在樣 本表面126用于成像。在其它實施方式中,樣本20可在其它位置用于成像目的。
[0103] 在圖2A中,在測量過程中,在特定的采樣時間&示出FPI設備100(a)。在采樣 時間第i個光元件110在與(0 0yi)的入射角度相關(guān)聯(lián)的波矢量k^kyi提供入射照 射。光學元件130(a)接收和過濾從樣本20發(fā)出的光。在輻射檢測器140(a)的感測表面 142接收由光學元件130(a)過濾的光。輻射檢測器140(a)感測經(jīng)過濾的光的強度分布, 并捕獲低分辨率強度圖像。雖然在單一采樣時間h示出FPI設備100(a),但是該FPI設備 100(a)可在與N個入射角度(0丄0/)(1 = 1到N)相關(guān)聯(lián)的多個N個采樣時間ti=iaN 運行,以捕獲N個低分辨率二維強度圖像。
[0104] 在某些實施方式中,F(xiàn)PI系統(tǒng)10的組件可以以模塊化相識放置與常規(guī)顯微鏡或其 它常規(guī)成像設備的組件進行通信以將常規(guī)設備轉(zhuǎn)變成FPI系統(tǒng)10。圖2B是根據(jù)本發(fā)明的 實施方式的帶模塊化形式組件的FPI系統(tǒng)10的照片。FPI系統(tǒng)10包括FPI設備100(a)。 在頂部照片中,F(xiàn)PI設備100(a)包括已放置與Olympus?BX41顯微鏡組件進行通信的模 塊化組件,以將常規(guī)顯微鏡的這些組件轉(zhuǎn)變?yōu)镕PI系統(tǒng)10。作為這種模塊化方面的實例,F(xiàn)PI設備100(a)包括可編程的二維LED矩陣,其已放置在樣本臺下面用于照射??删幊潭?維LED矩陣包括多個光元件112。圖2C是圖2B的FPI設備100(a)的可變照射器110(a) 的光元件112中的一個的照片。該光元件112是LED,其可提供紅色、綠色和藍色照射。作 為圖示的實例的模塊化方面的另一實例,圖2B中的FPI設備110(a)包括以CCD照相機形 式的輻射檢測器140 (a)。在圖2B中,F(xiàn)PI設備100 (a)還包括以2X、0. 08的NA物鏡的形式 的帶有〇丨>'丨1^1丨^8乂41顯微鏡的光學元件130(&)。2乂物鏡的視場數(shù)是26.5。在采樣平 面的FPI設備100(a)的視場直徑是13. 25mm。處理器210可以與可變照射器110(a)進行 電子通信和/或通過導線201到輻射檢測器140 (a)。
[0105] 在圖2B中,已將樣本20提供給在切片202上的FPI設備100(a)。使用來自光元 件112的紅色照射、綠色照射和藍色照射,在這種情況下,可變照射器110(a)的LED、FPI設 備100的輻射檢測器可以在測量過程期間獲得紅色低分辨率強度圖像、綠色低分辨率強度 圖像和藍色低分辨率強度圖像。計算設備200可通過迭代地結(jié)合在傅立葉空間中的低分辨 率測量結(jié)果,以計算方式重構(gòu)樣本區(qū)域的高分辨率和寬視場的彩色圖像。在一種情況下,處 理器210可以計算方式重構(gòu)高分辨率和寬視場的紅色、綠色和藍色圖像,且然后結(jié)合圖像 以產(chǎn)生彩色圖像。
[0106]FPI設備110 (a)不要求用于經(jīng)變化照射的掃描機械裝置。其它實施方式可包括掃 描機械裝置。例如,圖3中的FPI設備110(b)具有機械裝置150,其可以是掃描機械裝置。 作為另一實例,圖4A中的FPI設備110(c)具有機械裝置160,其可以是掃描機械裝置。
[0107] 圖3是根據(jù)本發(fā)明的實施方式的FPI設備100(b)的組件的側(cè)視圖示意圖。FPI設 備100 (b)包括可變照射器110 (b),其包括沿X'方向(沿X'軸的方向)和沿y'方向(沿 y'軸的方向)移動(例如,掃描的)到多個N個位置的光元件112??勺冋丈淦?10(b)還 包括X'軸、y'軸和Z'軸。在圖示中,光元件112已經(jīng)從沿X'方向的法向入射位置(0/ = 〇, 0/=〇)移動到在(0xi=-h,0 /=0)提供照射的位置。使用機械裝置150(例如,光 柵掃描器)移動光元件112。
[0108]FPI設備100(b)還包括光學元件130(b)和具有感測表面142的輻射檢測器 140(b)。雖然在距離光學元件130(b)的一定距離處示出了輻射檢測器140(b),但是輻射 檢測器140 (b)可任選地位于光學元件130 (b)。FPI設備100 (b)還包括在z= 0的焦點對 準平面122和在z=Z(l的采樣平面124。FPI設備100 (b)包括在焦點對準平面122中的x 軸和y軸(未示出)以及正交于焦點對準平面122的z軸。FPI設備100 (b)還包括在可變 照射器110(b)和采樣平面124之間的距離d。在圖示的實例中,樣本20已經(jīng)定位在樣本表 面126用于成像。在其它實施方式中,樣本20可在其它位置用于成像目的。
[0109] 在圖3中,在測量過程中在采樣時間ti示出光元件112提供照射。光學元件130(b) 過濾其接收的光。在輻射檢測器140 (b)的感測表面142接收由光學元件130 (b)過濾的光。 輻射檢測器140(b)感測經(jīng)過濾的光的強度分布,并捕獲樣本區(qū)域的低分辨率強度圖像。雖 然在單一采樣時間h示出FPI設備100(b),但是該FPI設備100(b)可在與N個入射角度 (9/,9/)(i= 1到N)相關(guān)聯(lián)的多個N個采樣時間ti=iaN運行以捕獲N個低分辨率二維 強度圖像。在實施方式中,其中在圖3中示出的FPI設備100(b)使用X射線輻射,光元件 112包括X射線源。
[0110] 圖4A是根據(jù)本發(fā)明的實施方式的FPI設備100(c)的組件的側(cè)視圖示意圖。FPI 設備100(c)包括具有固定光元件112的可變照射器110(c)、光學元件130(c)、具有感測表 面142的輻射檢測器140 (c)、和機械裝置160 (例如,掃描機械裝置)。在圖示的實例中,已 經(jīng)將樣本20提供到FPI設備100 (c)用于成像。
[0111] 在圖4A中,機械裝置160移動組件170,其包括光學元件130(c)、輻射檢測器 140 (b)和相對于固定光元件112的樣本20,以從多個N個入射角度提供照射。機械裝置 160可平移和/或旋轉(zhuǎn)組件170。例如,組件170可安裝在測角器上,滿足將允許組件作為 整體相對于光元件112旋轉(zhuǎn)??勺冋丈淦?10(c)還包括X'軸、y'軸和z'軸。
[0112] 雖然在距離光學元件130(c)的一定距離處示出了輻射檢測器140(c),但是輻射 檢測器140 (c)可任選地位于光學元件130 (c)。FPI設備100 (c)還包括在z= 0的焦點對 準平面122和在z=Z(l的采樣平面124。FPI設備100 (c)包括在焦點對準平面122中的x 軸和y軸(未示出)以及正交于焦點對準平面122的z軸。FPI設備100 (c)還包括在可變 照射器110(c)和采樣平面124之間的距離d。
[0113] 在圖4A中,在測量過程中在采樣時間&示出光元件112提供照射。光學元件 130(c)接收和過濾從樣本20發(fā)出的光。在輻射檢測器140(c)的感測表面142接收由光學 元件130(c)過濾的光。輻射檢測器140(c)感測經(jīng)過濾的光的強度分布,并捕獲區(qū)域的低 分辨率強度圖像。雖然在單一采樣時間h示出FPI設備100(c),但是該FPI設備100(c) 可在與N個入射角度(0/,0/)(1 = 1到N)相關(guān)聯(lián)的多個N個采樣時間ti= iaN運行以 捕獲N個低分辨率二維強度圖像。
[0114] 圖4B是根據(jù)本發(fā)明的實施方式的FPI設備100(d)的組件的側(cè)視圖示意圖。FPI 設備100(d)包括具有通過轉(zhuǎn)動它來移動的光元件112的可變照射器110(d)、光學元件 130(b)和具有傳感表面142的輻射檢測器140(b)。盡管未示出,也可包括機械裝置以旋轉(zhuǎn) 光元件112。在圖示的實例中,已經(jīng)將樣本20提供到FPI設備100(d)用于成像。在一些情 況下,光元件112可以是激光器。
[0115] 在圖4B中,通過旋轉(zhuǎn)它來移動光元件112,其在(0/,0/)提供照射。在圖4B中, 在測量過程中在采樣時間h示出光元件112提供照射。光學元件130(d)接收和過濾從樣 本20發(fā)出的光。在輻射檢測器140(b)的感測表面142接收由光學元件130(b)過濾的光。 輻射檢測器140(b)感測經(jīng)過濾的光的強度分布,并捕獲該區(qū)域的低分辨率強度圖像。雖 然在單一采樣時間h示出FPI設備100(d),但是該FPI設備100(d)可在與N個入射角度 (9/,9/)(i= 1到N)相關(guān)聯(lián)的多個N個采樣時間ti=iaN運行以捕獲N個低分辨率二維 強度圖像。
[0116]III?示例性的FPI方法
[0117] 在實施方式中,F(xiàn)PI方法包括測量過程、恢復過程和可選的顯示過程。在測量過程 中,使用可變照射器從多個入射角度照射樣本,光學元件過濾從樣本發(fā)出的光,且輻射檢測 器基于經(jīng)過濾的光捕獲多個低分辨率強度圖像。在恢復過程中,通過傅立葉逆變換獲得的 每個低分辨率圖像的強度和在傅立葉空間中的高分辨率重構(gòu)的濾波被低分辨率強度測量 替換,并迭代更新在傅立葉空間中的高分辨率重構(gòu)的相應區(qū)域。在恢復過程中,基于多個N 個低分辨率強度圖像,可以計算方式重構(gòu)樣本的高分辨率圖像。在可選的顯示過程中,將圖 像和其它輸出提供給顯示器220。
[0118] 圖5A根據(jù)本發(fā)明的實施方式包括FPI方法的測量過程(中)和恢復過程(右手 偵D的示意性表示。在測量過程期間,從不同的入射角度照射樣本,并獲得對應于這些入射 角度的低分辨率強度圖像。由在圖5A的中間部分中的圖像的布置來表示多個低分辨率強 度圖像的獲得。在恢復過程期間,基于來自測量過程的低分辨率強度測量結(jié)果來恢復一個 或更多個高分辨率、寬視場圖像。由在圖5A的右手邊上的兩個圖像來表示恢復過程,其中 基于低分辨率強度測量結(jié)果來恢復高分辨率強度圖像數(shù)據(jù)和相位圖像數(shù)據(jù)兩者。圖5B(1)、 5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和 5B(9)是由圖 5A中引入的FPI方法獲 得137個測量結(jié)果的九個低分辨率測量結(jié)果。在圖5B(12)中示出了在傅立葉空間中與低 分辨率圖像相關(guān)聯(lián)的對應的區(qū)域。在恢復過程期間,這些區(qū)域在傅立葉空間中更新以重構(gòu) 全F0V高分辨率復雜圖像。在圖5A的右手邊示出且在圖5B(10)和5B(11)中也示出了恢 復的高分辨率強度圖像和相位圖像。
[0119] 在某些實施方式中,F(xiàn)PI方法可在兩個工作域之間交替:空間(x-y)域和傅立葉 (kx-ky) ±或,其中k表示波數(shù)。
[0120] 在某些實施方式中,F(xiàn)PI方法可使用斜入射的概念,其提供了由帶波矢量〇〇,k/) 的傾斜平面波照射的樣本20 (例如,薄的樣本)相當于在傅立葉域中通過(kx,ky)移位圖像 頻譜的中心。根據(jù)斜入射,在傅里葉域中的低分辨率圖像從法向入射偏移(kx,ky),其對應 于由可變照射器施加的入射角度。
[0121] 在某些實施方式中,F(xiàn)PI方法可提供,在傅立葉空間中的光學元件的濾波函數(shù)(即 相干光學傳遞函數(shù))是具有嫩乂1^半徑的圓形光瞳,其中1^=2 31/^是在真空中的波數(shù)。 即,F(xiàn)PI方法可在由光學元件的這種過濾函數(shù)定義的傅立葉空間圓形區(qū)域中更新。在這些 實施方式中,F(xiàn)PI方法使用該過濾函數(shù)以省略此區(qū)域外的圖像數(shù)據(jù)。
[0122] 在某些實施方式中,樣本20可放置在z=Z(l的采樣平面124,其中光學元件的焦 點對準平面122位于z= 0的位置。換句話說,所捕獲的圖像不是在樣本輪廓本身的樣本 圖像;它是由在光學元件的焦點對準平面的-zo距離傳播的樣本輪廓。在這些實施方式中, FPI方法可通過zQ距離返回到采樣平面124來數(shù)字地重聚焦傳播圖像數(shù)據(jù)的樣本20,而無 需在z方向機械地移動樣本。這些傳播步驟可通過乘以在傅立葉空間中的相位因子來執(zhí) 行。這些步驟可擴展FPI系統(tǒng)10的焦點的成像深度,并校正光學元件的色差。
[0123] 圖6A是根據(jù)本發(fā)明的實施方式的由FPI系統(tǒng)10執(zhí)行的FPI方法的流程圖。該 FPI方法包括測量過程(步驟1100、1200和1300)、恢復過程(步驟1400和1500)以及可 選的顯示過程(步驟1600)。在圖示的FPI方法的示例及其相關(guān)聯(lián)的描述中,下標"h"指的 是高分辨率,下標"1"指的是低分辨率,下標"f"指的是焦點對準位置,下標"m"指的是測 量的,且下標"s"指的是采樣的。
[0124] 在步驟1100,可變照射器在N個采樣時間提供從多個N個入射角((0丄0/),i =1...N)到樣本區(qū)域的照射。在大多數(shù)情況下,恢復過程假設了平面波照射??勺冋丈淦?可根據(jù)定義照射角度順序的照射指令提供照射。在x方向和y方向的波矢量可表示為kxi 和kyi。在某些情況下,可變照射器可在不同的采樣時間提供不同波長的照射。例如,針對 彩色成像實施方式,可變照射器110可提供分別對應于紅色、綠色、藍色的三個波長Ap入2 和A3的RGB照射。
[0125] 在步驟1200,光學元件(例如,低NA顯微鏡物鏡)過濾其接收的光。例如,光學元 件可過濾從樣本20發(fā)出的光。光學元件可以是物鏡,其根據(jù)其數(shù)值孔徑(NA)通過接受在 入射角度的范圍內(nèi)的光來過濾光。在一些情況下,該光學元件可以是常規(guī)顯微鏡的低NA物 鏡(例如,2X、0.08NA物鏡)。
[0126] 在步驟1300,輻射檢測器接收來自光學元件的經(jīng)過濾的光的投影,并捕獲在N個 采樣時間hiaN的每個的快照強度分布測量結(jié)果以獲得多個N個低分辨率強度圖像。由 輻射檢測器采樣的每個低分辨率強度圖像與傅立葉空間中的區(qū)域相關(guān)聯(lián)。在許多實施方式 中,在步驟1100,可變照射器提供從一定入射角度的照射以生成傅立葉空間中鄰近區(qū)域之 間的重疊面積。在一個實施方式中,可變照射器提供照射,以提供區(qū)域之一的面積的2%到 99. 5%的臨近區(qū)域之間的重疊面積。在另一個實施方式中,可變照射器提供照射,以提供區(qū) 域之一的面積的65%到75%的臨近區(qū)域之間的重疊面積。在一個實施方式中,可變照射器 提供照射,以提供區(qū)域之一的面積的約65%的臨近區(qū)域之間的重疊面積。
[0127] 在步驟1400和1500中,可根據(jù)在步驟1300捕獲的多個N個低分辨率強度分布測 量結(jié)果ihG^,ky0 (由它們的照射波矢量k^kyi索引,,其中i= 1,2, . . . .N)以計算方式 重構(gòu)樣本區(qū)域的高分辨率圖像。
[0128] 在步驟1400中,高分辨率圖像:在空間域中初始化,且將傅立葉變換應用 到初始值,以獲得初始化的傅立葉變換的圖像。初始化的高分辨率的解可以是初始猜測。 該初始猜測可基于樣本位于離焦點對準平面z=Z(l的假設來決定。在一些情況下,可將初 始猜測確定為隨機復矩陣(對于強度和相位兩者)。在其它情況下,可將初始猜測確定為具 有隨機相位的低分辨率強度測量結(jié)果的內(nèi)插。初始猜測的實例是4 = 〇以及從樣本區(qū)域的 任何低分辨率圖像內(nèi)插的Ih。初始猜測的另一個實例是恒定值。初始猜測的傅立葉變換可 以是在傅里葉域中的廣譜。
[0129] 在步驟1500,通過使用FPI系統(tǒng)10的處理器210迭代組合在傅立葉空間中的低分 辨率強度測量結(jié)果以計算方式重構(gòu)該樣本區(qū)域的高分辨率圖像。
[0130] 在可選步驟1600,顯示器230可接收圖像數(shù)據(jù)(諸如高分辨率圖像數(shù)據(jù))到 和/或來自處理器210的其它數(shù)據(jù),并在顯示器230上顯示數(shù)據(jù)。
[0131] 圖6B是根據(jù)本發(fā)明的實施方式的圖6A的步驟1500的子步驟的流程圖。在該圖示 的實例中,步驟1500包括步驟1510、步驟1530、步驟1550、步驟1560、步驟1570、步驟1580、 以及步驟1590。步驟1500可任選地包括步驟1520和1540。如果樣本20焦點沒對準的量 為,則可執(zhí)行任選的步驟1520和1540。
[0132] 在步驟1510,處理器210執(zhí)行在傅里葉域中的高分辨率圖像#%的低通過濾以 針對帶波矢量(kAk^的特定平面波入射角度(0^,eyi)產(chǎn)生低分辨率圖像高分 辨率圖像的傅立葉變換是且針對特定的平面波的入射角度的低分辨率圖像的傅立葉變 換是]^。在傅里葉域中,F(xiàn)PI方法從高分辨率圖像的頻譜過濾低通區(qū)域。在用以物 鏡形式的光學元件的情況下,該區(qū)域是具有NA*、的半徑圓形孔徑,其中k^等于2Jr/X(在 真空中的波數(shù))(由物鏡的相干傳遞函數(shù)給定)。在傅立葉