孔徑掃描傅立葉重疊關(guān)聯(lián)成像的制作方法
【專利說明】孔徑掃描傅立葉重疊關(guān)聯(lián)成像
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求標(biāo)題為"Generalized Ptychographic Imaging with Optical Transfer Function Modulation，'并且于2013年7月31日提交的美國臨時(shí)專利申請?zhí)?1/ 860786和標(biāo)題為"Alternative Optical Implementations for Fourier Ptychographic Microscopy。'并且于2013年8月22日提交的美國臨時(shí)專利申請?zhí)?1/868967的利益，這兩者 W它們的整體并且針對全部目的而通過引用在此并入。
[0003] 發(fā)明背景
[0004] 本文中所描述的某些實(shí)施例總體上涉及成像技術(shù)，并且更具體地，涉及用于傅立 葉重疊關(guān)聯(lián)成像化ourier ptychographic imaging)的方法、設(shè)備和系統(tǒng)。某些實(shí)施例可^ 被在諸如，例如，顯微術(shù)和/或攝影術(shù)的應(yīng)用中使用。
[0005] 范圍從顯微鏡物鏡到基于衛(wèi)星的攝像機(jī)的成像透鏡在物理上受限于它們可^解 析的特征的總數(shù)。這些限制是成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(PSF)大小和整個(gè)它的圖像平面視場 (F0V)的固有像差的函數(shù)。被稱為空間帶寬積，物理限制隨透鏡的尺寸縮放，但通常是^一 千萬像素的階而不管放大倍率或數(shù)值孔徑(NA)。傳統(tǒng)的成像系統(tǒng)的空間帶寬積的討論可W 在Lohmann，A. W.，Dorsch，民.G.，Mendlovic，D .，Zalevsky，Z. feFerreira，C.的（'Space- bandwidth product of optical signals and systems，'，J.Opt.Soc.Am.A. 13,第470-473 頁（1996年）中找到，該文獻(xiàn)通過對于本討論的引用在此并入。盡管傳統(tǒng)的成像系統(tǒng)可^能 夠解析高達(dá)一千萬像素，典型地有在PSF和F0V之間的折衷。例如，某些常規(guī)的顯微鏡物鏡可 ^提供穿過狹窄的F0V(例如，lmm)的輪廓鮮明的PSF(例如，0.5微米），而其它具有寬角度透 鏡的成像系統(tǒng)W模糊的PSF(例如，5微米)的代價(jià)來提供寬的F0V(例如aOmrn)。
[0006]嘗試增加空間帶寬積的某些干涉合成孔徑技術(shù)在Di J.等人的巧igh resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning，'，Appl.Opt.47,第5654-5659頁 (2008) ; Hi 1 Iman，T.R.，Gutzler，T.，Alexandrov，S · A ·和Sampson，D · D ·的（'High- resolution,wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy，'，Opt .Expressl?，第7873-7892頁（2009) ;Granero，L.， Mic0，V.，Zalevsky，Z.和Garcia,J.的('Synthetic aperture superresolved microscopy in digital lensless Fourier holography by time and angular multiplexing of 化e object information，'，Appl .Opt .49,第845-857頁（2010);Kim，M.等人的巧igh-speed synthetic aperture microscopy for live cell imaging，，，0pt.Lett.36,第148-150頁 (2011); Turpin，Τ.，Gesell，L.，Lapides，J.和Price，C.的('Theory of the synthetic aperture microscope，'，第230-240頁；Schwarz，C. J.，Kuznetsova，Y.和Brueck，S.的 ('Imaging interferometric microscopy，，，0ptics letters28,第 1424至 1426頁（2003年）； Feng，P.，Wen，X.和Lu,民.的('Long-working-distance synthetic aperture Fresnel off- axis digital holography，'，0ptics Expressl7,第5473-5480頁（2009年）；Mico，V·， Zalevsky，Z. ，Garcia-Martinez，？.和 Garcia，J.的（'Synthetic aperture superresolution with multiple off-axis holograms，'，JOSA A23，第3162-3170頁 (2006); Yuan，C.，Zhai，H.和Liu，H.的（'Angular multiplexing in pulsed digital holography for aperture syn化esis，'，Optics Letters33,第2356至2358頁（2〇〇 8年）； Mico，V.，Zalevsky，Z.和Garcia, J.的('Synthetic aperture microscopy using off-axis illumination and polarization coding，'，0ptics Communications，第276，209-217頁 (2007年）；Alexandrov，S.和Sampson,D.的('Spatial information transmission beyond a system's diffraction limit using optical spectral encoding of the spatial frequency，'Journal of Optics A:Pure and Applied OpticslO,025304(2008年）； Tippie，A.E.，Kumar，A.和Fienup, J.民.的('High-resolution synthetic-aperture digital holography with digital phase and pupil correction，'，0pt.Express 19,第 12027-12038頁（2011年）；加 tzler，T·，Hillman，T·R·，Alexan虹ov，S·A·和Sampson，D·D·的 ('Coherent aperture-synthesis ,wide-field,hi gh-resolution holographic microscopy of biological tissue，'，0pt.Lett.35,第1136至 1138頁（2010年）；1^及 Alexandrov,S.A.，Hillman，T.民.，Gutzler，T.和Sampson，D.D.的('Synthetic aperture Fourier holographic optical microscopy，，，Phil.Trans.民.Soc.Lond. A 339,第521-553 頁（1992年）中進(jìn)行描述，所有這些文獻(xiàn)都通過對于試圖增加空間帶寬的討論的引用在此并 入。大多數(shù)的上述干涉合成孔徑技術(shù)包括使用諸如離線全息之類的干涉全息和相移全息來 記錄強(qiáng)度和相位信息兩者的設(shè)置。干涉全息有其局限性。例如，干涉全息記錄典型地使用高 相干光源。這樣，所構(gòu)建的圖像典型地遭受相干噪聲源，諸如斑點(diǎn)噪聲、固定圖案噪聲（由來 自塵埃顆粒的衍射和在光束路徑中的其它光學(xué)缺陷引起）?及在不同的光學(xué)接口之間的多 重干涉。因此，圖像質(zhì)量典型地比來自常規(guī)的顯微鏡的更糟。另一方面，使用離軸全息犧牲 了圖像傳感器的空間帶寬積（即，降化了總的像素?cái)?shù)）。某些離軸全息方法的討論可^在 Schnars，U.和Juptner，W.P.O.的('Digital recording and numerical reconstruction of holograms"測量科學(xué)與技術(shù)，13，R85(2002年）中找到，該文獻(xiàn)通過對于本討論的引用在 此并入。此外，干涉成像技術(shù)可^受到在不同的測量之間的不可控的相位波動。因此，可能 需要樣本位置的準(zhǔn)確的先驗(yàn)知識，W設(shè)置在圖像恢復(fù)過程中的參考點(diǎn)。另一個(gè)限制是，這些 干涉成像系統(tǒng)中的許多系統(tǒng)需要機(jī)械掃描^旋轉(zhuǎn)該樣本并且因此精確的光學(xué)對準(zhǔn)、在亞微 米級別的機(jī)械控制和相關(guān)聯(lián)的維護(hù)為這些系統(tǒng)所需要。在空間帶寬積方面，這些干涉成像 系統(tǒng)與傳統(tǒng)的顯微鏡相比可能幾乎不呈現(xiàn)優(yōu)勢。
[0007]先前的諸如數(shù)字同軸全息和接觸成像顯微鏡之類的無透鏡顯微鏡也存在缺點(diǎn)。例 如，傳統(tǒng)的數(shù)字同軸全息沒有很好地用連續(xù)的樣本來工作并且接觸成像顯微鏡需要緊密靠 近傳感器的樣本D某些數(shù)字同軸全息器件的討論可?在Denis，L.，Lorenz，D.，Thiebaut， E.，F(xiàn)ournier，C.和Trede，D .的('Inline hologram reconstruction with sparsity constraints"，0pt.Lett.34,第3475-3477頁（2009年）；Xu，W.，Jericho，M.， Meinertzhagen，I.和Kreuzer，H.的（'Digital in-line holography for biological applications，'，Proc. Natl Acad. Sci ·美國98,第11301-11305頁（2001年）；^及 Greenbaum,A.等人的('Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy，'，Sci .Rep .3,第1717頁（2013)中找到，這些文獻(xiàn)通過對于 本討論的引用在此并入。某些接觸成像顯微鏡的討論可1^在之11611容，6.，Lee，S.A.，Antebi， Υ.,Elowitz,Μ.Β.和Yang,C.的"The ePetri dish,an on-chip cell imaging platform based on subpixel perspective sweeping microscopy(SPSM)''，Proc.Natl Acad.Sci. 美國108，第16889-16894頁（2011年）；^及2}16叫，6.，1^66,5.4.，化叫，5.&￥曰叫，(：.的''5油- pixel resolving optofluidic microscope for on-chip cell imaging''，Lab Chip 10， 第3125-3129頁(2010年）中找到，運(yùn)些文獻(xiàn)通過對于本討論的引用在此并入。
[000引高空間帶寬積在用于諸如數(shù)字病理學(xué)、血液學(xué)、植物解剖學(xué)、免疫組織化學(xué)和神經(jīng) 解剖學(xué)之類的生物醫(yī)學(xué)應(yīng)用的顯微鏡中是非?？扇〉?。例如，在生物醫(yī)學(xué)和神經(jīng)科學(xué)中有 來W數(shù)字方式對大量的組織學(xué)載玻片進(jìn)行成像用于評估的強(qiáng)烈需要。運(yùn)一需求已經(jīng)促使了 精密的機(jī)械掃描和無透鏡顯微鏡系統(tǒng)的發(fā)展。運(yùn)些系統(tǒng)使用具有高精度的復(fù)雜的機(jī)構(gòu)來增 加空間帶寬積，W控制致動、光學(xué)對準(zhǔn)和運(yùn)動跟蹤。運(yùn)些復(fù)雜的機(jī)構(gòu)往往制造很昂貴并且難 于使用和維護(hù)。
[0009] 發(fā)明概述
[0010] 本公開的各方面設(shè)及成像技術(shù)，并且更具體地，設(shè)及用于傅立葉重疊關(guān)聯(lián)成像的 方法、設(shè)備和系統(tǒng)，其可W被在諸如，例如，顯微術(shù)和攝影術(shù)的應(yīng)用中使用。
[0011] 某些方面設(shè)及孔徑-掃描傅立葉重疊關(guān)聯(lián)成像設(shè)備，其包括光學(xué)元件、可W產(chǎn)生在 光學(xué)元件的中間平面上的多個(gè)位置處的孔徑的孔徑掃描儀和可W獲取對于不同孔徑位置 的較低分辨率的強(qiáng)度圖像的檢測器，W及其中，較高分辨率的復(fù)合圖像可W通過用所獲取 的較低分辨率的圖像迭代地更新在傅立葉空間中的區(qū)域來進(jìn)行構(gòu)建。
[0012] 在一些方面，孔徑-掃描傅立葉重疊關(guān)聯(lián)成像設(shè)備包括第一光學(xué)元件和第二光學(xué) 元件，其中第一光學(xué)元件被配置成接收來自樣本的光。該設(shè)備還包括被配置成產(chǎn)生在中間 平面中的多個(gè)孔徑位置處的孔徑的孔徑掃描儀，所述孔徑被配置成將來自第一光學(xué)元件的 在所述孔徑處的入射光傳遞至第二光學(xué)元件。該設(shè)備還包括被配置成接收來自第二光學(xué)元 件的光并且獲取與不同孔徑位置相關(guān)聯(lián)的多個(gè)強(qiáng)度圖像的福射檢測器。該設(shè)備還包括被配 置成通過用所獲取的強(qiáng)度圖像迭代地更新在傅立葉空間中的區(qū)域來構(gòu)建樣本的復(fù)合圖像 的處理器。
[0013] 在一些方面，孔徑-掃描傅立葉重疊關(guān)聯(lián)成像方法包括照射樣本，在第一光學(xué)元件 處接收來自所述樣本的入射光，產(chǎn)生在中間平面上的多個(gè)位置處的孔徑，將來自所述第一 光學(xué)元件的在所述孔徑處的入射光傳遞至所述第二光學(xué)元件。該方法還包括使用接收來自 第二光學(xué)元件的光的檢測器來獲取多個(gè)強(qiáng)度圖像，W及通過用所述多個(gè)強(qiáng)度圖像迭代地更 新在傅立葉空間中的區(qū)域來構(gòu)建所述樣本的復(fù)合圖像。
[0014] 運(yùn)些和其它特征在下面參照有關(guān)的附圖更詳細(xì)地進(jìn)行描述。
[0015] 附圖簡述
[0016] 圖1示出傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖，帶有在中間平面上的光學(xué)傳 遞函數(shù)調(diào)制。
[0017] 圖2A和2B是孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖。
[0018] 圖3A是孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖。
[0019] 圖3B是可W在某些孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)中被實(shí)現(xiàn)的空間光調(diào)制器 的顯示的橫截面視圖的示意圖。
[0020] 圖4是包括了 DMD陣列的孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖。
[0021] 圖5是包括了 DMD陣列的孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖。
[0022] 圖6是包括了 LC0S陣列的孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的視圖的示 意圖。
[0023] 圖7是孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的組件的示意圖。
[0024] 圖8是由孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)執(zhí)行的孔徑-掃描傅立葉重疊關(guān)聯(lián)成 像方法的流程圖。
[0025] 圖9是帶有數(shù)字波前校正的孔徑-掃描傅立葉重疊關(guān)聯(lián)成像方法。
[0026] 圖9A是圖8的方法的一個(gè)或多個(gè)步驟的子步驟的一個(gè)示例的流程圖。
[0027] 圖9B是圖8的方法的一個(gè)或多個(gè)步驟的子步驟的另一示例的流程圖。
[0028] 圖10是根據(jù)某些方面的帶有貼片成像的孔徑掃描傅立葉重疊關(guān)聯(lián)成像方法的流 程圖。
[0029] 圖11是可W存在于孔徑-掃描傅立葉重疊關(guān)聯(lián)成像系統(tǒng)的子系統(tǒng)的框圖。
[0030] 發(fā)明詳述
[0031] 本發(fā)明的實(shí)施例將在下面參照附圖進(jìn)行描述。在附圖中所示出的特征可W不是按 比例繪制的。
[0032] I.簡介
[0033] 傅立葉重疊關(guān)聯(lián)成像實(shí)現(xiàn)了使用角度分集來恢復(fù)復(fù)合樣本圖像的相位復(fù)原技術(shù)。 該恢復(fù)過程包括在空間域中的已知樣本信息的交替執(zhí)行和在傅立葉域中的固定約束。相位 復(fù)原恢復(fù)可W被使用交替的投影算法的任何變型、該問題的凸的改寫或者在二者之間的任 何非凸的變型來實(shí)現(xiàn)。不是對樣本進(jìn)行橫向移位（即應(yīng)用平移分集），傅立葉重疊關(guān)聯(lián)成像 使用在傅立葉域中的掃描頻譜約束，來將傅立葉通帶擴(kuò)展到單個(gè)所捕獲的圖像的通帶W 夕hW恢復(fù)增強(qiáng)分辨率的復(fù)合樣本圖像。
[0034] 某些可變角度光照傅立葉重疊關(guān)聯(lián)成像系統(tǒng)使用可變光照源（例如，L抓陣列）來 對被從不同的照射角度連續(xù)地成像的樣本進(jìn)行照射。諸如低數(shù)值孔徑的物鏡透鏡之類的光 學(xué)元件對來自樣本的光進(jìn)行過濾。一種福射檢測器接收來自該光學(xué)元件的經(jīng)過濾的光，并 且在每個(gè)照射角度捕獲樣本的強(qiáng)度圖像。多分辨率圖像可W被迭代地在傅立葉域中拼接在 一起，W恢復(fù)該圖像的較高分辨率的圖像。一些可變角度光照傅立葉重疊關(guān)聯(lián)成像系統(tǒng)、設(shè) 備W及方法的細(xì)節(jié)可W在題為"Fourier Ptychogra地ic Imaging Systems,Devices,and Methods"并且于2013年10月28日提交的美國專利申請序列號14/065280中和在題為 "Fourier Ptychographic X-ray Imaging Systems .Devices,and Methods" 的美國專利申 請序列號14/065305中找到，運(yùn)些文獻(xiàn)通過對于運(yùn)些細(xì)節(jié)的引用在此并入。
[0035] 在一些方面，本文中所描述的某些傅立葉重疊關(guān)聯(lián)成像系統(tǒng)包括孔徑掃描儀，其 可W生成在光學(xué)裝置的中間平面上的數(shù)量為N的多個(gè)孔徑位置處的孔徑。例如，孔徑可W在 與樣本平面共輛的傅立葉平面上被產(chǎn)生。在一些情況下，福射檢測器接收來自樣本的由在 不同位置處的孔徑所調(diào)制的光，并且獲取對應(yīng)于不同的孔徑位置的數(shù)量為Μ的多個(gè)強(qiáng)度圖 像。Μ個(gè)強(qiáng)度圖像可W被在頻域中合成W恢復(fù)樣本的復(fù)合的、增強(qiáng)分辨率的圖像。在一個(gè)方 面，在光學(xué)系統(tǒng)中的光學(xué)像差和不對準(zhǔn)可W被通過模擬退火來估計(jì)并且校正。
[0036] 在某些方面，孔徑掃描