本發(fā)明涉及計(jì)算攝像學(xué)領(lǐng)域，特別涉及一種基于微透鏡陣列的熒光樣本層析顯微成像方法。

背景技術(shù)：

目前，大多熒光顯微三維成像利用的是共聚焦顯微鏡或雙光子、多光子顯微鏡，逐點(diǎn)掃描采集熒光樣本，形成不同深度下的圖像。但這些方法存在兩方面缺點(diǎn)。第一，所需激發(fā)光較強(qiáng)，容易造成熒光漂白，而且強(qiáng)光照射可能損傷樣本細(xì)胞或組織結(jié)構(gòu)；第二，對熒光樣本特定深度成像需要逐點(diǎn)掃描，時(shí)間效率低。因此，上述方法不適用于光敏熒光樣本和生物樣本，而且成像速度慢，不能記錄動態(tài)場景。

寬視場顯微鏡則不同，其光通量大，在較弱激發(fā)光下即能成像，而且每個(gè)深度可以直接成像，相比前述方法成像速度快。但利用寬場顯微鏡獲得熒光圖像存在如下問題：激發(fā)光不但激發(fā)了樣本位于物鏡焦平面處熒光標(biāo)記，也激發(fā)了不在物鏡焦平面的熒光標(biāo)記，因此，成像傳感器每個(gè)像素點(diǎn)光強(qiáng)是焦平面上熒光強(qiáng)度和非焦平面熒光強(qiáng)度以及噪聲疊加，每個(gè)深度獲得圖像分辨率比前述方法分辨率低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題之一或至少提供一種有用的商業(yè)選擇。

為此，本發(fā)明的一個(gè)目的在于提出一種基于微透鏡陣列的層析顯微成像方法。該方法適用熒光樣本范圍廣，成像速度快，計(jì)算重建后，樣本不同深度圖像能夠消除非焦面模糊影響。

本發(fā)明的另一個(gè)目的在于提出一種基于微透鏡陣列的層析顯微成像系統(tǒng)。

為了實(shí)現(xiàn)上述目的，本發(fā)明的第一方面的實(shí)施例公開了一種基于微透鏡陣列的層析顯微成像方法，包括以下步驟：通過顯微鏡的相機(jī)引出口將顯微樣本放大到第一像平面，其中，所述顯微鏡為寬視場熒光顯微鏡；第一組合透鏡根據(jù)所述第一像平面生成滿足后級要求的第二像平面；微透鏡陣列對所述第二像平面進(jìn)行光學(xué)調(diào)制，將第二像平面上不同角度光線調(diào)制到微透鏡后不同空間位置；第二組合透鏡將經(jīng)過所述微透鏡陣列調(diào)制的圖像互不重疊且無空隙地送到成像傳感器；成像傳感器記錄經(jīng)前級調(diào)制后的熒光樣本圖像。

在一些示例中，所述通過顯微鏡的相機(jī)引出口將顯微樣本放大到第一像平面，包括：通過對熒光顯微樣本在z軸上的移動或物鏡的移動，實(shí)現(xiàn)對熒光樣本不同深度成像。

在一些示例中，對顯微鏡輸出的熒光圖像，以衍射極限分辨率通過微透鏡陣列或其他強(qiáng)度或相位調(diào)制。

在一些示例中，還包括：通過解卷積重建手段消除非焦面信號影響。

本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像方法通過在像面加入微透鏡陣列調(diào)制，對每次成像采用反卷積計(jì)算消除非焦面信號影響，即利用寬場顯微鏡高倍物鏡，將輸出的樣本熒光圖像分辨率極限放大到與微透鏡匹配尺寸，然后通過微透鏡陣列調(diào)制，將不同角度光線對應(yīng)到空間不同位置，再通過光學(xué)器件調(diào)整每個(gè)微透鏡對應(yīng)傳感器上像素范圍，實(shí)現(xiàn)微透鏡陣列后圖像不重不漏，然后利用反卷積方法，消除非焦面信息影響，計(jì)算重建出焦平面圖像。優(yōu)點(diǎn)在于激發(fā)光源功率低，可應(yīng)用于光敏樣本和生物樣本成像，減少熒光漂白和對樣本的損傷；成像速度快，可以普通寬場顯微鏡焦堆棧成像速度實(shí)現(xiàn)可以與掃描的共聚焦顯微鏡比擬的成像質(zhì)量。

本發(fā)明第二方面的實(shí)施例公開了一種基于微透鏡陣列的層析顯微成像系統(tǒng)，包括：顯微鏡，所述顯微鏡為寬視場熒光顯微鏡，通過所述顯微鏡的相機(jī)引出口將顯微樣本放大到第一像平面；第一組合透鏡，用于根據(jù)所述像平面生成滿足后級要求的第二像平面；微透鏡陣列，用于對所述第二像平面進(jìn)行光學(xué)調(diào)制，將第二像平面上不同角度光線調(diào)制到微透鏡后不同空間位置；第二組合透鏡，用于將經(jīng)過微透鏡陣列調(diào)制的圖像互不重疊且無空隙地送到成像傳感器；成像傳感器，用于記錄經(jīng)前級調(diào)制后的熒光樣本圖像。

在一些示例中，通過對熒光顯微樣本在z軸上的移動或物鏡的移動，實(shí)現(xiàn)對熒光樣本不同深度成像。

在一些示例中，對顯微鏡輸出的熒光圖像，以衍射極限分辨率通過微透鏡陣列或其他強(qiáng)度或相位調(diào)制。

在一些示例中，通過解卷積重建手段消除非焦面信號影響。

本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像系統(tǒng)通過在像面加入微透鏡陣列調(diào)制，對每次成像采用反卷積計(jì)算消除非焦面信號影響，即利用寬場顯微鏡高倍物鏡，將輸出的樣本熒光圖像分辨率極限放大到與微透鏡匹配尺寸，然后通過微透鏡陣列調(diào)制，將不同角度光線對應(yīng)到空間不同位置，再通過光學(xué)器件調(diào)整每個(gè)微透鏡對應(yīng)傳感器上像素范圍，實(shí)現(xiàn)微透鏡陣列后圖像不重不漏，然后利用反卷積方法，消除非焦面信息影響，計(jì)算重建出焦平面圖像。優(yōu)點(diǎn)在于激發(fā)光源功率低，可應(yīng)用于光敏樣本和生物樣本成像，減少熒光漂白和對樣本的損傷；成像速度快，可以普通寬場顯微鏡焦堆棧成像速度實(shí)現(xiàn)可以與掃描的共聚焦顯微鏡比擬的成像質(zhì)量。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明的上述的和/或附加的方面和優(yōu)點(diǎn)結(jié)合下面附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像方法的流程圖；

圖2為本發(fā)明實(shí)施例的熒光樣本成像光路圖；

圖3為本發(fā)明實(shí)施例的前向投影模型；

圖4為本發(fā)明實(shí)施例的傳感器采集到圖像；

圖5為本發(fā)明實(shí)施例的解卷積計(jì)算生成圖像；

圖6為本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像系統(tǒng)的示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。

本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像方法主要包括以下步驟：

1)熒光顯微樣本圖像序列的采集。利用本發(fā)明提出的成像系統(tǒng)，通過調(diào)整顯微物鏡和樣本間相對距離，使樣本不同深度處于焦平面，然后利用成像光路上加入微透鏡陣列調(diào)制，實(shí)現(xiàn)不同角度光線與傳感器上不同空間位置間對應(yīng)關(guān)系。采集過程完成后，即可獲得樣本不同深度下，經(jīng)微透鏡陣列調(diào)制后的圖像序列。

2)獲取成像點(diǎn)擴(kuò)展函數(shù)。成像點(diǎn)擴(kuò)展函數(shù)既可以利用成像系統(tǒng)參數(shù)理論計(jì)算獲得。也可以利用尺寸適當(dāng)?shù)臒晒馕⑶蜃鳛闊晒鈽颖?，采集其在不同聚焦位置上的成像序列，用該圖像序列中熒光微球的像作為系統(tǒng)點(diǎn)擴(kuò)展函數(shù)。還可以直接采用盲反卷積的算法，在迭代計(jì)算焦面圖像的同時(shí)生成點(diǎn)擴(kuò)展函數(shù)。

3)熒光樣本焦面圖像反卷積重建。首先利用1)獲得的圖像序列，2)計(jì)算的成像三維點(diǎn)擴(kuò)展函數(shù)，通過反卷積迭代計(jì)算消除非焦面影響。如果采用盲解卷積算法，將理論計(jì)算擴(kuò)散函數(shù)作為初始值，然后在迭代過程中實(shí)現(xiàn)焦面圖像和點(diǎn)擴(kuò)散函數(shù)同步收斂。

本發(fā)明方法的優(yōu)點(diǎn)在于相比現(xiàn)有共聚焦顯微鏡，結(jié)構(gòu)簡單，成本低廉；同時(shí)，本發(fā)明需要的激發(fā)光功率較低，可以最大限度減少激光對光敏樣本、生物樣本的破壞；而且，本發(fā)明成像過程不需要逐點(diǎn)掃描，成像速度快。另外，此方法反卷積重建過程在普通pc機(jī)或工作站等硬件系統(tǒng)上即可實(shí)現(xiàn)。

具體而言，本發(fā)明提出的基于微透鏡陣列的層析顯微成像方法，圖像序列采集過程如圖1所示，并結(jié)合圖2至圖6，包括以下幾個(gè)部分：

1)熒光顯微鏡。采用zeiss公司生產(chǎn)的axioobserverz1熒光顯微鏡，100倍放大、數(shù)值孔徑1.3的硅油物鏡。熒光顯微鏡可以調(diào)節(jié)顯微樣本在z軸上的位置，采用激光光源激發(fā)樣本熒光，并將樣本熒光圖像送到顯微鏡成像接口。

2)透鏡組合1(第一組合透鏡)。透鏡組合1將顯微鏡輸出的圖像分辨率與微透鏡尺寸匹配。顯微鏡輸出圖像位于透鏡組合1前焦面上。

3)微透鏡陣列。微透鏡陣列實(shí)現(xiàn)將空間不同角度光線調(diào)制到微透鏡后不同空間位置上。采用rpcphotonics公司的100微米尺寸微透鏡，微透鏡焦距2.8毫米，數(shù)值孔徑約為100μm/(2*2.8mm)＝0.017，陣列尺寸50.8×50.8mm²。

4)透鏡組合2(第二組合透鏡)。透鏡組合2將經(jīng)過微透鏡陣列調(diào)制后的像面變換到與成像傳感器ccd尺寸匹配的像面。

5)成像傳感器。成像傳感器用來記錄熒光樣本經(jīng)過微透鏡陣列調(diào)制后的圖像，實(shí)現(xiàn)光線角度與傳感器上像素位置間對應(yīng)關(guān)系。采用andorzyla4.2相機(jī)。

本實(shí)例中，采用100倍放大，數(shù)值孔徑為1.3的硅油物鏡，熒光波長取550納米，通過電控載物臺軸向移動樣本實(shí)現(xiàn)樣本逐層掃描。在上述參數(shù)下，衍射極限分辨率為：

透鏡組合1前焦面和顯微輸出口鏡像面重合。為實(shí)現(xiàn)極限分辨率經(jīng)過微透鏡放大，將不同角度光線調(diào)制到不同空間位置，極限分辨率要和微透鏡尺寸匹配，同時(shí)考慮奈奎斯特采樣率要求，透鏡組合1需要將圖像放大7.70倍。

微透鏡陣列位于透鏡組合1后焦面上。由于圖像經(jīng)透鏡組合1再次放大，考慮后級傳感器不能容納整個(gè)視場，需要犧牲視場范圍。本實(shí)例采用每個(gè)微透鏡后對應(yīng)25個(gè)像素，由于傳感器分辨率為2048*2048，其視場范圍為53μm×53μm，如果將微透鏡后對應(yīng)像素減少為9個(gè)，視場范圍擴(kuò)大到66μm×66μm。為消除視場外信號影響，可以加入光闌將其屏蔽。以本實(shí)例參數(shù)計(jì)算，光闌直徑為2048/(5*2)*150＝30.72mm也可以在透鏡組合1之前加入光闌，此時(shí)光闌直徑為2048/(5*2)*0.0259＝5.31mm。由于每個(gè)微透鏡陣列對應(yīng)25個(gè)像素，單個(gè)像素尺寸為20μm。

透鏡組合2前焦面和微透鏡陣列后焦面重合。經(jīng)過微透鏡陣列調(diào)制后的圖像，再經(jīng)過透鏡組合2縮小，實(shí)現(xiàn)微透鏡后像素尺寸與ccd像素尺寸一致。由于傳感器像素尺寸為6.45μm，透鏡組合2需要將圖像縮小3.1倍。

傳感器位于透鏡組合2后焦面上，實(shí)現(xiàn)調(diào)制后圖像采集。本實(shí)施例采用軸向移動載物臺方式，使樣本逐層進(jìn)入物鏡前焦面，實(shí)現(xiàn)整個(gè)樣本逐層成像。

解卷積計(jì)算過程主要利用前向投影模型和反向投影模型迭代消除非焦面信號。解卷積算法將成像過程看作樣本各深度與對應(yīng)層點(diǎn)的擴(kuò)散函數(shù)卷積累加的過程。三維點(diǎn)擴(kuò)散函數(shù)采用gibsonlanni模型理論計(jì)算獲得。將采集到圖像列向量化為樣本空間體素列向量化為測量矩陣為h。前向模型為樣本到圖像的投影過程，可表示為：f＝hg。測量矩陣h中元素hij反映了體素i對像點(diǎn)j的貢獻(xiàn)，實(shí)質(zhì)上就是體素i點(diǎn)擴(kuò)散函數(shù)在傳感器j處的值，因此h矩陣每列對應(yīng)一個(gè)體素的點(diǎn)擴(kuò)散函數(shù)。由于采用歸一化點(diǎn)擴(kuò)散函數(shù)，每列和為1。前向投影過程如圖3所示。

測量矩陣h第j行可看作樣本空間各體素對像素j的權(quán)系數(shù)向量。相應(yīng)地，測量矩陣h第i列可看作各像素點(diǎn)對體素i的權(quán)系數(shù)向量。因此，反向投影模型可表示為：g=h^tf，反映了像面各點(diǎn)到各體素對應(yīng)關(guān)系。

一般地，傳感器接收到光子服從泊松分布。設(shè)采集到圖像為背景噪聲

為b，則有

由于泊松分布是對數(shù)凹函數(shù)，取對數(shù)后變化為凸問題，采用梯度下降法，可得到迭代解：

g^(k+1)＝diag(h^t1)^-1diag(h^tdiag(hg^(k)+b)^-1f)g^(k)。

由于微透鏡陣列位于像面上，且以極限分辨率采樣，僅交匯于焦面位置的光線不同角度被映射到微透鏡后不同空間位置，解卷積運(yùn)算，不同空間位置采用不同的點(diǎn)擴(kuò)散函數(shù)。因而解卷積迭代過程僅能恢復(fù)出焦面信號，而消除非焦面影響。對樣本逐層圖像解卷積重建，即可得到熒光樣本層析顯微三維圖像。

如圖6所示，本發(fā)明實(shí)施例的基于微透鏡陣列的層析顯微成像系統(tǒng)，包括：顯微鏡，所述顯微鏡為寬視場熒光顯微鏡，通過所述顯微鏡的相機(jī)引出口將顯微樣本放大到第一像平面；第一組合透鏡(透鏡組合1)，用于根據(jù)所述像平面生成滿足后級要求的第二像平面；微透鏡陣列，用于對所述第二像平面進(jìn)行光學(xué)調(diào)制，將第二像平面上不同角度光線調(diào)制到微透鏡后不同空間位置；第二組合透鏡(透鏡組合2)，用于將經(jīng)過微透鏡陣列調(diào)制的圖像互不重疊且無空隙地送到成像傳感器；成像傳感器，用于記錄經(jīng)前級調(diào)制后的熒光樣本圖像。

本發(fā)明的實(shí)施例，通過在像面加入微透鏡陣列進(jìn)行調(diào)制，對每次成像采用反卷積計(jì)算消除非焦面信號影響，即利用寬場顯微鏡高倍物鏡，將輸出的樣本熒光圖像分辨率極限放大到與微透鏡匹配尺寸，然后通過微透鏡陣列調(diào)制，將不同角度光線對應(yīng)到空間不同位置，再通過光學(xué)器件調(diào)整每個(gè)微透鏡對應(yīng)傳感器上像素范圍，實(shí)現(xiàn)微透鏡陣列后圖像不重不漏，然后利用反卷積方法，消除非焦面信息影響，計(jì)算重建出焦平面圖像。優(yōu)點(diǎn)在于激發(fā)光源功率低，可應(yīng)用于光敏樣本和生物樣本成像，減少熒光漂白和對樣本的損傷；成像速度快，可以普通寬場顯微鏡焦堆棧成像速度實(shí)現(xiàn)可以與掃描的共聚焦顯微鏡比擬的成像質(zhì)量。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多的用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨的情況下在本發(fā)明的范圍內(nèi)可以對上述實(shí)施例進(jìn)行變化、修改、替換和變型。