本發(fā)明涉及基于FPM的立體顯微系統(tǒng)和配套三維面形高分重構(gòu)方法，屬于顯微成像、立體圖形學(xué)、微納結(jié)構(gòu)表面形貌檢測(cè)領(lǐng)域。

背景技術(shù)：

Fourier ptychographic microscopy(FPM)是一種通過(guò)對(duì)照明光進(jìn)行調(diào)制進(jìn)而實(shí)現(xiàn)圖像超分辨重建的顯微成像技術(shù)。成像平臺(tái)的空間帶寬積(Space bandwidth product,SBP)通常受其光場(chǎng)系統(tǒng)參數(shù)的制約，而SBP由下式計(jì)算得到

SBP＝S×res²

其中S代表成像平臺(tái)有效工作面積，res代表橫向分辨率(pixel/mm)。在系統(tǒng)SBP固定的情況下，若想獲得高分辨率圖像就需要縮小成像平臺(tái)有效工作面積，即減小系統(tǒng)的視場(chǎng)大小。而FPM算法可以在不改變成像光學(xué)系統(tǒng)的前提下，通過(guò)計(jì)算重構(gòu)的方式得到大視場(chǎng)、高分辨率的圖像，突破成像平臺(tái)的物理限制。

但目前研究表明，使用FPM算法進(jìn)行大視場(chǎng)高分辨率成像時(shí)有一個(gè)必要的前提條件，那就是假設(shè)待測(cè)樣品是一個(gè)二維薄物體，因?yàn)橹挥袑?duì)二維薄物體進(jìn)行傾斜照明時(shí)，才相當(dāng)于平移它的二維頻譜，對(duì)于一個(gè)三維厚物體這條性質(zhì)將不再適用。因此常規(guī)的FPM算法并不能直接應(yīng)用于物體的表面三維形貌檢測(cè)中。

光場(chǎng)顯微鏡是基于光場(chǎng)成像理論的顯微裝置，通過(guò)在常規(guī)商用顯微鏡的中間像面加入一個(gè)微透鏡陣列以實(shí)現(xiàn)入射光輻射空間信息和角度信息的采集。光場(chǎng)顯微鏡可以通過(guò)單次曝光，利用重聚焦算法恢復(fù)出被測(cè)物不同深度面的深度斷層切片圖像，進(jìn)而重構(gòu)出被測(cè)物體的三維形貌。但由于在光信息采集過(guò)程中，光場(chǎng)顯微鏡是通過(guò)犧牲空間分辨率來(lái)得到角度分辨率信息，因此重構(gòu)出的三維形貌信息往往橫向分辨率較差。

基于FPM的光場(chǎng)顯微方法(CN104181686A)，是一種結(jié)合FPM算法和光場(chǎng)顯微成像的新型顯微方法，其利用FPM算法獲取高分辨率廣視野圖像后，利用光場(chǎng)成像理論的相關(guān)技術(shù)恢復(fù)出被測(cè)物體的三維結(jié)構(gòu)。但由于該發(fā)明首先利用FPM算法來(lái)獲得高分光場(chǎng)圖像，因此其被測(cè)對(duì)象必須為二維薄樣本才能滿足FPM算法的先驗(yàn)假設(shè)，對(duì)于具有一定厚度差的三維物體不能有較好的三維結(jié)構(gòu)恢復(fù)功能。且該發(fā)明實(shí)施例中搭建的顯微平臺(tái)為透射式照明，照明部分和顯微部分位于被測(cè)物體兩側(cè)，對(duì)于生物細(xì)胞等透射樣本觀察性能較好，但對(duì)于金屬或陶瓷等非全透射樣本觀察性能較差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決光場(chǎng)顯微系統(tǒng)橫向分辨率較差以及能夠提高分辨率的FPM算法不能直接用于三維物體面形重構(gòu)的問(wèn)題，提供一種基于FPM的立體顯微系統(tǒng)和配套三維面形高分重構(gòu)方法。

本發(fā)明的目的是通過(guò)下述技術(shù)方案實(shí)現(xiàn)的。

基于FPM的立體顯微系統(tǒng)，包括：旁軸照明系統(tǒng)，其具有對(duì)被測(cè)物體發(fā)射平行光束照明，可以根據(jù)需求進(jìn)行不同的角度調(diào)制的功能；光學(xué)顯微系統(tǒng)，其采集經(jīng)上述旁軸照明系統(tǒng)發(fā)射并被被測(cè)物體反射出的光輻射，并進(jìn)行放大成像；光場(chǎng)成像系統(tǒng)，其利用上述常規(guī)光學(xué)顯微系統(tǒng)輸出的實(shí)像二次成像形成具有被測(cè)物體不同視角或方向信息的光場(chǎng)子圖像集；圖像采集及處理系統(tǒng)，其利用上述光場(chǎng)成像系統(tǒng)所成的光場(chǎng)子圖像集轉(zhuǎn)換為圖像信號(hào)進(jìn)行圖像處理。

所述旁軸照明系統(tǒng)包括LED陣列和控制平臺(tái)，以及空間光調(diào)制器。

光學(xué)顯微系統(tǒng)為在常規(guī)商用顯微物鏡組的基礎(chǔ)上加入中繼透鏡組，能夠有效避免常規(guī)商用顯微物鏡組中孔徑光闌對(duì)于照明光路的遮擋。

光場(chǎng)成像系統(tǒng)為微透鏡陣列。

基于FPM的立體顯微系統(tǒng)的配套三維面形高分重構(gòu)方法，具體步驟如下：

步驟一、利用旁軸照明系統(tǒng)對(duì)照明光進(jìn)行調(diào)制，使光源發(fā)射單方向指定角度的平行光束照明被測(cè)物體；

步驟二、利用顯微成像系統(tǒng)采集被測(cè)物體的光場(chǎng)子圖像集

步驟三、利用重聚焦算法對(duì)步驟二采集的光場(chǎng)子圖像集進(jìn)行處理，得到不同深度的深度斷層切片數(shù)據(jù)集

步驟四、利用旁軸照明系統(tǒng)對(duì)照明光進(jìn)行調(diào)制，改變平行光束角度，重復(fù)步驟二和三，得到不同照明光束下，不同深度的深度斷層切片數(shù)據(jù)集其中i＝2,…M，j＝2,…N，M、N為旁軸照明系統(tǒng)兩個(gè)橫向方向的最大可調(diào)制數(shù)；

步驟五、對(duì)步驟四得到的數(shù)據(jù)集根據(jù)不同的深度進(jìn)行分離，對(duì)每一個(gè)相同深度的數(shù)據(jù)集利用FPM算法進(jìn)行高分重構(gòu)，對(duì)步驟三的切片數(shù)據(jù)集和步驟四的切片數(shù)據(jù)集進(jìn)行整合處理，獲得高分辨率三維形貌數(shù)據(jù)。

有益效果

1、本發(fā)明利用基于光場(chǎng)成像和FPM算法的方法設(shè)計(jì)了一套可用于三維物體表面形貌重構(gòu)的測(cè)量系統(tǒng)。該系統(tǒng)可基于現(xiàn)有商用顯微系統(tǒng)改造得到，儀器推廣性較強(qiáng)，可利用低放大倍率顯微物鏡得到大視場(chǎng)高分辨率的三維重構(gòu)圖像。采用旁軸式照明方式，適用測(cè)量對(duì)象廣，可對(duì)于金屬、陶瓷等非透射樣本進(jìn)行觀測(cè)。

2、本發(fā)明所提出的三維結(jié)構(gòu)高分辨率重構(gòu)方法，對(duì)于被測(cè)物體的軸向厚度具有較強(qiáng)的適應(yīng)性，可用于三維被測(cè)物體的面形重構(gòu)。針對(duì)FPM算法局限性和光場(chǎng)成像優(yōu)勢(shì)，通過(guò)光場(chǎng)重聚焦算法將系統(tǒng)所記錄到的光輻射立體信息分割到不同的深度面斷層切片，將三維被測(cè)物體轉(zhuǎn)換成了多個(gè)二維薄樣本，從而創(chuàng)造了使用FPM算法的前提條件。利用FPM算法提高了每個(gè)深度面的分辨率，從而突破了光學(xué)系統(tǒng)的物理限制，豐富了采集到的光場(chǎng)信息，使物體能重建出更高分辨率的三維結(jié)構(gòu)。

附圖說(shuō)明

圖1為立體顯微系統(tǒng)進(jìn)行三維重構(gòu)的示意圖；

圖2為本發(fā)明所提出的立體顯微成像系統(tǒng)的示意圖；

圖3為本發(fā)明所提出的立體顯微成像系統(tǒng)的光路圖；

圖4為L(zhǎng)ED陣列及其控制平臺(tái)的裝置圖；

圖5為基于空間光調(diào)制器的照明系統(tǒng)示意圖；

圖6為三維重構(gòu)方法的工作流程圖；

圖7為光場(chǎng)重聚焦算法的流程圖；

圖8為FPM算法的流程圖。

其中，1—被測(cè)物體，2—物鏡，3—第一分束鏡，4—照明光源，5—聚光透鏡，6—中繼透鏡組，7—孔徑光闌，8—鏡筒透鏡，9—微透鏡陣列，10—圖像傳感器，11—平行光管，12—擴(kuò)束鏡，13—空間光調(diào)制器，14—第二分束鏡。

具體實(shí)施方式

下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

實(shí)施例1

本發(fā)明所提出的三維結(jié)構(gòu)高分辨率重構(gòu)方法，如圖1中所示，其特征在于，使用基于FPM算法和光場(chǎng)顯微術(shù)的新型顯微系統(tǒng)來(lái)采集光場(chǎng)信息，通過(guò)光場(chǎng)重聚焦算法將系統(tǒng)所記錄到的光輻射立體信息分割到不同的深度面斷層切片，將三維被測(cè)物體轉(zhuǎn)換成了多個(gè)二維薄樣本，從而創(chuàng)造了使用FPM算法的前提條件。利用FPM算法提高了每個(gè)深度面的分辨率，從而突破了光學(xué)系統(tǒng)的物理限制，豐富了采集到的光場(chǎng)信息，使物體能重建出更高分辨率的三維結(jié)構(gòu)。

圖2是用來(lái)表示本發(fā)明實(shí)施方式適用的立體顯微系統(tǒng)的概括結(jié)構(gòu)的框圖。與該圖2所示的框圖相對(duì)應(yīng)，使用圖3對(duì)本發(fā)明實(shí)施方式所使用的立體顯微進(jìn)行詳細(xì)說(shuō)明。

與如圖2所示的立體顯微系統(tǒng)相關(guān)的部分包括：旁軸照明系統(tǒng)、光學(xué)顯微系統(tǒng)、光場(chǎng)成像系統(tǒng)、圖像采集及處理系統(tǒng)。

旁軸照明系統(tǒng)采用落射式照明結(jié)構(gòu)，照明光投射到被測(cè)物體上，經(jīng)被測(cè)物體吸收并反射后進(jìn)入光學(xué)顯微系統(tǒng)放大成像于其后焦面位置。所成實(shí)像經(jīng)過(guò)光場(chǎng)成像系統(tǒng)二次成像于圖像采集系統(tǒng)傳感器靶面，轉(zhuǎn)換為圖像信號(hào)后送入圖像處理系統(tǒng)進(jìn)行圖像處理。

圖3是表示本發(fā)明實(shí)施方式使用的立體顯微系統(tǒng)的光學(xué)結(jié)構(gòu)的光路圖。其與圖2概略表述的立體顯微系統(tǒng)所具有的分系統(tǒng)的對(duì)應(yīng)關(guān)系如下所示。

旁軸照明系統(tǒng)發(fā)射照明光，經(jīng)過(guò)聚光透鏡5會(huì)聚和第一分束鏡3折轉(zhuǎn)后形成等效理想點(diǎn)光源于物鏡2的后焦面處，通過(guò)物鏡2形成平行光照明被測(cè)物體1。經(jīng)被測(cè)物體1反射的光通過(guò)由物鏡2、第一分束鏡3、中繼透鏡組6、孔徑光闌7和鏡筒透鏡8組成的光學(xué)顯微系統(tǒng)，再通過(guò)由微透鏡陣列9構(gòu)成的光場(chǎng)成像系統(tǒng)后，光束被圖像傳感器10接收轉(zhuǎn)化為電信號(hào)。

作為實(shí)施方式的一種形式，旁軸照明系統(tǒng)可以采用基于LED陣列的方案。如圖3中所示，旁軸照明系統(tǒng)由照明光源4、聚光透鏡5、第一分束鏡3和物鏡2組成。照明光源4采用如圖4中所示的LED陣列及控制平臺(tái)，LED陣列上單個(gè)LED發(fā)出經(jīng)過(guò)聚光透鏡5發(fā)生會(huì)聚，并通過(guò)第一分束鏡3反射后在物鏡形成共軛像，共軛像的位置與發(fā)光的LED在LED陣列上的相對(duì)位置有關(guān)。由于物鏡2的后焦面與聚光透鏡5的前焦面重合，而LED的共軛像可等效為理想點(diǎn)光源，經(jīng)過(guò)物鏡2后形成斜入射且角度與位置相關(guān)的平行光束對(duì)被測(cè)物體1進(jìn)行照明。

作為實(shí)施方式的另一種形式，旁軸照明系統(tǒng)可以采用基于空間光調(diào)制器的方案。如圖4中所示，旁軸照明系統(tǒng)由平行光管11、擴(kuò)束鏡12，空間光調(diào)制器13，第二分束鏡14、聚光透鏡5和第一分束鏡3組成。平行光管11發(fā)出平行出射的非相干光束，經(jīng)過(guò)擴(kuò)束鏡12調(diào)整光束孔徑并經(jīng)過(guò)第二分束鏡14反射后照射到空間光調(diào)制器13上?？臻g光調(diào)制器可以對(duì)光輻射的強(qiáng)度進(jìn)行調(diào)制，根據(jù)需求選擇需要“點(diǎn)亮”的區(qū)域，“點(diǎn)亮”區(qū)域反射平行光束進(jìn)入系統(tǒng)，經(jīng)過(guò)會(huì)聚透鏡5和第一分束鏡3形成可等效為理想點(diǎn)光源的像，經(jīng)過(guò)物鏡2后形成斜入射且角度與空間光調(diào)制器上“點(diǎn)亮”區(qū)域位置相關(guān)的平行光束對(duì)被測(cè)物體1進(jìn)行照明。

商用顯微物鏡在設(shè)計(jì)過(guò)程中，通常會(huì)將其孔徑光闌面選在主鏡和鏡筒透鏡之間的中間像面上。本發(fā)明的實(shí)施例中，由于旁軸照明系統(tǒng)的存在，照明光源會(huì)在原顯微物鏡空間面形成等效理想點(diǎn)光源像照明被測(cè)物體，因此若采用常規(guī)設(shè)置，孔徑光闌面會(huì)遮擋部分照明光。同時(shí)，顯微物鏡為了獲取高放大倍數(shù)，焦距一般較短，而實(shí)施方式中，后續(xù)的光場(chǎng)成像系統(tǒng)中微透鏡陣列為低放大倍數(shù)透鏡，與顯微物鏡F數(shù)不匹配，因此采用常規(guī)設(shè)計(jì)思路，微透鏡不能與顯微物鏡進(jìn)行良好的配合。

如圖3中所示，作為本發(fā)明實(shí)施方式的一種形式，光學(xué)顯微系統(tǒng)在常規(guī)商用顯微物鏡組的基礎(chǔ)上加入了中繼透鏡組6，將孔徑光闌7選在中繼透鏡組后，有效地避免了常規(guī)設(shè)計(jì)中孔徑光闌對(duì)于照明光路的遮擋作用。鏡筒透鏡8的焦距通常選取在160～250mm之間，取決于后續(xù)微透鏡陣列9和圖像傳感器10的尺寸。

作為實(shí)施方式的一種形式，光場(chǎng)成像系統(tǒng)由微透鏡陣列9組成。在實(shí)施方式中，微透鏡陣列置于光學(xué)顯微系統(tǒng)的像面處或附近。每個(gè)微透鏡在圖像平面上生成實(shí)像，且每個(gè)子圖像對(duì)應(yīng)被測(cè)物體的不同視角或方向。任何兩個(gè)子圖像之間的差異性記錄了被測(cè)物體的角度和空間信息。

為了保證圖像傳感器像元的最大利用率，相鄰微透鏡的子圖像應(yīng)在邊界處相切，即滿足關(guān)系式

式中，f/d為微透鏡的焦距除以其孔徑大小，即微透鏡的F數(shù)，而a/D為光學(xué)顯微系統(tǒng)的像距除以其孔徑光闌口徑，即常規(guī)光學(xué)顯微系統(tǒng)的F數(shù)。

圖像采集及處理系統(tǒng)包括由圖像傳感器10組成的圖像采集部分和計(jì)算平臺(tái)構(gòu)成的圖像處理部分。在實(shí)施方式中，如果微透鏡陣列中單元的數(shù)量為M₁×N₁，每個(gè)微透鏡覆蓋的圖像傳感器像元為M₂×N₂，那么圖像傳感器的有效靶面像元至少為M₁M₂×N₁N₂。

圖6是表示基于本發(fā)明實(shí)施方式適用的三維重構(gòu)的流程圖。包括以下步驟：

1、對(duì)照明光進(jìn)行調(diào)制，產(chǎn)生指定角度平行光。照明光的產(chǎn)生可以但不限于利用如圖3或圖4中所示的結(jié)構(gòu)。

2、采集圖像。由于系統(tǒng)在光學(xué)顯微系統(tǒng)后插入了光場(chǎng)成像系統(tǒng)，圖像傳感器采集到的是光場(chǎng)圖像，即由微透鏡陣列各個(gè)微透鏡單元所成像的集合。

3、將采集的光場(chǎng)圖像根據(jù)微透鏡分割成子圖像集。

4、利用重聚焦算法對(duì)子圖像集進(jìn)行處理得到深度斷層切片數(shù)據(jù)集。圖6示出了一種光場(chǎng)重聚焦算法的實(shí)施流程，參照?qǐng)D7，應(yīng)用重聚焦算法得到斷層深度切片數(shù)據(jù)集包括下列步驟：

[1]根據(jù)系統(tǒng)參數(shù)進(jìn)行虛擬針孔面參數(shù)設(shè)計(jì)；

[2]根據(jù)被測(cè)物體和系統(tǒng)參數(shù)估算重構(gòu)深度的范圍；

[3]將子圖像集中每個(gè)子圖像經(jīng)過(guò)針孔面后逆向投影到重構(gòu)平面；

[4]將投影后的子圖像在重構(gòu)平面上進(jìn)行疊加；

[5]對(duì)疊加后的圖像進(jìn)行歸一化；

[6]改變重構(gòu)平面深度，重復(fù)步驟[3]至步驟[5]。

5、改變照明光角度，重復(fù)步驟2至步驟4。

6、將步驟5得到的不同角度下的深度斷層切片數(shù)據(jù)集按照重構(gòu)平面的深度不同進(jìn)行重新分組。

7、對(duì)不同深度的切片數(shù)據(jù)集進(jìn)行FPM算法處理。圖8示出了一種FPM算法的實(shí)施流程，參照?qǐng)D8，應(yīng)用FPM算法得到斷層深度切片數(shù)據(jù)集包括下列步驟：

[1]選取一幀斷層切片圖像作為空域初值；

[2]對(duì)空域初值插值并進(jìn)行傅里葉變換得到頻域初值；

[3]計(jì)算物鏡在頻域的孔徑表達(dá)式和不同照明角度下，物鏡孔徑在頻域面的位移坐標(biāo)(f_xi,f_yj)，其中i∈(1,M),j∈(1,N)，M，N分別對(duì)應(yīng)光源橫縱方向上角度可調(diào)節(jié)數(shù)；

[4]物鏡頻域面孔徑按位移坐標(biāo)(f_xi,f_yj)移動(dòng)；

[5]將物鏡孔徑作為窗口函數(shù)，在頻域初值中選取子孔徑并對(duì)子孔徑進(jìn)行傅里葉變換；

[6]將位移坐標(biāo)對(duì)應(yīng)的重聚焦圖像替換步驟[5]中得到圖像的幅值；

[7]替換后的結(jié)果進(jìn)行傅里葉變換后替換頻域初值中相關(guān)區(qū)域的數(shù)值；

[8]按照i,j的范圍依次選取不同的子孔徑，重復(fù)步驟[4]至步驟[7]；

[9]重復(fù)步驟[4]至步驟[8]一到三次得到穩(wěn)定結(jié)果。

8、對(duì)獲取的高分深度切片數(shù)據(jù)集進(jìn)行三維形貌信息提取。