專利名稱：一種微觀光場(chǎng)采集與三維重建方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)和信號(hào)處理領(lǐng)域，具體涉及一種微觀光場(chǎng)采集與三維 重建方法及裝置。
背景技術(shù)：
以三維形式觀察、分析和理解細(xì)胞等微觀樣本的組織結(jié)構(gòu)是國(guó)內(nèi)外專家學(xué)者的研 究熱點(diǎn)，微觀光場(chǎng)采集與三維重建可以實(shí)現(xiàn)微觀樣本的三維成像及可視化。目前，可以實(shí)現(xiàn)微觀樣本三維成像及可視化的光學(xué)成像系統(tǒng)主要包括體式顯微成 像系統(tǒng)、3D-X射線顯微成像系統(tǒng)和共焦顯微成像系統(tǒng)。其中，體式顯微成像系統(tǒng)利用雙目鏡 筒中左右兩光束不并行產(chǎn)生的體式角，為左右兩眼提供具有立體感的圖像，該種顯微成像 系統(tǒng)產(chǎn)生的放大倍率不如常規(guī)顯微成像系統(tǒng)，主要用于工業(yè)用途，且由于集中適應(yīng)性沖突 (convergence-accommodation conflict)而容易弓I起人體視覺疲勞。3D-X射線顯微成像系統(tǒng)需要使用X射線做光源，對(duì)樣本損傷很大，且由于需要樣 本在工作臺(tái)上旋轉(zhuǎn)，采集幾百到上千幅圖像用于三維建模，一般需要半小時(shí)到一小時(shí)左右， 再加上后期三維建模時(shí)間，整體耗時(shí)很長(zhǎng)。共焦顯微成像系統(tǒng)是目前最為普遍使用的科研型顯微鏡，其成像系統(tǒng)利用物鏡和 探測(cè)器之間的針孔裝置，確保只有聚焦平面的光子才能通過針孔，順利到達(dá)探測(cè)器，極大減 少了非聚焦平面的光線對(duì)所成圖像的模糊影響。由于共焦裝置具有很強(qiáng)的層析能力，因而 可以直接獲得清晰的三維微觀樣本圖像，并且可以檢測(cè)到樣本內(nèi)部很深的位置，尤其適合 檢測(cè)晶胚等厚組織樣本。但是共焦顯微成像系統(tǒng)有很多限制1)價(jià)格及其昂貴，一般為幾十萬美元。2)針孔裝置使得探測(cè)器探測(cè)到的光子數(shù)量及其微少，因而圖像對(duì)比度遠(yuǎn)不如寬場(chǎng) 顯微成像系統(tǒng)。3)針孔裝置的使用決定每次只能對(duì)樣本的一個(gè)點(diǎn)進(jìn)行聚焦成像，即使有更加先進(jìn) 的針孔裝置出現(xiàn)，可以同時(shí)對(duì)多個(gè)點(diǎn)進(jìn)行成像，效率也同樣非常低下。4)共焦顯微成像系統(tǒng)以激光作為光源，會(huì)使承載在樣本中的熒光探針發(fā)生光漂白 和光裂解，且嚴(yán)重影響活體樣本的存活能力。針對(duì)現(xiàn)有三維顯微成像系統(tǒng)難以兼顧圖像高質(zhì)量、樣本無損傷、處理高效率、設(shè)備 低成本和人體舒適感等多種需求的現(xiàn)狀，設(shè)計(jì)并實(shí)現(xiàn)能同時(shí)滿足這些需求的三維顯微成像 系統(tǒng)，具有非常重要的意義。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別針對(duì)利用微觀光場(chǎng)的透射屬 性和寬場(chǎng)顯微光學(xué)成像系統(tǒng)，多截面高密度采集微觀光場(chǎng)，獲得二維圖像棧，利用三維重建 方法，再現(xiàn)微觀樣本的三維結(jié)構(gòu)本，提出了一種微觀光場(chǎng)采集與三維重建方法及裝置。
為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例的一方面公開了一種微觀光場(chǎng)采集與三維重建方 法，包括如下步驟通過控制微觀樣本沿光軸方向的微量移動(dòng)，采集并記錄所述微觀樣本的光場(chǎng)信息 以得到圖像棧；根據(jù)得到的所述圖像棧及所述圖像棧對(duì)應(yīng)的Poisson模型構(gòu)建統(tǒng)計(jì)理論模型，并 根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型；根據(jù)所述統(tǒng)計(jì)理論模型和壓縮感知理論模型建立聯(lián)合模型，并利用所述聯(lián)合模型 得到微觀樣本重建公式，對(duì)該公式進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)。本發(fā)明實(shí)施例的另一方面公開了一種微觀光場(chǎng)采集與三維重建裝置，包括微觀光場(chǎng)采集模塊和三維重建模塊。其中，所述微觀光場(chǎng)采集模塊，用于通過控制微觀樣本沿光軸方向的微量移動(dòng)，采 集并記錄所述微觀樣本的光場(chǎng)信息以得到圖像棧，所述微觀光場(chǎng)采集模塊包括工作臺(tái)、寬 場(chǎng)顯微鏡、載物臺(tái)運(yùn)動(dòng)控制器、光源和制冷數(shù)碼電荷耦合元件；所述三維重建模塊，用于根據(jù)得到的所述圖像棧及所述圖像棧對(duì)應(yīng)的Poisson模 型構(gòu)建統(tǒng)計(jì)理論模型，并根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型；根據(jù)所 述統(tǒng)計(jì)理論模型和壓縮感知理論模型建立聯(lián)合模型，并利用所述聯(lián)合模型得到微觀樣本重 建公式，對(duì)該公式進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)。本發(fā)明實(shí)施例提供的微觀光場(chǎng)采集與三維重建方法及裝置與其它直接顯示樣本 三維結(jié)構(gòu)的顯微光學(xué)成像系統(tǒng)包括體式顯微成像系統(tǒng)、3D-X射線成像系統(tǒng)和共焦成像系統(tǒng) 相比，具有如下優(yōu)點(diǎn)1)普適性更強(qiáng)。本發(fā)明提供的方法使用寬場(chǎng)顯微成像系統(tǒng)采集微觀光場(chǎng)，設(shè)備結(jié) 構(gòu)相對(duì)簡(jiǎn)單。例如無需共焦成像系統(tǒng)的針孔裝置和激光光源，以及3D-X射線顯微成像系統(tǒng) 的X射線光源。研究者可以直接觀測(cè)到微觀樣本的全局圖像，而不是像共焦系統(tǒng)由局部掃 描組合成全局圖像，效率更高。激光光源和X射線光源一方面增加了實(shí)驗(yàn)條件的苛刻性，另 一方面更容易引起對(duì)光照敏感的活體樣本受到光損傷。而寬場(chǎng)顯微成像系統(tǒng)使用普通光源，且拍攝圖像時(shí)間短，有效地克服了光漂白和 光裂解，非常適合在極低光強(qiáng)下獲得樣本圖像，例如承載著熒光探針的活體細(xì)胞。特別是在 檢測(cè)自發(fā)光樣本時(shí)，利用激光光源的共焦顯微成像系統(tǒng)根本無法成像，只能利用寬場(chǎng)顯微 成像系統(tǒng)獲取樣本圖像棧，然后利用反卷積技術(shù)重建樣本的三維結(jié)構(gòu)。同時(shí)，寬場(chǎng)顯微成像系統(tǒng)和計(jì)算機(jī)價(jià)格低廉，因此更加適合在相關(guān)研究領(lǐng)域內(nèi)廣 泛使用。因此，寬場(chǎng)顯微成像系統(tǒng)無論在使用范圍，還是在應(yīng)用環(huán)境上，都具有更強(qiáng)的普適 性。2)效果更顯著。本發(fā)明提供的方法對(duì)微觀樣本的三維重建是通過反卷積技術(shù)來實(shí) 現(xiàn)的，反卷積可以進(jìn)一步提高圖像細(xì)節(jié)信息的清晰度和對(duì)比度，同時(shí)可以去除噪聲，提高分 辨率，尤其是軸向分辨率，而軸向分辨率的優(yōu)良表現(xiàn)是昂貴的光學(xué)儀器如共焦或是雙光子 激發(fā)顯微成像系統(tǒng)等的主要優(yōu)勢(shì)。經(jīng)研究調(diào)查表明，寬場(chǎng)顯微成像系統(tǒng)利用反卷積方法能 夠獲得相當(dāng)于甚至有時(shí)優(yōu)于共焦顯微成像系統(tǒng)成像的結(jié)果。3)操作更靈活。其它三維光學(xué)成像系統(tǒng)在實(shí)驗(yàn)時(shí)需要連續(xù)完成，尤其對(duì)于共焦成 像和X射線成像，耗時(shí)很長(zhǎng)。而本發(fā)明提供的方法可以在寬場(chǎng)成像系統(tǒng)獲取圖像棧以后，隨個(gè)人意志進(jìn)行計(jì)算機(jī)后期處理工作，操作更靈活。同時(shí)該方法通過對(duì)微觀樣本進(jìn)行三維建模仿真，可以滿足操作人員隨意調(diào)整視角進(jìn)行觀察的需要，觀察更方便，實(shí)用性也更強(qiáng)。本發(fā)明提出的上述方案，對(duì)現(xiàn)有系統(tǒng)的改動(dòng)很小，不會(huì)影響系統(tǒng)的兼容性，而且實(shí) 現(xiàn)簡(jiǎn)單、高效。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實(shí)施例的微觀光場(chǎng)采集與三維重建方法的流程框圖；圖2為圖1中微觀光場(chǎng)采集與三維重建方法的流程示意圖；圖3為根據(jù)本發(fā)明實(shí)施例的變步長(zhǎng)采集微觀光場(chǎng)示意圖；圖4為根據(jù)本發(fā)明實(shí)施例的三維重建算法設(shè)計(jì)流程圖；圖5為根據(jù)本發(fā)明實(shí)施例的微觀樣本f和點(diǎn)擴(kuò)散函數(shù)hk迭代過程示意圖；圖6為根據(jù)本發(fā)明實(shí)施例的微觀光場(chǎng)采集與三維重建裝置的結(jié)構(gòu)框圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。為了實(shí)現(xiàn)本發(fā)明之目的，本發(fā)明公開了一種微觀光場(chǎng)采集與三維重建方法。該方 法利用微觀光場(chǎng)的透射屬性和寬場(chǎng)顯微光學(xué)成像系統(tǒng)，多截面高密度采集微觀光場(chǎng)信息， 獲得二維圖像棧。根據(jù)所獲得的二位圖像棧，在研究并估計(jì)點(diǎn)擴(kuò)散模型基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn) 同時(shí)滿足上述需求的三維重建方法，以真實(shí)再現(xiàn)微觀樣本的三維結(jié)構(gòu)本。結(jié)合圖1所示，該微觀光場(chǎng)采集與三維重建方法包括如下步驟SlOl 采集微觀光場(chǎng)信息。首先對(duì)微觀光場(chǎng)進(jìn)行說明，微觀光場(chǎng)是微觀折射光場(chǎng)的簡(jiǎn)稱，指微觀場(chǎng)景下任意 入射光條件下的通用折射光場(chǎng)。由于顯微光學(xué)成像系統(tǒng)是單一垂直視角，不會(huì)產(chǎn)生視差，無 法使用宏觀多視角的采集方法來采集光場(chǎng)。同時(shí)由于微觀光場(chǎng)以透射光為主，穿越樣本內(nèi) 部到達(dá)探測(cè)器，所以可以采用多截面的方式采集微觀光場(chǎng)信息。根據(jù)以上分析，在本步驟中，采集微觀光場(chǎng)信息包括通過控制微觀樣本沿光軸方 向的微量移動(dòng)，采集并記錄微觀樣本的光場(chǎng)信息得到圖像棧。具體的說，結(jié)合圖2所示首先利用光源向微觀樣本提供照明，然后控制微觀樣本 沿光軸方向的微量移動(dòng)。其中，微觀樣本放置于顯微鏡載物臺(tái)上，通過載物臺(tái)運(yùn)動(dòng)控制器控 制顯微鏡載物臺(tái)沿光軸方向的微量移動(dòng)。在理論上，圖像棧中的圖像越多，獲取的樣本信息就越完備，復(fù)原的三維結(jié)構(gòu)也越 接近真實(shí)狀態(tài)。但是在實(shí)際應(yīng)用中，過多的圖像會(huì)導(dǎo)致計(jì)算復(fù)雜度大量增加，耗時(shí)長(zhǎng)，尤其 對(duì)于活體樣本，需要在極短的時(shí)間內(nèi)得到所有光場(chǎng)信息，因此圖像數(shù)目不宜過多。然而，圖像棧中二維圖像數(shù)量要符合乃奎斯特采樣定理，才能保證無失真的復(fù)原出樣本三維結(jié)構(gòu)。為了解決上述矛盾，可以采用變步長(zhǎng)的方式移動(dòng)載物臺(tái)以達(dá)到獲取二維圖像棧的 目的。具體的說，對(duì)于復(fù)雜或是感興趣的圖像部分，選取的步長(zhǎng)略小，對(duì)于簡(jiǎn)單或是不感興 趣的圖像部分，選取的步長(zhǎng)略大。通過上述方式，可以獲取足夠的光場(chǎng)信息用于三維重建。為準(zhǔn)確完備的采集微觀樣本微觀光場(chǎng)，在本實(shí)施例中，采用寬場(chǎng)顯微光學(xué)成像系 統(tǒng)，利用變步長(zhǎng)移動(dòng)載物臺(tái)的變焦方式高密度采集樣本微觀光場(chǎng)。利用變步長(zhǎng)方式沿光軸方向移動(dòng)載物臺(tái)，可以得到一系列微觀樣本不同焦平面 的2D圖像，即圖像棧g。根據(jù)采集得到的圖像棧g，利用制冷數(shù)碼CCD (Charge-coupled Device,電荷耦合元件)記錄微觀光場(chǎng)信息。圖3示出了采用變步長(zhǎng)方式的微觀光場(chǎng)采集的示意圖。如圖3中所示，根據(jù)圖像 的復(fù)雜程度以及用戶對(duì)該部分圖形的興趣程度，載物臺(tái)沿光軸方向的微量移動(dòng)步長(zhǎng)逐漸變 化，即微觀樣本沿光軸方向的微量移動(dòng)步長(zhǎng)逐漸變化。對(duì)于復(fù)雜或是用戶感興趣的圖像部 分，選取的步長(zhǎng)略小；對(duì)于簡(jiǎn)單或是用戶不感興趣的圖像部分，選取的步長(zhǎng)略大。
S102 根據(jù)上述圖像棧g，重建三維微觀樣本。由于顯微鏡的探測(cè)器本質(zhì)上是一個(gè)光子計(jì)數(shù)器，尤其是在低光照條件下，光子數(shù) 一般非常少。在檢測(cè)到的光子數(shù)目中，統(tǒng)計(jì)變量可以被Poisson噪聲模型非常好的描述。另 夕卜，Poisson噪聲模型可以得到更快的樣本函數(shù)的收斂速度。并且Poisson噪聲模型可以 獲得比Gaussian噪聲模型更好的反卷積結(jié)果。因此，本實(shí)施例是在Poisson噪聲模型的基 礎(chǔ)上進(jìn)行實(shí)施。具體的說，圖4示出了三維重建微觀樣本的算法設(shè)計(jì)流程圖，包括如下步驟Al 建立統(tǒng)計(jì)理論模型；對(duì)于沿光軸ζ軸獲取的一系列2D圖像切片{gl，g2,..., gj，即圖像棧g的圖像切 片，其對(duì)應(yīng)的Poisson模型聯(lián)合概率密度函數(shù)為 因此，該聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)如下式 在計(jì)算聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)時(shí)，由于Infek ！)為常量所以省略。其中，f為微觀樣本，K為圖像棧g中的圖像切片數(shù)，hk為第k張圖像棧的圖像切 片的點(diǎn)擴(kuò)散函數(shù)，&為圖像棧的2D圖像切片。A2 根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型； 由于圖像梯度=.可以理解為圖像gk沿Χ方向與濾波器 的卷積以及沿y方向與濾波器[-1 1]工的卷積。設(shè)Hi= [-1 1]，則Vgkx= gk m = f h m = f m h = Vfx h。其中，h為點(diǎn)擴(kuò)散函數(shù)。由上式可以看出，微觀樣本f的梯度可以通過觀測(cè)圖像的 梯度和PSF(point-spread function，點(diǎn)散布函數(shù))進(jìn)行復(fù)原。
由于圖像梯度是稀疏的，所以根據(jù)壓縮感知(compressed sensing)理論，可以通 過求解如下優(yōu)化問題復(fù)原微觀樣本梯度 其中，為第k張圖像切片的梯度場(chǎng)，VA= Jx = k為微觀樣本
的梯度，σ 2為噪聲方差，I1和I2分別表示1范數(shù)和2范數(shù)。A3 建立聯(lián)合模型。根據(jù)統(tǒng)計(jì)理論模型得到的聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)和壓縮感知模型中復(fù)原 微觀樣本梯度，即結(jié)合式(2)和(3)，通過正則法得到最大似然估計(jì)函數(shù) α > 0，用于權(quán)衡復(fù)原圖像f的光滑性和對(duì)觀測(cè)圖像g的數(shù)據(jù)依賴性；λ為拉格 朗日乘子。根據(jù)上述建立的聯(lián)合模型，計(jì)算f和h的迭代估計(jì)模型。具體的說，利用聯(lián)合模型 對(duì)f求導(dǎo)并令其等于0，推導(dǎo)出的微觀樣本重建公式，即f迭代估計(jì)模型。利用聯(lián)合模型對(duì) h求導(dǎo)并令其等于0，推導(dǎo)出的點(diǎn)擴(kuò)散函數(shù)重建公式，即h迭代估計(jì)模型。然后，利用已得到的f和h的迭代估計(jì)模型，設(shè)置初始值。圖5示出了微觀樣本f 和點(diǎn)擴(kuò)散函數(shù)h迭代示意圖。結(jié)合圖5所示，設(shè)置初始值包括設(shè)置f和h的初始值。其 中，點(diǎn)擴(kuò)散函數(shù)h的初始值可以通過理論方法得到。微觀樣本f的初始值，通過將圖像棧的 數(shù)據(jù)g設(shè)置為f的初始值得到。初始值設(shè)置成功后，對(duì)f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷f和h的估 計(jì)值符合視覺要求時(shí)，輸出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值。本實(shí)施例采用盲反卷積重建樣本3D結(jié)構(gòu)。在三維反卷積過程中，根據(jù)成像模型 g = (忽略背景和噪聲)可知，除了已知觀測(cè)數(shù)據(jù)g，即圖像棧外，還需要確定點(diǎn)擴(kuò)散 函數(shù)h，才能有效的復(fù)原微觀樣本f的三維結(jié)構(gòu)。而盲反卷積方法進(jìn)行微觀樣本的三維重建 時(shí)，可以在估計(jì)出微觀樣本f的同時(shí)，估計(jì)出點(diǎn)擴(kuò)散函數(shù)h。具體的說，f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷f和h符合視覺要求時(shí)， 輸出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值，包括如下步驟Bl 根據(jù)已設(shè)置的點(diǎn)擴(kuò)散函數(shù)h、微觀樣本f的初始值和圖像棧g估計(jì)新的微觀樣 本；B2 對(duì)步驟Bl中新的微觀樣本的估計(jì)值設(shè)置灰度值非負(fù)限制和邊界限制。根據(jù)上 述約束條件的限制結(jié)果，得到新的微觀樣本的估計(jì)值，更新微觀樣本的估計(jì)值；具體的說，灰度值非負(fù)限制在算法迭代過程中，由于傅里葉變換或是減運(yùn)算等操 作，會(huì)導(dǎo)致像素灰度值出現(xiàn)負(fù)數(shù)的情況，這在實(shí)際中是不可能的。因此在迭代中，采用如強(qiáng) 制負(fù)灰度值為零的限制方法，以保證最后結(jié)果符合實(shí)際情況。邊界限制(i，j)表示圖像χ = i，y = j的位置坐標(biāo)，1彡i彡M，1彡j彡N，M和N為圖像像素的行數(shù)和列數(shù)。對(duì)于圖像邊界點(diǎn)有 'u(\,j) = u(2,j) 滿足上式要求的圖像坐標(biāo)，符合邊界限制的條件。根據(jù)上述約束條件的限制結(jié)果， 可以得到新的微觀樣本的估計(jì)值，B3 判斷步驟B2中新的微觀樣本的估計(jì)值是否符合視覺要求，如果符合視覺要 求，則輸出新的微觀樣本的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)的估計(jì)值。如果不符合視覺要求，則根據(jù)點(diǎn)擴(kuò)散函數(shù)h、新的微觀樣本的估計(jì)值和圖像棧g重 新估計(jì)新的點(diǎn)擴(kuò)散函數(shù)。并對(duì)新的點(diǎn)擴(kuò)散函數(shù)的估計(jì)值設(shè)置灰度值非負(fù)限制和邊界限制， 得到新的點(diǎn)擴(kuò)散函數(shù)的估計(jì)值，更新點(diǎn)擴(kuò)散函數(shù)的估計(jì)值，執(zhí)行步驟Bi。其中，視覺要求是指就是達(dá)到用戶滿意的程度，即用戶認(rèn)為該微觀樣本的重建三 維結(jié)構(gòu)達(dá)到其要求。總之，通過添加灰度值的非負(fù)限制和邊界限制，不斷更新迭代，得到滿 意的微觀樣本f估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h估計(jì)值。由此，可以達(dá)到三維重建微觀樣本的目的。本發(fā)明實(shí)施例還公開了 一種微觀光場(chǎng)采集與三維重建裝置。圖6示出了該微觀光 場(chǎng)采集與三維重建裝置的結(jié)構(gòu)框圖。如圖6中所示，該裝置100包括微觀光場(chǎng)采集模塊110 和三維重建模塊120。具體的說，微觀光場(chǎng)采集模塊110，用于采集微觀光場(chǎng)信息，包括工作臺(tái)、寬場(chǎng)顯微 鏡、載物臺(tái)運(yùn)動(dòng)控制器、光源和制冷數(shù)碼電荷耦合元件(制冷數(shù)碼CCD)。其中，寬場(chǎng)顯微鏡、 載物臺(tái)運(yùn)動(dòng)控制器和光源均固定于工作臺(tái)上。首先利用光源向微觀樣本提供照明，然后控 制微觀樣本沿光軸方向的微量移動(dòng)。將微觀樣本放置于顯微鏡載物臺(tái)上，通過載物臺(tái)運(yùn)動(dòng) 控制器控制顯微鏡載物臺(tái)沿光軸方向的微量移動(dòng)。在理論上，圖像棧中的圖像越多，獲取的樣本信息就越完備，復(fù)原的三維結(jié)構(gòu)也越 接近真實(shí)狀態(tài)。但是在實(shí)際應(yīng)用中，過多的圖像會(huì)導(dǎo)致計(jì)算復(fù)雜度大量增加，耗時(shí)長(zhǎng)，尤其 對(duì)于活體樣本，需要在極短的時(shí)間內(nèi)得到所有光場(chǎng)信息，因此圖像數(shù)目不宜過多。然而，圖 像棧中二維圖像數(shù)量要符合乃奎斯特采樣定理，才能保證無失真的復(fù)原出樣本三維結(jié)構(gòu)。為了解決上述矛盾，可以采用變步長(zhǎng)的方式移動(dòng)載物臺(tái)以達(dá)到獲取二維圖像棧的 目的。具體的說，對(duì)于復(fù)雜或是感興趣的圖像部分，選取的步長(zhǎng)略小，對(duì)于簡(jiǎn)單或是不感興 趣的圖像部分，選取的步長(zhǎng)略大。通過上述方式，可以獲取足夠的光場(chǎng)信息用于三維重建。為準(zhǔn)確完備的采集微觀樣本微觀光場(chǎng)，在本實(shí)施例中，微觀光場(chǎng)采集模塊110采 用寬場(chǎng)顯微光學(xué)成像系統(tǒng)，利用變步長(zhǎng)移動(dòng)載物臺(tái)的變焦方式高密度采集樣本微觀光場(chǎng)， 由此得到一系列微觀樣本不同焦平面的2D圖像，稱為圖像棧g。根據(jù)采集得到的圖像棧g， 利用制冷數(shù)碼CCD記錄微觀光場(chǎng)信息。結(jié)合圖3所示，根據(jù)圖像的復(fù)雜程度以及用戶對(duì)該部分圖形的興趣程度，載物臺(tái) 沿光軸方向的微量移動(dòng)步長(zhǎng)逐漸變化，即微觀樣本沿光軸方向的微量移動(dòng)步長(zhǎng)逐漸變化。 對(duì)于復(fù)雜或是用戶感興趣的圖像部分，選取的步長(zhǎng)略??；對(duì)于簡(jiǎn)單或是用戶不感興趣的圖 像部分，選取的步長(zhǎng)略大。
微觀光場(chǎng)采集與三維重建裝置100還包括三維重建模塊120，該模塊根據(jù)來自微 觀光場(chǎng)采集模塊110的圖像棧g，三維重建微觀樣本。由于，Poisson噪聲模型可以得到更快的樣本函數(shù)的收斂速度。并且Poisson噪 聲模型可以獲得比Gaussian噪聲模型更好的反卷積結(jié)果。因此，本實(shí)施例是在Poisson噪 聲模型的基礎(chǔ)上進(jìn)行實(shí)施。如圖4所示，三維重建模塊120進(jìn)行三維重建微觀樣本的算法設(shè)計(jì)，包括Al 建立統(tǒng)計(jì)理論模型；對(duì)于微觀光場(chǎng)采集模塊110沿光軸ζ軸獲取的一系列2D圖像切片
，即圖像棧g的圖像切片，其對(duì)應(yīng)的Poisson模型聯(lián)合概率密度函數(shù)為 因此，該聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)如下式 在計(jì)算聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)時(shí)，由于
為常量所以省略。其中，f為微觀樣本，K為圖像棧g中的圖像切片數(shù)，hk為第k張圖像棧的圖像切 片的點(diǎn)擴(kuò)散函數(shù)，&為圖像棧的2D圖像切片。A2 微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型；由于圖像梯度▽仏=可以理解為圖像&沿χ方向與濾波器的卷積以及沿y方向與濾波器[-1 1]工的卷積。設(shè)Hi= [-1 1]，則 其中，h為點(diǎn)擴(kuò)散函數(shù)。由上式可以看出，微觀樣本f的梯度可以通過觀測(cè)圖像的 梯度和PSF(point-spread function，點(diǎn)散布函數(shù))進(jìn)行復(fù)原。由于圖像梯度是稀疏的，所以根據(jù)壓縮感知(compressed sensing)理論，可以通 過求解如下優(yōu)化問題復(fù)原微觀樣本梯度
(3)其中
，為第k張圖像切片的梯度場(chǎng)，
為微觀樣本
的梯度，σ 2為噪聲方差，I1和I2分別表示1范數(shù)和2范數(shù)。A3 建立聯(lián)合模型。根據(jù)統(tǒng)計(jì)理論模型得到的聯(lián)合密度函數(shù)的對(duì)數(shù)似然函數(shù)和壓縮感知模型，即結(jié)合 式(2)和(3)，通過正則法得到最大似然估計(jì)函數(shù) α > 0，用于權(quán)衡復(fù)原圖像f的光滑性和對(duì)觀測(cè)圖像g的數(shù)據(jù)依賴性；λ為拉格 朗日乘子。根據(jù)上述建立的聯(lián)合模型，計(jì)算f和h的迭代估計(jì)模型。具體的說，根據(jù)上述建立的聯(lián)合模型，計(jì)算f和h的迭代估計(jì)模型。具體的說，利用聯(lián)合模型對(duì)f求導(dǎo)并令其等于0， 推導(dǎo)出微觀樣本重建公式，即f迭代估計(jì)模型。利用聯(lián)合模型對(duì)h求導(dǎo)并令其等于0，推導(dǎo) 出點(diǎn)擴(kuò)散函數(shù)重建公式，即h迭代估計(jì)模型。然后，利用已得到的f和h的迭代估計(jì)模型，設(shè)置初始值。結(jié)合圖5所示，設(shè)置初 始值包括設(shè)置f和h的初始值。其中，點(diǎn)擴(kuò)散函數(shù)h的初始值可以通過理論方法得到。微 觀樣本f的初始值，通過將圖像棧的數(shù)據(jù)g設(shè)置為f的初始值得到。初始值設(shè)置成功后，對(duì)f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷f和h的估 計(jì)值符合視覺要求時(shí)，輸出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值。本實(shí)施例采用盲反卷積重建樣本3D結(jié)構(gòu)。在三維反卷積過程中，根據(jù)成像模型 g = (忽略背景和噪聲)可知，除了已知觀測(cè)數(shù)據(jù)g，即圖像棧外，還需要確定點(diǎn)擴(kuò)散 函數(shù)h，才能有效的復(fù)原微觀樣本f的三維結(jié)構(gòu)。而盲反卷積方法進(jìn)行微觀樣本的三維重建 時(shí)，可以在估計(jì)出微觀樣本f的同時(shí)，估計(jì)出點(diǎn)擴(kuò)散函數(shù)h。具體的說，三維重建模塊120對(duì)f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷f 和h符合視覺要求時(shí)，輸出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值，包括如下步驟Bl 根據(jù)已設(shè)置的點(diǎn)擴(kuò)散函數(shù)h、微觀樣本f的初始值和圖像棧g估計(jì)新的微觀樣 本；B2 對(duì)步驟Bl中新的微觀樣本的估計(jì)值設(shè)置灰度值非負(fù)限制和邊界限制。根據(jù)上 述約束條件的限制結(jié)果，得到新的微觀樣本的估計(jì)值，更新微觀樣本的估計(jì)值；具體的說，灰度值非負(fù)限制在算法迭代過程中，由于傅里葉變換或是減運(yùn)算等操 作，會(huì)導(dǎo)致像素灰度值出現(xiàn)負(fù)數(shù)的情況，這在實(shí)際中是不可能的。因此在迭代中，采用如強(qiáng) 制負(fù)灰度值為零的限制方法，以保證最后結(jié)果符合實(shí)際情況。邊界限制(i，j)表示圖像χ = i，y = j的位置坐標(biāo)，1≤i≤M，1≤j≤N，M和 N為圖像像素的行數(shù)和列數(shù)。對(duì)于圖像邊界點(diǎn)有 滿足上式要求的圖像坐標(biāo)，符合邊界限制的條件。根據(jù)上述約束條件的限制結(jié)果， 可以得到新的微觀樣本的估計(jì)值，B3 判斷步驟B2中新的微觀樣本的估計(jì)值是否符合視覺要求，如果符合視覺要 求，則輸出新的微觀樣本的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)的估計(jì)值。如果不符合視覺要求，則根據(jù)點(diǎn)擴(kuò)散函數(shù)h、新的微觀樣本的估計(jì)值和圖像棧g重 新估計(jì)新的點(diǎn)擴(kuò)散函數(shù)。并對(duì)新的點(diǎn)擴(kuò)散函數(shù)的估計(jì)值設(shè)置灰度值非負(fù)限制和邊界限制， 得到新的點(diǎn)擴(kuò)散函數(shù)的估計(jì)值，更新點(diǎn)擴(kuò)散函數(shù)的估計(jì)值，執(zhí)行步驟Bi。其中，視覺要求是指就是達(dá)到用戶滿意的程度，即用戶認(rèn)為該微觀樣本的重建三維結(jié)構(gòu)達(dá)到其要求?？傊?，通過添加灰度值的非負(fù)限制和邊界限制，不斯更新迭代，得到滿 意的微觀樣本f估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h估計(jì)值。由此，可以達(dá)到重建三維微觀樣本的目的。本發(fā)明實(shí)施例提供的微觀光場(chǎng)采集與三維重建方法及裝置與其它直接顯示樣本 三維結(jié)構(gòu)的顯微光學(xué)成像系統(tǒng)包括體式顯微成像系統(tǒng)、3D-X射線成像系統(tǒng)和共焦成像系統(tǒng) 相比，具有如下優(yōu)點(diǎn)1)普適性更強(qiáng)。本發(fā)明提供的方法使用寬場(chǎng)顯微成像系統(tǒng)采集微觀光場(chǎng)，設(shè)備結(jié) 構(gòu)相對(duì)簡(jiǎn)單。例如無需共焦成像系統(tǒng)的針孔裝置和激光光源，以及3D-X射線顯微成像系統(tǒng) 的X射線光源。研究者可以直接觀測(cè)到微觀樣本的全局圖像，而不是像共焦系統(tǒng)由局部掃 描組合成全局圖像，效率更高。激光光源和X射線光源一方面增加了實(shí)驗(yàn)條件的苛刻性，另 一方面更容易引起對(duì)光照敏感的活體樣本受到光損傷。而寬場(chǎng)顯微成像系統(tǒng)使用普通光源，且拍攝圖像時(shí)間短，有效地克服了光漂白和 光裂解，非常適合在極低光強(qiáng)下獲得樣本圖像，例如承載著熒光探針的活體細(xì)胞。特別是在 檢測(cè)自發(fā)光樣本時(shí)，利用激光光源的共焦顯微成像系統(tǒng)根本無法成像，只能利用寬場(chǎng)顯微 成像系統(tǒng)獲取樣本圖像棧，然后利用反卷積技術(shù)重建樣本的三維結(jié)構(gòu)。同時(shí)，寬場(chǎng)顯微成像系統(tǒng)和計(jì)算機(jī)價(jià)格低廉，因此更加適合在相關(guān)研究領(lǐng)域內(nèi)廣 泛使用。因此，寬場(chǎng)顯微成像系統(tǒng)無論在使用范圍，還是在應(yīng)用環(huán)境上，都具有更強(qiáng)的普適 性。2)效果更顯著。本發(fā)明提供的方法對(duì)微觀樣本的三維重建是通過反卷積技術(shù)來實(shí) 現(xiàn)的，反卷積可以進(jìn)一步提高圖像細(xì)節(jié)信息的清晰度和對(duì)比度，同時(shí)可以去除噪聲，提高分 辨率，尤其是軸向分辨率，而軸向分辨率的優(yōu)良表現(xiàn)是昂貴的光學(xué)儀器如共焦或是雙光子 激發(fā)顯微成像系統(tǒng)等的主要優(yōu)勢(shì)。經(jīng)研究調(diào)查表明，寬場(chǎng)顯微成像系統(tǒng)利用反卷積方法能 夠獲得相當(dāng)于甚至有時(shí)優(yōu)于共焦顯微成像系統(tǒng)成像的結(jié)果。3)操作更靈活。其它三維光學(xué)成像系統(tǒng)在實(shí)驗(yàn)時(shí)需要連續(xù)完成，尤其對(duì)于共焦成 像和X射線成像，耗時(shí)很長(zhǎng)。而本發(fā)明提供的方法可以在寬場(chǎng)成像系統(tǒng)獲取圖像棧以后，隨 個(gè)人意志進(jìn)行計(jì)算機(jī)后期處理工作，操作更靈活。同時(shí)該方法通過對(duì)微觀樣本進(jìn)行三維建 模仿真，可以滿足操作人員隨意調(diào)整視角進(jìn)行觀察的需要，觀察更方便，實(shí)用性也更強(qiáng)。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng) 視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種微觀光場(chǎng)采集與三維重建方法，其特征在于，該方法包括如下步驟通過控制微觀樣本沿光軸方向的微量移動(dòng)，采集并記錄所述微觀樣本的光場(chǎng)信息以得到圖像棧；根據(jù)得到的所述圖像棧及所述圖像棧對(duì)應(yīng)的Poisson模型構(gòu)建統(tǒng)計(jì)理論模型，并根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型；根據(jù)所述統(tǒng)計(jì)理論模型和壓縮感知理論模型建立聯(lián)合模型，并利用所述聯(lián)合模型得到的微觀樣本重建公式，進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)。
2.如權(quán)利要求1所述的方法，其特征在于，所述圖像棧為所述微觀樣本不同焦平面的 2D圖像。
3.如權(quán)利要求1所述的方法，其特征在于，所述統(tǒng)計(jì)理論模型為 其中，κ為圖像棧的切片數(shù)，&為圖像 棧中的第k張圖像切片，f為微觀樣本，hk為第k張圖像棧的圖像切片的點(diǎn)擴(kuò)散函數(shù)。
4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建 的壓縮感知理論模型 \其中，為第k張圖像切片的梯度場(chǎng)，V&= = J為微觀樣本的梯 度，O 2為噪聲方差，I1和I2分別表示1范數(shù)和2范數(shù)。
5.如權(quán)利要求4所述的方法，其特征在于，所述聯(lián)合模型為 其中，α > 0，用于權(quán)衡復(fù)原圖像f的光滑性和對(duì)觀測(cè)圖像g的數(shù)據(jù)依賴性，λ為拉格 朗日乘子。
6.如權(quán)利要求5所述的方法，其特征在于，利用所述聯(lián)合模型得到的微觀樣本重建公 式，進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)，包括以下步驟利用所述聯(lián)合模型分別對(duì)所述微觀樣本f和點(diǎn)擴(kuò)散函數(shù)h進(jìn)行求導(dǎo)，并令其等于0，得 到微觀樣本重建公式和點(diǎn)擴(kuò)散函數(shù)重建公式；確定點(diǎn)擴(kuò)散函數(shù)h的初始值，并將圖像棧g設(shè)為微觀樣本f的初始值； 對(duì)所述f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷所述f和h符合視覺要求時(shí)，輸 出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值。
7.如權(quán)利要求1所述的方法，其特征在于，所述通過控制微觀樣本沿光軸方向的微量 移動(dòng)采用變步長(zhǎng)方式。
8.—種微觀光場(chǎng)采集與三維重建裝置，其特征在于，包括微觀光場(chǎng)采集模塊和三維重 建模塊，所述微觀光場(chǎng)采集模塊，用于通過控制微觀樣本沿光軸方向的微量移動(dòng)，采集并記錄 所述微觀樣本的光場(chǎng)信息以得到圖像棧，所述微觀光場(chǎng)采集模塊包括工作臺(tái)、寬場(chǎng)顯微鏡、載物臺(tái)運(yùn)動(dòng)控制器、光源和制冷數(shù)碼電荷耦合元件；所述三維重建模塊，用于根據(jù)得到的所述圖像棧及所述圖像棧對(duì)應(yīng)的Poisson模型構(gòu) 建統(tǒng)計(jì)理論模型，并根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu)建壓縮感知理論模型；根據(jù)所述統(tǒng)計(jì)理論模型和壓縮感知理論模型建立聯(lián)合模型，并利用所述聯(lián)合模型得到 的微觀樣本重建公式，進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)。
9.如權(quán)利要求8所述的裝置，其特征在于，所述工作臺(tái)，用于固定所述寬場(chǎng)顯微鏡、載物臺(tái)運(yùn)動(dòng)控制器和光源； 所述光源，用于向所述微觀樣本提供照明；所述載物臺(tái)運(yùn)動(dòng)控制器，用于控制所述微觀樣本沿光軸方向的微量移動(dòng)，采集所述圖 像棧；所述制冷數(shù)碼電荷耦合元件，用于記錄所述微觀光場(chǎng)信息。
10.如權(quán)利要求8所述的裝置，其特征在于，所述圖像棧為所述微觀樣本不同焦平面的 2D圖像。
11.如權(quán)利要求8所述的裝置，其特征在于，所述統(tǒng)計(jì)理論模型為 其中，k為圖像棧的切片數(shù)，&為圖像 棧中的第k張圖像切片，f為微觀樣本，hk為第k張圖像棧的圖像切片的點(diǎn)擴(kuò)散函數(shù)。
12.如權(quán)利要求11所述的裝置，其特征在于，所述根據(jù)微觀樣本的梯度場(chǎng)稀疏特性構(gòu) 建壓縮感知理論模型 其中，為第k張圖像切片的梯度場(chǎng) 為微觀樣本的梯度，o 2為噪聲方差，1和12分別表示1范數(shù)和2范數(shù)。
13.如權(quán)利要求12所述的裝置，其特征在于，所述三維重建模塊建立的聯(lián)合模型為 其中，a > 0，用于權(quán)衡復(fù)原圖像f的光滑性和對(duì)觀測(cè)圖像g的數(shù)據(jù)依賴性，A為拉格 朗日乘子。
14.如權(quán)利要求13所述的裝置，其特征在于，所述三維重建模塊利用所述聯(lián)合模型得 到的微觀樣本重建公式，進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)包括利用所述聯(lián)合模型分別對(duì)所述微觀樣本f和點(diǎn)擴(kuò)散函數(shù)h進(jìn)行求導(dǎo)，并令其等于0，得 到微觀樣本重建公式和點(diǎn)擴(kuò)散函數(shù)重建公式；確定點(diǎn)擴(kuò)散函數(shù)h的初始值，并將圖像棧g設(shè)為微觀樣本f的初始值； 對(duì)所述f和h的迭代估計(jì)模型并進(jìn)行盲反卷積，當(dāng)判斷所述f和h符合視覺要求時(shí)，輸 出微觀樣本f的估計(jì)值和點(diǎn)擴(kuò)散函數(shù)h的估計(jì)值。
15.如權(quán)利要求8所述的裝置，其特征在于，所述通過控制微觀樣本沿光軸方向的微量 移動(dòng)采用變步長(zhǎng)方式。
全文摘要
本發(fā)明的實(shí)施例提出了一種微觀光場(chǎng)采集與三維重建方法，包括通過控制微觀樣本沿光軸方向的微量移動(dòng)，采集并記錄微觀樣本的光場(chǎng)信息以得到圖像棧；根據(jù)得到的圖像棧及所述圖像棧對(duì)應(yīng)的Poisson模型構(gòu)建統(tǒng)計(jì)理論模型，并根據(jù)壓縮感知理論模型得到微觀樣本的梯度；和根據(jù)統(tǒng)計(jì)理論模型和壓縮感知理論模型建立聯(lián)合模型，并對(duì)聯(lián)合模型進(jìn)行迭代求解以獲得微觀樣本的三維結(jié)構(gòu)。本發(fā)明的實(shí)施例還提出了一種微觀光場(chǎng)采集與三維重建裝置，包括微觀光場(chǎng)采集模塊和三維重建模塊。本發(fā)明實(shí)施例提供的方法和裝置普適性更強(qiáng)，與現(xiàn)有方法相比效果更顯著，并且操作更靈活。
文檔編號(hào)G01B11/24GK101865673SQ20101019990
公開日2010年10月20日 申請(qǐng)日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者戴瓊海, 王瑜 申請(qǐng)人:清華大學(xué)