本發(fā)明涉及計算攝像及機器學習技術(shù)領(lǐng)域，特別涉及一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法及系統(tǒng)。

背景技術(shù)：

光場成像作為成像技術(shù)中的一個新的方向，可以實現(xiàn)拍攝后無需機械對焦，而是通過圖像處理計算實現(xiàn)再聚焦，并且可以實現(xiàn)3D重建和多目標點聚焦等，這一特點使得其在未來生活以及顯微成像領(lǐng)域有很大運用。

在傳統(tǒng)相機或顯微鏡的主透鏡和成像面之間加入一個微透鏡陣列，例如圖1所示，采用這種裝置得到圖像即為光場成像，該相機可以同時捕捉到空間和角度信息，即光場的四維信息。這樣，在一次曝光后記錄到的光場利用后續(xù)處理可以達到原成像物體的信息。裝置得到的最終圖像分辨率受到微透鏡個數(shù)影響，像素數(shù)受限于微透鏡個數(shù)；縱向分辨率受到物鏡NA等因素影響。

通常后續(xù)處理采用點擴散函數(shù)建模，前向逆向推導迭代的方法，該方法模擬光線傳播過程，對穿過物鏡以及微透鏡的光線傳播進行建模獲得PSF矩陣，利用微透鏡陣列得到的光場圖像與該矩陣進行解卷積計算，得到重建三維圖像信息。這種方法需要對成像系統(tǒng)進行較為準確的數(shù)據(jù)擬合和假設(shè)，包括假設(shè)光線為波長一致的單色光、單一傳播介質(zhì)折射率的要求。這一圖像重建方法不能有效應(yīng)對折射率變化的介質(zhì)或弱散射情況，縱向分辨率不易提高，受到建模的制約。另外，該方法需要進行大量迭代計算，較為耗時。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在至少解決上述技術(shù)問題之一。

為此，本發(fā)明的一個目的在于提出一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法，該方法通過對光場圖像和不同層對焦圖像的學習得到圖像恢復重建網(wǎng)絡(luò)，從而提高三維重建速度和分辨率，大大提升縱向分辨率。

本發(fā)明的另一個目的在于提出一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)。

為了實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法，包括以下步驟：構(gòu)建神經(jīng)網(wǎng)絡(luò)；獲取所述神經(jīng)網(wǎng)絡(luò)的訓練集；根據(jù)所述訓練集對所述神經(jīng)網(wǎng)絡(luò)進行訓練，以得到網(wǎng)絡(luò)參數(shù)；根據(jù)所述網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，以得到重建圖像。

另外，根據(jù)本發(fā)明上述實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法還可以具有如下附加的技術(shù)特征：

在一些示例中，所述獲取所述神經(jīng)網(wǎng)絡(luò)的訓練集，進一步包括：通過待重建物體各聚焦面圖像以及通過微透鏡陣列的光場圖像獲取所述神經(jīng)網(wǎng)絡(luò)的訓練集。

在一些示例中，所述根據(jù)所述網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，進一步包括：將所述待重建的物體的光場圖像投入所述神經(jīng)網(wǎng)絡(luò)，以對所述待重建的物體進行三維重建。

在一些示例中，所述神經(jīng)網(wǎng)絡(luò)包括特征提取層、轉(zhuǎn)化層和歸納層。

在一些示例中，所述訓練集的數(shù)據(jù)為同一個微透鏡成像系統(tǒng)獲得的光場圖像及其對應(yīng)物體的層析圖像。

根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法，設(shè)計了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使其能夠在相同微透鏡成像系統(tǒng)成像圖像的原始數(shù)據(jù)，即相同的待恢復光場圖像質(zhì)量下，得到分辨率更高的三維圖像。同時，該方法普適性強，對于所有的樣本，使用相同的一套微透鏡陣列顯微成像系統(tǒng)和神經(jīng)網(wǎng)絡(luò)即可。也即，該方法通過對光場圖像和不同層對焦圖像的學習得到圖像恢復重建網(wǎng)絡(luò)，從而提高三維重建速度和分辨率，降低對成像系統(tǒng)的數(shù)據(jù)要求，大大提升縱向分辨率，具有魯棒性強，計算量小，不需要對樣本的預知信息，不需要對硬件系統(tǒng)的大量擬合，控制實現(xiàn)簡單，成像速度快的優(yōu)點。

為了實現(xiàn)上述目的，本發(fā)明第二方面的實施例提出了一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)，包括：構(gòu)建模塊，用于構(gòu)建神經(jīng)網(wǎng)絡(luò)；獲取模塊，用于獲取所述神經(jīng)網(wǎng)絡(luò)的訓練集；訓練模塊，用于根據(jù)所述訓練集對所述神經(jīng)網(wǎng)絡(luò)進行訓練，以得到網(wǎng)絡(luò)參數(shù)；重建模塊，用于根據(jù)所述網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，以得到重建圖像。

另外，根據(jù)本發(fā)明上述實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)還可以具有如下附加的技術(shù)特征：

在一些示例中，所述獲取模塊用于通過待重建物體各聚焦面圖像以及通過微透鏡陣列的光場圖像獲取所述神經(jīng)網(wǎng)絡(luò)的訓練集。

在一些示例中，所述重建模塊用于將所述待重建的物體的光場圖像投入所述神經(jīng)網(wǎng)絡(luò)，以對所述待重建的物體進行三維重建。

在一些示例中，所述神經(jīng)網(wǎng)絡(luò)包括特征提取層、轉(zhuǎn)化層和歸納層。

在一些示例中，所述訓練集的數(shù)據(jù)為同一個微透鏡成像系統(tǒng)獲得的光場圖像及其對應(yīng)物體的層析圖像。

根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)，設(shè)計了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使其能夠在相同微透鏡成像系統(tǒng)成像圖像的原始數(shù)據(jù)，即相同的待恢復光場圖像質(zhì)量下，得到分辨率更高的三維圖像。同時，該系統(tǒng)普適性強，對于所有的樣本，使用相同的一套微透鏡陣列顯微成像系統(tǒng)和神經(jīng)網(wǎng)絡(luò)即可。也即，該系統(tǒng)通過對光場圖像和不同層對焦圖像的學習得到圖像恢復重建網(wǎng)絡(luò)，從而提高三維重建速度和分辨率，降低對成像系統(tǒng)的數(shù)據(jù)要求，大大提升縱向分辨率，具有魯棒性強，計算量小，不需要對樣本的預知信息，不需要對硬件系統(tǒng)的大量擬合，控制實現(xiàn)簡單，成像速度快的優(yōu)點。

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1是現(xiàn)有技術(shù)中的微透鏡陣列法的成像示意圖；

圖2是本發(fā)明實施例的單個神經(jīng)元的示意圖；

圖3是本發(fā)明實施例的神經(jīng)網(wǎng)絡(luò)的示意圖；

圖4是根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法的流程圖；

圖5是根據(jù)本發(fā)明一個實施例的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；以及

圖6是根據(jù)本發(fā)明一個具體實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法的仿真復原效果示意圖；

圖7是根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)的結(jié)構(gòu)框圖。

具體實施方式

下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。

在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

以下結(jié)合附圖描述根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法及系統(tǒng)。

在描述本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法之前，首先對深度學習及神經(jīng)網(wǎng)絡(luò)進行相關(guān)的描述。

具體地，深度學習是計算機科學機器學習領(lǐng)域中一個新的方向，通過學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，在學習中獲得對諸如文字、圖像等數(shù)據(jù)的解釋，模擬動物神經(jīng)中樞系統(tǒng)的計算模型，通過大量相互連接的神經(jīng)元進行計算，用來對輸入與輸出的復雜關(guān)系進行建模。單個神經(jīng)元是一個運算單元，如圖2所示，其輸入是訓練樣本x1,x2,x3以及偏置項，輸出結(jié)果是輸入通過激活函數(shù)f之后的結(jié)果。將多個神經(jīng)元連接在一起，一個神經(jīng)元的輸出作為下個神經(jīng)元的輸入，成為神經(jīng)網(wǎng)絡(luò)，如圖3所示。每層輸出作為下層輸入傳播的步驟作為前向傳播的過程，便可得到神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理的最終結(jié)果。而訓練該神經(jīng)網(wǎng)絡(luò)內(nèi)部函數(shù)的各項參數(shù)的過程即為學習過程，通過將數(shù)據(jù)集前向傳播結(jié)果與已知標簽的帶入代價函數(shù)進行計算，利用反向傳播算法優(yōu)化網(wǎng)絡(luò)參數(shù)，使得該代價函數(shù)獲得最小值，即使得結(jié)果最大程度與標簽擬合。學習得到的最終結(jié)果使神經(jīng)網(wǎng)絡(luò)達到最優(yōu)，從而能夠?qū)?shù)據(jù)進行相同需求的處理。

基于此，本發(fā)明的實施例提出了一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法。圖4是根據(jù)本發(fā)明一個實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法的流程圖。如圖4所示，該方法包括以下步驟：

步驟S1：構(gòu)建神經(jīng)網(wǎng)絡(luò)。

步驟S2：獲取神經(jīng)網(wǎng)絡(luò)的訓練集。

具體地，在步驟S2中，獲取神經(jīng)網(wǎng)絡(luò)的訓練集，進一步包括：通過待重建物體各聚焦面圖像以及通過微透鏡陣列的光場圖像獲取神經(jīng)網(wǎng)絡(luò)的訓練集。

步驟S3：根據(jù)訓練集對神經(jīng)網(wǎng)絡(luò)進行訓練，以得到網(wǎng)絡(luò)參數(shù)。

步驟S4：根據(jù)網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，以得到重建圖像。

具體地，在步驟S4中，根據(jù)網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，進一步包括：將待重建的物體的光場圖像投入神經(jīng)網(wǎng)絡(luò)，以對待重建的物體進行三維重建。

其中，在本發(fā)明的一個實施例中，如圖5所示，神經(jīng)網(wǎng)絡(luò)包括特征提取層、轉(zhuǎn)化層和歸納層。具體地，特征提取層將光場圖像數(shù)據(jù)與不同掩膜進行卷積計算，得到轉(zhuǎn)化層的數(shù)據(jù)輸入；轉(zhuǎn)化層將特征與不同掩膜進行卷積計算，得到轉(zhuǎn)化層結(jié)果；歸納層，獲得不同通道下的輸出數(shù)據(jù)，每個通道即為縱向軸同一位置的一層圖像。需要說明的是，神經(jīng)網(wǎng)絡(luò)每層的掩膜個數(shù)即大小可根據(jù)輸入數(shù)據(jù)和輸出數(shù)據(jù)的要求進行調(diào)整，從而獲得最適合的神經(jīng)網(wǎng)絡(luò)。

在本發(fā)明的一個實施例中，上述的訓練集的數(shù)據(jù)為同一個微透鏡成像系統(tǒng)獲得的光場圖像及其對應(yīng)物體的層析圖像，圖像的縱向分辨率影響訓練結(jié)果，通過降低層間距離可實現(xiàn)神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)恢復的縱向分辨率的提高。

作為具體的示例，圖6展示了本發(fā)明實施例的方法的實際仿真復原效果圖，其中，圖6(a)為原PSF方法得到的低分辨率的輸出圖像，圖6(b)為本發(fā)明實施例的方法恢復的高分辨率圖像。從圖6中可以看出，與傳統(tǒng)的PSF方法(點擴散函數(shù))相比，本發(fā)明實施例的方法恢復圖像縱向分辨率較高、對成像硬件系統(tǒng)數(shù)據(jù)要求低，并且分辨率高、魯棒性強、普適性強、對硬件數(shù)據(jù)需求不高。

也就是說，本發(fā)明實施例的方法采用深度學習神經(jīng)網(wǎng)絡(luò)，通過已有數(shù)據(jù)集進行訓練，得到網(wǎng)絡(luò)參數(shù)。將單張光場圖像投入網(wǎng)絡(luò)，恢復三維物體的各層圖像。相比于其他圖像恢復方法，本發(fā)明的方法魯棒性增強，并且不再依賴于對樣本和硬件系統(tǒng)的先驗知識，具有普適性，同時降低了硬件控制的難度。

綜上，根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法，設(shè)計了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使其能夠在相同微透鏡成像系統(tǒng)成像圖像的原始數(shù)據(jù)，即相同的待恢復光場圖像質(zhì)量下，得到分辨率更高的三維圖像。同時，該方法普適性強，對于所有的樣本，使用相同的一套微透鏡陣列顯微成像系統(tǒng)和神經(jīng)網(wǎng)絡(luò)即可。也即，該方法通過對光場圖像和不同層對焦圖像的學習得到圖像恢復重建網(wǎng)絡(luò)，從而提高三維重建速度和分辨率，降低對成像系統(tǒng)的數(shù)據(jù)要求，大大提升縱向分辨率，具有魯棒性強，計算量小，不需要對樣本的預知信息，不需要對硬件系統(tǒng)的大量擬合，控制實現(xiàn)簡單，成像速度快的優(yōu)點。

本發(fā)明的進一步實施例還提出了一種基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)。

圖7是根據(jù)本發(fā)明一個實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)的結(jié)構(gòu)框圖。如圖7所示，該系統(tǒng)100包括：構(gòu)建模塊110、獲取模塊120、訓練模塊130及重建模塊140。

其中，構(gòu)建模塊110用于構(gòu)建神經(jīng)網(wǎng)絡(luò)。

獲取模塊120用于獲取神經(jīng)網(wǎng)絡(luò)的訓練集。

具體地，獲取模塊120用于通過待重建物體各聚焦面圖像以及通過微透鏡陣列的光場圖像獲取神經(jīng)網(wǎng)絡(luò)的訓練集。

訓練模塊130用于根據(jù)訓練集對神經(jīng)網(wǎng)絡(luò)進行訓練，以得到網(wǎng)絡(luò)參數(shù)。

重建模塊140用于根據(jù)網(wǎng)絡(luò)參數(shù)，對待重建的物體進行三維重建，以得到重建圖像。

具體地，重建模塊140用于將待重建的物體的光場圖像投入神經(jīng)網(wǎng)絡(luò)，以對待重建的物體進行三維重建。

其中，在本發(fā)明的一個實施例中，神經(jīng)網(wǎng)絡(luò)包括特征提取層、轉(zhuǎn)化層和歸納層。具體地，特征提取層將光場圖像數(shù)據(jù)與不同掩膜進行卷積計算，得到轉(zhuǎn)化層的數(shù)據(jù)輸入；轉(zhuǎn)化層將特征與不同掩膜進行卷積計算，得到轉(zhuǎn)化層結(jié)果；歸納層，獲得不同通道下的輸出數(shù)據(jù)，每個通道即為縱向軸同一位置的一層圖像。需要說明的是，神經(jīng)網(wǎng)絡(luò)每層的掩膜個數(shù)即大小可根據(jù)輸入數(shù)據(jù)和輸出數(shù)據(jù)的要求進行調(diào)整，從而獲得最適合的神經(jīng)網(wǎng)絡(luò)。

在本發(fā)明的一個實施例中，上述的訓練集的數(shù)據(jù)為同一個微透鏡成像系統(tǒng)獲得的光場圖像及其對應(yīng)物體的層析圖像，圖像的縱向分辨率影響訓練結(jié)果，通過降低層間距離可實現(xiàn)神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)恢復的縱向分辨率的提高。

需要說明的是，本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)的具體實現(xiàn)方式與本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建方法的具體實現(xiàn)方式類似，具體請參見方法部分的描述，為了減少冗余，此處不再贅述。

綜上，根據(jù)本發(fā)明實施例的基于深度學習神經(jīng)網(wǎng)絡(luò)的顯微圖像三維重建系統(tǒng)，設(shè)計了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使其能夠在相同微透鏡成像系統(tǒng)成像圖像的原始數(shù)據(jù)，即相同的待恢復光場圖像質(zhì)量下，得到分辨率更高的三維圖像。同時，該系統(tǒng)普適性強，對于所有的樣本，使用相同的一套微透鏡陣列顯微成像系統(tǒng)和神經(jīng)網(wǎng)絡(luò)即可。也即，該系統(tǒng)通過對光場圖像和不同層對焦圖像的學習得到圖像恢復重建網(wǎng)絡(luò)，從而提高三維重建速度和分辨率，降低對成像系統(tǒng)的數(shù)據(jù)要求，大大提升縱向分辨率，具有魯棒性強，計算量小，不需要對樣本的預知信息，不需要對硬件系統(tǒng)的大量擬合，控制實現(xiàn)簡單，成像速度快的優(yōu)點。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同限定。