本發(fā)明涉及圖片全息重建，特別是一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法及系統(tǒng)。

背景技術(shù)：

1、無透鏡數(shù)字全息成像技術(shù)有意繞開昂貴且復(fù)雜的光學(xué)組件系統(tǒng)，作為一種低成本且緊湊的優(yōu)秀替代方案，它能夠提供除振幅以外的另一個(gè)觀測(cè)維度：相位。這一能力被廣泛應(yīng)用于生物樣本、納米制造、光學(xué)檢測(cè)計(jì)量等微觀定量分析。但是，由于現(xiàn)有的光電探測(cè)器只能記錄光強(qiáng)信息，丟失了相位信息。同時(shí)，從二維強(qiáng)度信息中解算相位信息是一個(gè)不適定問題。已有基于多幀編碼來提供先驗(yàn)信息進(jìn)行有效約束的全息成像系統(tǒng)(詳見參考專利：曹良才，張文輝，張浩等.準(zhǔn)共光路多角度照明數(shù)字全息成像系統(tǒng)及方法[p].北京市:cn107741691b，2019-07-26.)，但通常需要額外附加掃描裝置，這導(dǎo)致光路系統(tǒng)變得愈加復(fù)雜。于是基于單幀成像的數(shù)字全息系統(tǒng)和方案開始被設(shè)計(jì)，其中主要有兩大類：基于壓縮感知的方法和基于深度學(xué)習(xí)的方法(詳見參考文獻(xiàn)：zhangw，cao?l，brady?d?j，et?al.twin-image-free?holography:a?compressive?sensing?approach[j].physicalreviewletters，2018，121(9):093902.參考專利：邸江磊，王凱強(qiáng)，李穎等.一種基于深度學(xué)習(xí)的全息重建算法[p].陜西?。篶n109459923a，2019-03-12.)。到目前為止，現(xiàn)有的這兩類全息重建方法總是需要在普適性和成像質(zhì)量之間做出權(quán)衡。

2、為解決上述技術(shù)問題，通過探索傅里葉域網(wǎng)絡(luò)與模型驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)在頻率恢復(fù)機(jī)制上的差異性，本發(fā)明提出了一種同時(shí)兼具頻率感知學(xué)習(xí)和物理引導(dǎo)的全息重建系統(tǒng)與方法。該方法能夠用于高分辨的全息重建，并且其思路可以基于不同的成像任務(wù)來選擇和構(gòu)建合適的深度學(xué)習(xí)模型。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明所要解決的問題是：如何解決現(xiàn)有全息重建方法總是需要在普適性和成像質(zhì)量之間做出權(quán)衡的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法，包括，采集標(biāo)簽數(shù)據(jù)對(duì)集合；采用訓(xùn)練集進(jìn)行頻率感知數(shù)據(jù)驅(qū)動(dòng)網(wǎng)絡(luò)訓(xùn)練，得到一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)模型；根據(jù)成像光路搭建實(shí)際環(huán)境的全息成像系統(tǒng)，并對(duì)全息成像系統(tǒng)進(jìn)行準(zhǔn)直操作，使用搭建好的全息成像系統(tǒng)對(duì)真實(shí)物體進(jìn)行測(cè)量獲得一張全息圖；將獲取的全息圖輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，并在網(wǎng)絡(luò)模型的基礎(chǔ)上，加入成像的正向模型進(jìn)行迭代優(yōu)化，最后輸出增強(qiáng)優(yōu)化后的全息重建圖。

4、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述標(biāo)簽數(shù)據(jù)對(duì)集合包括，網(wǎng)絡(luò)輸入圖片與標(biāo)簽視為一對(duì)數(shù)據(jù)，并按照網(wǎng)絡(luò)的輸入尺寸大小將開源數(shù)據(jù)集裁剪為128x128的圖像。

5、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述預(yù)訓(xùn)練網(wǎng)絡(luò)模型包括，網(wǎng)絡(luò)輸入的圖片首先在空間域通過兩次3×3的卷積層、relu激活函數(shù)、批歸一化操作進(jìn)行初步特征提取；根據(jù)提取的初步特征，進(jìn)行采樣，先后通過四個(gè)下采樣和四個(gè)上采樣，在每一個(gè)下、上采樣后都會(huì)經(jīng)過一個(gè)頻率感知模塊；最后將輸出的全局特征通過1×1的卷積層得到整個(gè)網(wǎng)絡(luò)輸出的全息重建圖，將輸出的重建圖與標(biāo)簽y通過計(jì)算損失函數(shù)最小化的方式進(jìn)行比對(duì)，訓(xùn)練第一階段的網(wǎng)絡(luò)模型

6、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述頻率感知模塊包括，提取的特征進(jìn)行快速傅里葉變換由空間域轉(zhuǎn)換到頻率域，經(jīng)過兩次3×3的卷積層、leakyrelu激活函數(shù)、批歸一化操作提取全局特征，最后通過逆傅里葉變換再回到空間域。

7、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述預(yù)訓(xùn)練網(wǎng)絡(luò)模型還包括，利用提出的具有頻率感知的神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)進(jìn)行去噪和高頻信息增強(qiáng)，通過衍射模型繼續(xù)對(duì)現(xiàn)有模型進(jìn)行引導(dǎo)訓(xùn)練，兩步訓(xùn)練的對(duì)象是同一個(gè)神經(jīng)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)以u(píng)-net為基礎(chǔ)模型，將全息圖作為輸入先經(jīng)過兩個(gè)3x3卷積層，使用二維實(shí)數(shù)傅里葉變換在傅里葉域?qū)W習(xí)頻率的精細(xì)分布，再經(jīng)過二維實(shí)數(shù)逆傅里葉變換回到空間域，經(jīng)過1x1卷積的輸出層后得到重建的相位圖，表示為：

8、

9、

10、其中，是網(wǎng)絡(luò)輸出的重建相位物體，fx為沿x軸方向上的空間頻率，fy為沿y軸方向上的空間頻率，f(·)是傅里葉變換，u(x,y,d)的絕對(duì)值為重建圖像，而|u(x,y,d)|2為系統(tǒng)的正向物理過程，i為虛數(shù)，h(fx,fy,λ,d)為光的傳播因子，d為相位物體與探測(cè)器平面之間的傳播距離，λ為波長(zhǎng)。

11、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述損失函數(shù)包括，對(duì)于優(yōu)化訓(xùn)練的第一階段和第二階段的損失函數(shù)lstage1和lstage2，結(jié)合了均方誤差、平均絕對(duì)誤差和全變分正則化器，表示為：

12、

13、

14、其中，f(y)和表示對(duì)第一階段中重建圖和目標(biāo)真值y進(jìn)行傅里葉變換操作，f(j)和表示對(duì)第二階段中測(cè)量衍射全息圖j和預(yù)測(cè)衍射全息圖進(jìn)行傅里葉變換操作，||·||1和||·||2分別表示1范數(shù)和2范數(shù)，α為均方誤差對(duì)應(yīng)的權(quán)重系數(shù)，β為平均絕對(duì)誤差對(duì)應(yīng)的權(quán)重系數(shù)，γ為tv正則化器的懲罰系數(shù)；對(duì)于網(wǎng)絡(luò)訓(xùn)練的第一階段，將網(wǎng)絡(luò)輸出的重建圖與目標(biāo)真值y計(jì)算lstage1后通過反向傳播算法優(yōu)化網(wǎng)絡(luò)，第二階段是將網(wǎng)絡(luò)輸入的測(cè)量衍射全息圖j與預(yù)測(cè)衍射全息圖計(jì)算lstage2通過反向傳播算法對(duì)第一階段網(wǎng)絡(luò)模型進(jìn)行微調(diào)。

15、作為本發(fā)明所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的一種優(yōu)選方案，其中：所述全息成像系統(tǒng)包括，搭建一個(gè)真實(shí)環(huán)境下的全息系統(tǒng)，并進(jìn)行光路準(zhǔn)直、擴(kuò)束、濾波預(yù)處理操作，待光路實(shí)驗(yàn)的預(yù)處理操作完成之后，將真實(shí)樣本放置在上述所搭建的全息系統(tǒng)中，通過相干光源照明傳播距離d后由相機(jī)采集獲得一張衍射全息圖；所述增強(qiáng)優(yōu)化后的全息重建圖包括，將獲取的衍射全息圖輸入到訓(xùn)練好的網(wǎng)絡(luò)模型rθ中獲得一個(gè)準(zhǔn)確的相位初始值，加入成像的正向模型對(duì)初始相位進(jìn)行迭代優(yōu)化，以預(yù)測(cè)全息圖與相機(jī)采集全息圖之間的誤差最小化為優(yōu)化目標(biāo)，在迭代優(yōu)化完成后輸出增強(qiáng)后的全息重建圖。

16、本發(fā)明的另外一個(gè)目的是提供一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的系統(tǒng)，其能通過構(gòu)建圖片全息重建系統(tǒng)，解決了一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建問題。

17、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建系統(tǒng)，包括，數(shù)據(jù)采集模塊、模型訓(xùn)練模塊、系統(tǒng)搭建模塊及成像模塊；所述數(shù)據(jù)采集模塊用于采集標(biāo)簽數(shù)據(jù)對(duì)集合；所述模型訓(xùn)練模塊采用訓(xùn)練集進(jìn)行頻率感知數(shù)據(jù)驅(qū)動(dòng)網(wǎng)絡(luò)訓(xùn)練，得到一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)模型；所述系統(tǒng)搭建模塊根據(jù)成像光路搭建實(shí)際環(huán)境的全息成像系統(tǒng)，并對(duì)全息成像系統(tǒng)進(jìn)行準(zhǔn)直操作，使用搭建好的全息成像系統(tǒng)對(duì)真實(shí)物體進(jìn)行測(cè)量獲得一張全息圖；所述成像模塊用于將獲取的全息圖輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，并在網(wǎng)絡(luò)模型的基礎(chǔ)上，加入成像的正向模型進(jìn)行迭代優(yōu)化，最后輸出增強(qiáng)優(yōu)化后的全息重建圖。

18、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的步驟。

19、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法的步驟。

20、本發(fā)明有益效果為：本發(fā)明提供的一種頻率感知的物理引導(dǎo)神經(jīng)網(wǎng)絡(luò)的全息重建方法與端到端深度學(xué)習(xí)和傳統(tǒng)基于物理的方法相比，本發(fā)明能夠同時(shí)兼具普適性與成像質(zhì)量，通過將物理正向模型與傅里葉域?qū)W習(xí)納入網(wǎng)絡(luò)推理，很大程度上減少了數(shù)字全息重建的不適定性。本發(fā)明的結(jié)合思路特別適用于精細(xì)特征豐富的生物顯微成像方面，將助力高通量3d顯微成像。