本發(fā)明屬于數(shù)字圖像處理領(lǐng)域,更具體地,涉及一種低信噪比圖像重構(gòu)方法和系統(tǒng)。
背景技術(shù):
為觀測(cè)靠近玻片的細(xì)胞膜結(jié)構(gòu),通常采用全內(nèi)反射熒光顯微鏡(tirf)。tirf顯微鏡通過限制激發(fā)熒光的穿透深度,消除焦平面以外的背景熒光,達(dá)到提高信號(hào)噪聲比的目的。但全內(nèi)反射熒光顯微鏡受制于成像系統(tǒng)的頻率低通特性,相機(jī)采集到的熒光圖像分辨率較低。將結(jié)構(gòu)光照明超分辨顯微成像技術(shù)引入到大數(shù)值孔徑的tirf顯微鏡中,可以極大提高tirf顯微鏡的分辨率。但是隨著曝光時(shí)間進(jìn)一步縮短,采集速度提高的情況下,采集到的圖像噪聲較強(qiáng),信噪比較低。此時(shí)已不能準(zhǔn)確的估計(jì)參數(shù)和重構(gòu)清晰的超分辨圖像。本發(fā)明專利在低信噪比條件下,改進(jìn)了圖像重構(gòu)過程中參數(shù)估計(jì)的準(zhǔn)確性和魯棒性,同時(shí)提出了新的重構(gòu)方法,能將現(xiàn)有的時(shí)間分辨率提高三倍,并極大的降低了重構(gòu)圖像中人造偽影。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種低信噪比圖像重構(gòu)方法和系統(tǒng),其目的在于將現(xiàn)有時(shí)間分辨率提高,并降低圖像中的人造偽影,由此解決在曝光時(shí)間降低,采集圖像信噪比較低時(shí),全內(nèi)反射熒光顯微鏡圖像重構(gòu)過程中,參數(shù)估計(jì)不準(zhǔn)確的問題。
為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個(gè)方面,提供了一種低信噪比圖像重構(gòu)方法,包括:
(1)采集原始圖像并儲(chǔ)存,對(duì)原始圖像按照相位和方向進(jìn)行平均,得到平均圖像;
(2)對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像;
(3)計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量;
(4)對(duì)不同的歸一化分離圖像,按照估計(jì)的照明光向量平移,并對(duì)不同分離圖像的重疊區(qū)域計(jì)算線性回歸,估計(jì)出照明光向量的調(diào)制強(qiáng)度和初始相位;
(5)根據(jù)估計(jì)出的初始相位分解原始圖像得到分解圖像,根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像;
(6)對(duì)頻率移動(dòng)圖像進(jìn)行維納濾波,得到超分辨圖像;
(7)基于超分辨圖像建立用于去噪的目標(biāo)函數(shù),對(duì)目標(biāo)函數(shù)進(jìn)行迭代更新,當(dāng)誤差大于預(yù)設(shè)值時(shí),繼續(xù)迭代至誤差小于等于預(yù)設(shè)值,當(dāng)誤差小于等于預(yù)設(shè)值時(shí),迭代結(jié)束,得到去噪圖像。
進(jìn)一步的,目標(biāo)函數(shù)為:
進(jìn)一步的,rhessian(f)是關(guān)于去噪圖像在橫坐標(biāo)方向x,縱坐標(biāo)方向y,時(shí)間序列方向t上的海森矩陣的f范數(shù):
σ是由曝光時(shí)間決定的參數(shù),r是去噪圖像中的像素點(diǎn)的坐標(biāo),fxx表示去噪圖像在橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxy表示去噪圖像在橫坐標(biāo)方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxt表示去噪圖像在橫坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,fyx表示去噪圖像在縱坐標(biāo)方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyy表示去噪圖像在縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyt表示去噪圖像在縱坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,ftx表示去噪圖像在時(shí)間序列方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fty表示去噪圖像在時(shí)間序列方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,ftt表示去噪圖像在時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值。
按照本發(fā)明的另一方面,提供了一種低信噪比圖像重構(gòu)系統(tǒng),包括:
第一模塊,用于采集原始圖像并儲(chǔ)存,對(duì)原始圖像按照相位和方向進(jìn)行平均,得到平均圖像;
第二模塊,用于對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像;
第三模塊,用于計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量;
第四模塊,用于對(duì)不同的歸一化分離圖像,按照估計(jì)的照明光向量平移,并對(duì)不同分離圖像的重疊區(qū)域計(jì)算線性回歸,估計(jì)出照明光向量的調(diào)制強(qiáng)度和初始相位;
第五模塊,用于根據(jù)估計(jì)出的初始相位分解原始圖像得到分解圖像,根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像;
第六模塊,用于對(duì)頻率移動(dòng)圖像進(jìn)行維納濾波,得到超分辨圖像;
第七模塊,用于建立用于去噪的目標(biāo)函數(shù),對(duì)目標(biāo)函數(shù)進(jìn)行迭代更新,當(dāng)誤差大于預(yù)設(shè)值時(shí),繼續(xù)迭代至誤差小于等于預(yù)設(shè)值,當(dāng)誤差小于等于預(yù)設(shè)值時(shí),迭代結(jié)束,得到去噪圖像。
進(jìn)一步的,目標(biāo)函數(shù)為:
進(jìn)一步的,rhessian(f)是關(guān)于去噪圖像在橫坐標(biāo)方向x,縱坐標(biāo)方向y,時(shí)間序列方向t上的海森矩陣的f范數(shù):
σ是由曝光時(shí)間決定的參數(shù),r是去噪圖像中的像素點(diǎn)的坐標(biāo),fxx表示去噪圖像在橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxy表示去噪圖像在橫坐標(biāo)方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxt表示去噪圖像在橫坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,fyx表示去噪圖像在縱坐標(biāo)方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyy表示去噪圖像在縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyt表示去噪圖像在縱坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,ftx表示去噪圖像在時(shí)間序列方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fty,表示去噪圖像在時(shí)間序列方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,ftt,表示去噪圖像在時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值。
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,能夠取得下列有益效果:
1、提高了重構(gòu)超分辨圖像的時(shí)間分辨率,能夠更清楚的觀察動(dòng)態(tài)變化;
2、加強(qiáng)了增強(qiáng)了低信噪比條件下重構(gòu)超分辨圖像的質(zhì)量,減弱了超分辨圖像中的人造偽影;
3、對(duì)原始圖像按照相位和方向平均,對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像,計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量,由此估計(jì)得到的參數(shù):照明光向量、調(diào)制強(qiáng)度和初始相位,在低信噪比條件下具有穩(wěn)定性和魯棒性。
附圖說明
圖1是一種低信噪比圖像重構(gòu)方法的流程圖;
圖2是一種低信噪比圖像重構(gòu)方法的效果圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
如圖1所示,按照本發(fā)明的一個(gè)方面,提供了一種低信噪比圖像重構(gòu)方法,包括:
(1)采集原始圖像并儲(chǔ)存,對(duì)原始圖像按照相位和方向進(jìn)行平均,得到平均圖像;
(2)對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像;
(3)計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量;
(4)對(duì)不同的歸一化分離圖像,按照估計(jì)的照明光向量平移,并對(duì)不同分離圖像的重疊區(qū)域計(jì)算線性回歸,估計(jì)出照明光向量的調(diào)制強(qiáng)度和初始相位;
(5)根據(jù)估計(jì)出的初始相位分解原始圖像得到分解圖像,根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像;
(6)對(duì)頻率移動(dòng)圖像進(jìn)行維納濾波,得到超分辨圖像;
(7)基于超分辨圖像建立用于去噪的目標(biāo)函數(shù),對(duì)目標(biāo)函數(shù)進(jìn)行迭代更新,當(dāng)誤差大于預(yù)設(shè)值時(shí),繼續(xù)迭代至誤差小于等于預(yù)設(shè)值,當(dāng)誤差小于等于預(yù)設(shè)值時(shí),迭代結(jié)束,得到去噪圖像。
進(jìn)一步的,目標(biāo)函數(shù)為:
進(jìn)一步的,rhessian(f)是關(guān)于去噪圖像在橫坐標(biāo)方向x,縱坐標(biāo)方向y,時(shí)間序列方向t上的海森矩陣的f范數(shù):
σ是由曝光時(shí)間決定的參數(shù),r是去噪圖像中的像素點(diǎn)的坐標(biāo),fxx表示去噪圖像在橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxy表示去噪圖像在橫坐標(biāo)方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxt表示去噪圖像在橫坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,fyx表示去噪圖像在縱坐標(biāo)方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyy表示去噪圖像在縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyt表示去噪圖像在縱坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,ftx表示去噪圖像在時(shí)間序列方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fty表示去噪圖像在時(shí)間序列方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,ftt表示去噪圖像在時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值。
按照本發(fā)明的另一方面,提供了一種低信噪比圖像重構(gòu)系統(tǒng),包括:
第一模塊,用于采集原始圖像并儲(chǔ)存,對(duì)原始圖像按照相位和方向進(jìn)行平均,得到平均圖像;
第二模塊,用于對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像;
第三模塊,用于計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量;
第四模塊,用于對(duì)不同的歸一化分離圖像,按照估計(jì)的照明光向量平移,并對(duì)不同分離圖像的重疊區(qū)域計(jì)算線性回歸,估計(jì)出照明光向量的調(diào)制強(qiáng)度和初始相位;
第五模塊,用于根據(jù)估計(jì)出的初始相位分解原始圖像得到分解圖像,根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像;
第六模塊,用于對(duì)頻率移動(dòng)圖像進(jìn)行維納濾波,得到超分辨圖像;
第七模塊,用于建立用于去噪的目標(biāo)函數(shù),對(duì)目標(biāo)函數(shù)進(jìn)行迭代更新,當(dāng)誤差大于預(yù)設(shè)值時(shí),繼續(xù)迭代至誤差小于等于預(yù)設(shè)值,當(dāng)誤差小于等于預(yù)設(shè)值時(shí),迭代結(jié)束,得到去噪圖像。
進(jìn)一步的,目標(biāo)函數(shù)為:
進(jìn)一步的,rhessian(f)是關(guān)于去噪圖像在橫坐標(biāo)方向x,縱坐標(biāo)方向y,時(shí)間序列方向t上的海森矩陣的f范數(shù):
σ是由曝光時(shí)間決定的參數(shù),r是去噪圖像中的像素點(diǎn)的坐標(biāo),fxx表示去噪圖像在橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxy表示去噪圖像在橫坐標(biāo)方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxt表示去噪圖像在橫坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,fyx表示去噪圖像在縱坐標(biāo)方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyy表示去噪圖像在縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyt表示去噪圖像在縱坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,ftx表示去噪圖像在時(shí)間序列方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fty表示去噪圖像在時(shí)間序列方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,ftt表示去噪圖像在時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值。
實(shí)施例1
如圖2所示,一種低信噪比圖像重構(gòu)方法的效果,包括:
(1)采集9×n幀原始圖像并儲(chǔ)存,對(duì)原始圖像按照相位和方向基于像素點(diǎn)的灰度值進(jìn)行平均,得到平均圖像;
將連續(xù)采集的9×n幀原始圖像以每隔9幀的方式計(jì)算平均圖像的像素點(diǎn)的灰度值
y9t+i是第9t+i幀原始圖像的像素點(diǎn)的灰度值,n由采集圖像的噪聲水平?jīng)Q定,一般取值在10到100之間,t表示采集原始圖像的時(shí)間序列。
其中,每隔9幀的中的9幀為3t+1~3t+9這9幀圖像,這樣做可以將現(xiàn)有的時(shí)間分辨率提高三倍。
(2)對(duì)平均圖像按照相位差分離得到分離圖像,對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像;
對(duì)平均圖像按照已知的120°相位差進(jìn)行分離,
其中,j2=-1,
接著對(duì)分離圖像進(jìn)行歸一化處理,得到歸一化分離圖像,對(duì)sm,d(k)逐像素點(diǎn)除以其模:
(3)計(jì)算歸一化分離圖像互相關(guān)函數(shù),互相關(guān)函數(shù)最大時(shí)對(duì)應(yīng)的照明光向量作為估計(jì)的照明光向量;
然后對(duì)歸一化分離圖像
其中,o(k)為已知的系統(tǒng)光學(xué)傳遞函數(shù),o(k+pmmd)為對(duì)o(k)進(jìn)行頻率移動(dòng)后的系統(tǒng)光學(xué)傳遞函數(shù),移動(dòng)的距離和方向?yàn)檎彰鞴庀蛄縫md,sm,d(k+pmd)為對(duì)sm,d(k)進(jìn)行頻率移動(dòng)后的圖像的像素值,移動(dòng)的距離和方向?yàn)檎彰鞴庀蛄縫md。
(4)對(duì)不同的歸一化分離圖像,按照估計(jì)的照明光向量平移,并對(duì)不同分離圖像的重疊區(qū)域計(jì)算線性回歸,估計(jì)出照明光向量的調(diào)制強(qiáng)度和初始相位;
(5)根據(jù)估計(jì)出的初始相位分解原始圖像得到分解圖像,根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像;
其中,
根據(jù)估計(jì)的照明光向量,對(duì)分解圖像進(jìn)行頻率移動(dòng)得到頻率移動(dòng)圖像,頻率移動(dòng)圖像的像素點(diǎn)的值為dm,d(k+pmd)。
(6)對(duì)頻率移動(dòng)圖像進(jìn)行維納濾波,得到超分辨圖像;
其中,g是超分辨圖像的像素點(diǎn)的灰度值,ifft表示反傅里葉變換,cm,d表示估計(jì)出照明光向量的調(diào)制強(qiáng)度,a(k)表示切趾函數(shù),為了防止反傅里葉變換后的超分辨圖像出現(xiàn)振鈴效應(yīng),α表示維納濾波參數(shù)。
(7)基于超分辨圖像建立用于去噪的目標(biāo)函數(shù),對(duì)去噪的目標(biāo)函數(shù)進(jìn)行迭代更新,當(dāng)誤差大于預(yù)設(shè)值時(shí),繼續(xù)迭代至誤差小于等于預(yù)設(shè)值,否則迭代結(jié)束,得到去噪圖像。
去噪的目標(biāo)函數(shù)為:
rhessian(f)是關(guān)于去噪圖像在橫坐標(biāo)方向x,縱坐標(biāo)方向y,時(shí)間序列方向t上的海森矩陣的f范數(shù):
σ是由曝光時(shí)間決定的參數(shù),優(yōu)選的,一般采用1,r是去噪圖像中的像素點(diǎn)的坐標(biāo),fxx表示去噪圖像在橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxy表示去噪圖像在橫坐標(biāo)方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fxt表示去噪圖像在橫坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,fyx表示去噪圖像在縱坐標(biāo)方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyy表示去噪圖像在縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fyt表示去噪圖像在縱坐標(biāo)方向和時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值,ftx表示去噪圖像在時(shí)間序列方向和橫坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,fty表示去噪圖像在時(shí)間序列方向和縱坐標(biāo)方向的像素點(diǎn)的二階差分的灰度值,ftt表示去噪圖像在時(shí)間序列方向的像素點(diǎn)的二階差分的灰度值。
通過最小優(yōu)化方法(majorization-minimization),將rhession(f)轉(zhuǎn)化為二次型
其中,rhessian(f(v))表示第v次迭代的去噪圖像f(v)的海森懲罰項(xiàng),const是常數(shù)。
目標(biāo)函數(shù)φ(f)即轉(zhuǎn)化二次型q(f;f(v)):
令
通過共軛梯度法可以求解出去噪圖像的像素點(diǎn)的灰度值f的最優(yōu)解f(c)。將f(c)帶入新一輪迭代,令c=c+1,重新更新rhessian(f(v))和方程
本領(lǐng)域的技術(shù)人員容易理解,以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。