本發(fā)明屬于超分辨定位顯微成像技術(shù)領(lǐng)域，更具體地，涉及一種用于超分辨定位顯微成像的數(shù)據(jù)處理裝置及方法。

背景技術(shù)：

超分辨定位成像技術(shù)已可實(shí)現(xiàn)達(dá)到20nm的空間分辨率，可以從分子水平研究細(xì)胞內(nèi)復(fù)雜的工作機(jī)制，已成為生命科學(xué)研究領(lǐng)域不可或缺的研究工具。隨著探測(cè)器技術(shù)的快速發(fā)展，人們希望在不犧牲成像視場(chǎng)和空間分辨率的情況下，提高超分辨定位成像的時(shí)間分辨率。為提高超分辨定位顯微成像的時(shí)間分辨率，快速發(fā)展的弱光探測(cè)器(sCMOS)已經(jīng)做到理論420M pixel/s的圖像采集速率。然而，目前電腦對(duì)于采集到的數(shù)據(jù)計(jì)算速度卻遠(yuǎn)不能做到實(shí)時(shí)處理。當(dāng)前的主要系統(tǒng)架構(gòu)是將sCMOS探測(cè)器采集到的數(shù)據(jù)，直接連接到計(jì)算機(jī)，由計(jì)算機(jī)的中央處理器(CPU)和圖形處理器(GPU)聯(lián)合計(jì)算，通過(guò)超分辨定位算法來(lái)實(shí)現(xiàn)圖像的處理。依據(jù)不同的算法，所得到的超分辨圖的精度和速度有很大差別。但均不能實(shí)現(xiàn)實(shí)時(shí)處理。對(duì)于sCMOS探測(cè)器而言，圖像數(shù)據(jù)采集的速率遠(yuǎn)超算法的計(jì)算速率。即使是精度較低的代數(shù)算法，也需經(jīng)過(guò)較長(zhǎng)時(shí)間的數(shù)據(jù)處理才能得到一張超分辨重建圖，極大地制約了超分辨定位顯微成像技術(shù)的發(fā)展。因此，發(fā)明一種既能滿足高精度的空間分辨率又能滿足實(shí)時(shí)數(shù)據(jù)處理的方法成為本領(lǐng)域的迫切需求。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明提供的一種用于超分辨定位顯微成像的數(shù)據(jù)處理裝置，旨在解決現(xiàn)有處理裝置不能兼顧高精度的空間分辨率又能滿足實(shí)時(shí)數(shù)據(jù)處理的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種用于超分辨定位顯微成像的數(shù)據(jù)處理裝置，包括數(shù)據(jù)預(yù)處理電路以及第一處理器；

數(shù)據(jù)預(yù)處理電路包括：

探測(cè)器接口電路，用于采集并傳輸熒光圖；

FPGA，其輸入端與探測(cè)器接口電路的輸出端連接，用于從熒光圖中提取熒光分子子區(qū)域；以及

第一接口電路，其輸入端與FPGA的輸出端連接，用于將熒光分子子區(qū)域傳輸至第一處理器；

第一處理器包括：

存儲(chǔ)器，其第一端與第一接口電路的輸出端連接，用于存儲(chǔ)熒光分子子區(qū)域；

CPU，用于向GPU發(fā)送定位指令，并接收GPU輸出的超分辨重建圖；

GPU，其第一端與CPU的第一端連接，其第二端與存儲(chǔ)器的第二端連接，用于根據(jù)定位指令對(duì)熒光分子子區(qū)域進(jìn)行定位處理，獲得超分辨重建圖，并將超分辨重建圖傳輸至CPU，超分辨重建圖由最終最終在圖像顯示器上顯示出來(lái)。

本發(fā)明提供的數(shù)據(jù)處理裝置，由數(shù)據(jù)預(yù)處理電路從熒光圖中提取熒光分子子區(qū)域，將熒光分子子區(qū)域傳輸至第一處理器，第一處理器中的CPU與GPU僅完成對(duì)熒光分子子區(qū)域的定位處理，能夠提高第一處理器獲得超分辨重建圖的效率。通過(guò)探測(cè)器接口電路快速?gòu)奶綔y(cè)器中獲取熒光圖，由FPGA內(nèi)部提供的硬件電路，能夠?qū)崟r(shí)從大量的熒光圖中提取小數(shù)據(jù)量的熒光分子子區(qū)域，并由第一接口電路將熒光分子子區(qū)域快速傳輸至第一處理器。因此，本發(fā)明提供的數(shù)據(jù)處理裝置既能實(shí)現(xiàn)高精度超分辨圖像實(shí)時(shí)重建。

進(jìn)一步地，數(shù)據(jù)預(yù)處理電路中還包括：多路復(fù)用電路，其輸入端與探測(cè)器接口電路輸出端連接，其第一輸出端與FPGA的輸入端連接，其第二輸出端用于將熒光圖傳輸至第二處理器，多路復(fù)用電路用于接收并將熒光圖復(fù)制為兩路熒光圖輸出。

多路復(fù)用電路實(shí)現(xiàn)將熒光圖分為多路熒光圖，一路熒光圖傳送至數(shù)據(jù)預(yù)處理電路，一路熒光圖傳送至第二處理器，由第二處理器對(duì)熒光圖進(jìn)行超分辨定位處理，使得本發(fā)明提供的數(shù)據(jù)處理裝置與現(xiàn)有的數(shù)據(jù)處理裝置能夠兼容，用戶可以保留原圖像處理方式。

進(jìn)一步地?cái)?shù)據(jù)預(yù)處理電路中還包括：多路復(fù)用電路，其輸入端與探測(cè)器接口電路輸出端連接，其第一輸出端與FPGA的輸入端連接，其第二輸出端用于將熒光圖傳輸至第二處理器，其第三端至第N端用于作為擴(kuò)展接口，多路復(fù)用電路用于接收并將熒光圖復(fù)制為多路熒光圖輸出，其中，N≥3。

進(jìn)一步地，F(xiàn)PGA包括：

熒光圖讀取模塊，其輸入端與探測(cè)器接口電路的輸出端連接，用于獲取熒光圖，并將熒光圖分為三路熒光圖輸出；

降噪處理模塊，其輸入端與所述熒光圖讀取模塊的第一輸出端連接，用于對(duì)熒光圖進(jìn)行降噪處理，輸出第一圖像；

去背景處理模塊，其輸入端與降噪處理模塊的輸出端連接，用于對(duì)第一圖像進(jìn)行去背景處理，輸出第二圖像；

背景波動(dòng)強(qiáng)度獲取模塊，包括第三子區(qū)域獲取電路，其輸入端與熒光圖讀取模塊第二輸出端連接，用于從熒光圖中提取出第三當(dāng)前處理子區(qū)域；背景波動(dòng)強(qiáng)度獲取電路，其輸入端與第三子區(qū)域獲取電路的輸出端連接，用于獲得第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，并將第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，用作熒光分子子區(qū)域判斷的閾值；以及

子區(qū)域判斷與提取模塊，包括第四子區(qū)域獲取電路，其輸入端與去背景處理模塊的輸出端連接，用于從第二圖像中提取第四當(dāng)前處理子區(qū)域；子區(qū)域判斷電路，其第一輸入端與第四子區(qū)域獲取電路的輸出端連接，其第二輸入端與背景波動(dòng)強(qiáng)度獲取電路的輸出端連接，將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)的背景波動(dòng)強(qiáng)度，根據(jù)第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度和第四當(dāng)前處理子區(qū)域的信號(hào)強(qiáng)度確定第四當(dāng)前處理子區(qū)域是否存在熒光分子，并輸出子區(qū)域提取控制信號(hào)；備選子區(qū)域獲取電路，其輸入端與所述熒光圖讀取模塊第三輸出端連接，用于從熒光圖中提取備選子區(qū)域；子區(qū)域提取電路，其輸入端與備選子區(qū)域提取電路的輸出端連接，其控制端與子區(qū)域判斷電路輸出端連接，根據(jù)子區(qū)域提取控制信號(hào)確定備選子區(qū)域是否為熒光分子子區(qū)域。

背景波動(dòng)強(qiáng)度獲取模塊中對(duì)第三當(dāng)前處理子區(qū)域進(jìn)行局部標(biāo)準(zhǔn)差處理，獲得第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，僅用到局部的圖像信息，使得每個(gè)子區(qū)域都有一個(gè)背景波動(dòng)強(qiáng)度，而不是整個(gè)圖像中所有子區(qū)域共享一個(gè)背景波動(dòng)強(qiáng)度，可以在整幅圖像具有不均勻背景的情況下使得所提取的熒光分子子區(qū)域更加準(zhǔn)確，具有更好的適應(yīng)性，由FPGA中電路完成從熒光圖中提取熒光分子子區(qū)域，相較于現(xiàn)有的數(shù)據(jù)處理裝置采用CPU與GPU聯(lián)合處理熒光圖，數(shù)據(jù)處理速率明顯提升。

進(jìn)一步地，背景波動(dòng)強(qiáng)度獲取電路包括：

像素比較器，其輸入端與所述第三子區(qū)域獲取電路的輸出端連接，用于根據(jù)第三當(dāng)前處理子區(qū)域各像素的灰度值從第三當(dāng)前處理子區(qū)域中獲得篩選像素；

均值加法器，其輸入端與所述像素比較器的輸出端連接，用于獲得篩選像素的平均值；

減法器，其第一輸入端與所述像素比較器的輸出端連接，其第二輸入端與均值加法器的輸出端連接，用于獲得各篩選像素與篩選像素的平均值的差值；以及

局部標(biāo)準(zhǔn)差加法器，其輸入端與減法器的輸出端連接，用于將各篩選像素與篩選像素的平均值的差值求和，獲得第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差。

本發(fā)明提供的背景波動(dòng)強(qiáng)度獲取電路，通過(guò)像素比較器根據(jù)第三當(dāng)前處理子區(qū)域的灰度值獲得篩選像素，用篩選像素進(jìn)行局部標(biāo)準(zhǔn)差計(jì)算，可以提高背景波動(dòng)強(qiáng)度獲取電路處理速度。

進(jìn)一步地，子區(qū)域判斷電路包括：

第一像素比較器，其輸入端與所述第四子區(qū)域獲取電路的輸出端連接，用于判斷第四當(dāng)前處理子區(qū)域的中心像素灰度值是否為第四當(dāng)前處理子區(qū)域各像素灰度值中最大值，并根據(jù)判斷結(jié)果輸出第一電平值；

第二像素比較器，其一輸入端與所述第四子區(qū)域獲取電路輸出端連接，其另一輸入端與所述背景波動(dòng)強(qiáng)度獲取電路輸出端連接，用于根據(jù)第四當(dāng)前處理子區(qū)域的中心像素灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度輸出第二電平值；

四鄰域像素加法器，其輸入端與所述第四子區(qū)域獲取電路輸出端連接，用于將第四當(dāng)前處理子區(qū)域中心像素的四鄰域像素灰度值和第四當(dāng)前處理子區(qū)域的中心像素灰度值進(jìn)行累加處理輸出第一累加灰度值；

八鄰域像素加法器，其輸入端與所述第四子區(qū)域獲取電路輸出端連接，用于將第四當(dāng)前處理子區(qū)域中心像素的八鄰域像素灰度值和第四當(dāng)前處理子區(qū)域的中心像素灰度值進(jìn)行累加處理獲得第二累加灰度值；

四鄰域像素比較器，其一輸入端與所述四鄰域像素加法器的輸出端連接，其另一輸入端與所述背景波動(dòng)強(qiáng)度獲取電路輸出端連接，用于根據(jù)第一累加灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度輸出第三電平值；

八鄰域像素比較器，其一輸入端與所述八鄰域像素加法器輸出端連接，其另一輸入端與所述背景波動(dòng)強(qiáng)度獲取電路輸出端連接，用于根據(jù)第二累加灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度輸出第四電平值；以及

邏輯與門(mén)，其第一輸入端與所述第一像素比較器的輸出端連接，其第二輸入端與所述第二像素比較器的輸出端連接，其第三輸入端與所述四鄰域像素比較器的輸出端連接，其第四輸入端與所述八鄰域像素比較器的輸出端連接，用于根據(jù)第一電平值至第四電平值輸出子區(qū)域提取控制信號(hào)。

本發(fā)明提供的子區(qū)域判斷與提取模塊，通過(guò)判斷第四當(dāng)前處理子區(qū)域的中心像素的灰度值是否為第四當(dāng)前處理子區(qū)域的所有灰度值的最大值確定熒光分子位于第四當(dāng)前處理子區(qū)域的中心位置，將第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為閾值，將第四當(dāng)前處理子區(qū)域的中心像素的灰度值、以及四鄰域像素的灰度值、八鄰域像素的灰度值與第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度比較判斷第四當(dāng)前處理子區(qū)域是否存在熒光分子，消除背景對(duì)熒光分子判斷的影響，使得判斷結(jié)果更加準(zhǔn)確。

作為本發(fā)明的另一方面，本發(fā)明提供了用于超分辨定位顯微成像的數(shù)據(jù)預(yù)處理方法，包括如下步驟：

(1)對(duì)熒光圖進(jìn)行降噪聲處理輸出第一圖像，并對(duì)第一圖像進(jìn)行去背景噪聲處理，輸出第二圖像；

從熒光圖中提取第三當(dāng)前處理子區(qū)域，并對(duì)第三當(dāng)前處理子區(qū)域進(jìn)行局部標(biāo)準(zhǔn)差處理，獲得第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，并將第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度；更新第三當(dāng)前處理子區(qū)域，獲得熒光圖中各像素的背景波動(dòng)強(qiáng)度，將熒光圖所有像素的背景波動(dòng)強(qiáng)度作為第二圖像中所有像素的背景波動(dòng)強(qiáng)度；

(2)從第二圖像中提取第四當(dāng)前處理子區(qū)域，將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)的背景波動(dòng)強(qiáng)度，根據(jù)第四當(dāng)前處理子區(qū)域信號(hào)強(qiáng)度和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度判斷第四當(dāng)前處理子區(qū)域是否存在熒光分子子區(qū)域，并根據(jù)判斷結(jié)果確定是否將熒光圖中與第四當(dāng)前處理子區(qū)域在第二圖像中位置相同的區(qū)域作為熒光分子子區(qū)域；更新第四當(dāng)前處理子區(qū)域，提取熒光圖中所有熒光分子子區(qū)域；

(3)將熒光分子子區(qū)域進(jìn)行定位處理，獲得超分辨重建圖像。

本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)預(yù)處理方法，將從熒光圖中提取的每個(gè)第三當(dāng)前處理子區(qū)域進(jìn)行局部標(biāo)準(zhǔn)差處理，獲得第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并從第二圖像中提取第四當(dāng)前處理子區(qū)域，將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并根據(jù)第四當(dāng)前處理子區(qū)域的信號(hào)強(qiáng)度和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度確定第四當(dāng)前處理子區(qū)域是否存在熒光分子，可以在整幅圖像具有不均勻背景的情況下使得所提取的熒光分子子區(qū)域更加準(zhǔn)確，具有更好的適應(yīng)性，獲得準(zhǔn)確的超分辨重建圖像。

進(jìn)一步地，步驟(2)包括如下步驟：

(21)從第二圖像中提取第四當(dāng)前處理子區(qū)域，若第四當(dāng)前處理子區(qū)域的中心像素的灰度值為第四當(dāng)前處理子區(qū)域所有像素的灰度值的最大值，

且第四當(dāng)前處理子區(qū)域的中心像素的灰度值大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的2倍；

且第四當(dāng)前處理子區(qū)域中心像素的灰度值與第四當(dāng)前處理子區(qū)域中心像素的四鄰域像素的灰度值之和大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的9倍，

且第四當(dāng)前處理子區(qū)域的中心像素的灰度值與第四當(dāng)前處理子區(qū)域中心像素的八鄰域像素的灰度值之和大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的11倍；

則將熒光圖中與第四當(dāng)前處理子區(qū)域在第二圖像中位置相同的區(qū)域作為熒光分子子區(qū)域提取，并進(jìn)入步驟(22)；否則不提取熒光圖中與第四當(dāng)前處理子區(qū)域在第二圖像中位置相同的區(qū)域，進(jìn)入步驟(22)；

(22)判斷是否所有第四當(dāng)前處理子區(qū)域是否都已被提取，若是，則終止；否則，進(jìn)入步驟(21)；

第四當(dāng)前處理子區(qū)域?yàn)閺牡诙D像中提取的大于7×7的子區(qū)域。

從第二圖像中提取第四當(dāng)前處理子區(qū)域，將第四當(dāng)前處理子區(qū)域中各像素的灰度值與第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度比較，確定第四當(dāng)前處理子區(qū)域是否為熒光分子，通過(guò)判斷第四當(dāng)前處理子區(qū)域的中心像素的灰度值是否為最大值判斷熒光分子是否在第四當(dāng)前處理子區(qū)域的中心位置，可以準(zhǔn)確的判斷熒光圖中熒光分子所在區(qū)域。

附圖說(shuō)明

圖1是本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；

圖2是本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置中FPGA預(yù)處理電路示意圖；

圖3是FPGA中背景波動(dòng)強(qiáng)度獲取電路的結(jié)構(gòu)示意圖；

圖4是是本發(fā)明提供FPGA中子區(qū)域判斷電路的結(jié)構(gòu)示意圖；

圖5是本發(fā)明提供的FPGA器件結(jié)構(gòu)示意圖，(a)為從sCMOS探測(cè)器獲取熒光圖的結(jié)構(gòu)示意圖，(b)為FPGA中的圖像預(yù)處理器的結(jié)構(gòu)示意圖；

圖6是本發(fā)明提供的數(shù)據(jù)處理方法中從第三當(dāng)前處理子區(qū)域中獲得篩選像素原理圖；

圖7是本發(fā)明提供數(shù)據(jù)預(yù)處理電路進(jìn)行熒光圖預(yù)處理的效果示意圖，其中，(a)為由sCOMS相機(jī)采集的熒光圖的效果示意圖，(b)為將熒光圖進(jìn)行降噪處理和去背景處理的效果示意圖，(c)為將熒光圖進(jìn)行局部標(biāo)準(zhǔn)差濾波后的背景波動(dòng)強(qiáng)度效果示意圖，(d)為從熒光圖中提取的所有熒光分子子區(qū)域的效果示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖，數(shù)據(jù)處理裝置包括數(shù)據(jù)預(yù)處理電路，數(shù)據(jù)預(yù)處理電路的輸出端連接第一處理器的輸入端，數(shù)據(jù)預(yù)處理電路用于從探測(cè)器采集的熒光圖中提取熒光分子子區(qū)域，第一處理器用于將熒光分子子區(qū)域進(jìn)行定位處理獲得超分辨重建圖。數(shù)據(jù)預(yù)處理電路包括探測(cè)器接口電路，用于快速將探測(cè)器采集的熒光圖傳輸至多路復(fù)用電路。探測(cè)器接口電路可以為cameralink接口、USB接口、FMC模塊等各種可轉(zhuǎn)接接口。

多路復(fù)用電路用于接收熒光圖并將熒光圖復(fù)制為多路熒光圖輸出，其輸入端與探測(cè)器接口電路輸出端連接，多路復(fù)用電路有兩個(gè)輸出端，其中一個(gè)輸出端為通路，該通路用于同第二處理器的輸入端連接，多路復(fù)用電路的另一個(gè)輸出端與FPGA輸入端連接，第二處理器的輸出端與圖像顯示器的輸入端連接，第二處理器用于將熒光圖進(jìn)行超分辨定位處理獲得超分辨圖像，該多路復(fù)用電路使得用戶可以保留原有的熒光圖處理方式。

作為多路復(fù)用電路的另一種實(shí)現(xiàn)方式，多路復(fù)用電路有N個(gè)輸出端，其中N≥3，第一輸出端與FPGA的輸入端連接，第二輸出端與第二處理器的輸入端連接，第三輸出端至第N輸出端均用于擴(kuò)展輸出。使得其他處理芯片或者處理器通過(guò)第三輸出端至第N輸出端連接到數(shù)據(jù)預(yù)處理電路中，處理芯片可以為DSP芯片。

FPGA輸出端與第一接口電路的輸入端，F(xiàn)PGA從熒光圖中提取熒光分子子區(qū)域，熒光分子子區(qū)域由第一接口電路傳輸至第一處理器，第一處理器包括存儲(chǔ)器、CPU以及GPU，存儲(chǔ)器的第一端與第一接口電路輸出端，CPU的第一端與GPU的第一端連接，GPU的第二端與存儲(chǔ)器的第二端連接，存儲(chǔ)器用于存儲(chǔ)熒光分子子區(qū)域，CPU用于向GPU發(fā)送定位指令，GPU接收到定位指令后從存儲(chǔ)器中接收熒光分子子區(qū)域數(shù)據(jù)，并對(duì)熒光分子子區(qū)域進(jìn)行定位處理獲得超分辨重建圖，將超分辨圖傳輸至CPU，并由圖像顯示器顯示超分辨重建圖。

由于超分辨定位成像稀疏激發(fā)的特性，由接收探測(cè)器采集的熒光圖中僅僅只有包含熒光分子子區(qū)域是有效的，因此，本發(fā)明提供的數(shù)據(jù)處理裝置，由數(shù)據(jù)預(yù)處理電路從熒光圖中提取熒光分子子區(qū)域，將熒光分子子區(qū)域傳輸至第一處理器，第一處理器中的CPU與GPU僅完成對(duì)熒光分子子區(qū)域的定位處理，能夠提高第一處理器獲得超分辨重建圖的效率。通過(guò)探測(cè)器接口電路快速?gòu)奶綔y(cè)器中獲取熒光圖，并由FPGA實(shí)現(xiàn)實(shí)時(shí)提取出熒光圖中熒光分子子區(qū)域，將熒光圖中有用的熒光分子子區(qū)域提出，能夠保證獲得超分辨重建圖的精度，由FPGA內(nèi)部提供的硬件電路，能夠?qū)崟r(shí)從大量的熒光圖中提取熒光分子子區(qū)域，并由第一接口電路將熒光分子子區(qū)域快速傳輸至第一處理器。因此，本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置實(shí)現(xiàn)高精度超分辨圖像實(shí)時(shí)重建。

圖2是本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置中FPGA結(jié)構(gòu)示意圖，F(xiàn)PGA包括熒光圖讀取模塊5、降噪處理模塊1、去背景處理模塊2、背景波動(dòng)強(qiáng)度獲取模塊3以及子區(qū)域判斷與提取模塊4。

熒光圖讀取模塊5，用于獲取熒光圖，并將熒光圖分為三路熒光圖輸出，熒光圖讀取模塊5的第一輸出端與降噪處理模塊1的輸入端連接，降噪處理模塊1用于對(duì)熒光圖進(jìn)行降噪處理，輸出第一圖像，降噪處理模塊1的輸出端與去背景處理模塊2的輸入端連接，用于對(duì)第一圖像進(jìn)行去背景處理，輸出第二圖像。

背景波動(dòng)強(qiáng)度獲取模塊3，包括第三子區(qū)域獲取電路301和背景波動(dòng)強(qiáng)度獲取電路302，第三子區(qū)域獲取電路301的輸入端與熒光圖讀取模塊5的輸出端連接，用于實(shí)時(shí)從熒光圖中提取出第三當(dāng)前處理子區(qū)域，背景波動(dòng)強(qiáng)度獲取電路302的輸入端與第三子區(qū)域獲取電路301的輸出端連接，用于實(shí)時(shí)輸出第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，并將第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，背景波動(dòng)強(qiáng)度用于熒光分子子區(qū)域判斷的閾值。

子區(qū)域判斷與提取模塊4，包括第四子區(qū)域獲取電路401、子區(qū)域判斷電路402、備選子區(qū)域獲取電路403以及子區(qū)域提取電路404，第四子區(qū)域獲取電路401的輸入端與去背景處理模塊2的輸出端連接，用于實(shí)時(shí)從第二圖像中提取第四當(dāng)前處理子區(qū)域，子區(qū)域判斷電路402第一輸入端與第四子區(qū)域獲取電路401的輸出端連接，子區(qū)域判斷電路402第二輸入端與背景波動(dòng)強(qiáng)度獲取電路302的輸出端連接，讓第四子區(qū)域獲取電路401與第三子區(qū)域獲取電路301在時(shí)序上配合，使第四當(dāng)前處理子區(qū)域的中心像素在第二圖像中位置與第三當(dāng)前處理子區(qū)域的中心像素在熒光圖中位置相同，即將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，子區(qū)域判斷電路402根據(jù)第四當(dāng)前處理子區(qū)域和由背景波動(dòng)強(qiáng)度獲取電路302輸出的第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度實(shí)時(shí)判斷第四當(dāng)前處理子區(qū)域是否存在熒光分子，并輸出子區(qū)域提取控制信號(hào)。

備選子區(qū)域獲取電路403的輸入端與熒光圖讀取模塊5的第三輸出端連接，備選子區(qū)域獲取電路403用于從熒光圖中提取備選子區(qū)域，子區(qū)域提取電路404輸入端與備選子區(qū)域獲取電路403的輸出端連接，子區(qū)域提取電路404的控制端與子區(qū)域判斷電路402輸出端連接，根據(jù)子區(qū)域提取控制信號(hào)實(shí)時(shí)確定備選子區(qū)域是否為熒光分子子區(qū)域。讓備選子區(qū)域提取電路403與第四子區(qū)域獲取電路401在時(shí)序上配合，使第四當(dāng)前處理子區(qū)域的中心像素在第二圖像中位置與備選子區(qū)域的中心像素在熒光圖中位置相同。

通過(guò)第三子區(qū)域獲取電路301、第四子區(qū)域獲取電路401以及備選子區(qū)域提取電路403不斷更新輸出的第三當(dāng)前處理子區(qū)域、第四當(dāng)前處理子區(qū)域和備選子區(qū)域，實(shí)現(xiàn)對(duì)熒光圖所有像素進(jìn)行預(yù)處理，通過(guò)數(shù)據(jù)預(yù)處理電路對(duì)熒光圖實(shí)時(shí)處理，消減熒光圖中對(duì)重建圖像沒(méi)有意義或有不好影響的數(shù)據(jù)，將熒光分子子區(qū)域用于圖像重建，有效降低圖像重建計(jì)算的計(jì)算量，縮小重建圖像的時(shí)間。

同時(shí)，背景波動(dòng)強(qiáng)度獲取模塊根據(jù)第三當(dāng)前處理子區(qū)域的灰度值獲得第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，僅用到局部的圖像信息，并將第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，使得每個(gè)像素都有一個(gè)背景波動(dòng)強(qiáng)度的值，而不是整個(gè)圖像共享一個(gè)背景波動(dòng)強(qiáng)度的值，可以在整幅圖像具有不均勻背景的情況下使得所提取的熒光分子子區(qū)域更加準(zhǔn)確，具有更好的適應(yīng)性。因此，本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置能夠?qū)崿F(xiàn)實(shí)時(shí)且高精度的空間分辨率重建圖像。

本發(fā)明提供的FPGA中降噪處理模塊包括降噪行緩沖器組，第一降噪寄存器組，降噪相乘累加電路以及第二降噪寄存器，降噪行緩沖器組用于從熒光圖中提取并輸出第一當(dāng)前處理子區(qū)域，第一降噪寄存器組的輸入端與降噪行緩沖器組輸出端連接，第一降噪寄存器組用于存儲(chǔ)第一當(dāng)前處理子區(qū)域，降噪相乘累加電路的輸入端與第一降噪寄存器組輸出端連接，降噪相乘累加電路用于將第一當(dāng)前處理子區(qū)域和預(yù)設(shè)降噪卷積模板進(jìn)行相乘累加處理，并輸出第一當(dāng)前處理子區(qū)域降噪后的灰度值，第二降噪寄存器的輸入端與降噪相乘累加電路輸出端連接，用于存儲(chǔ)由降噪相乘累加電路輸出的降噪后的圖像。

本發(fā)明提供的FPGA中去背景處理模塊，包括去背景行緩沖器組，第一去背景寄存器組，去背景相乘累加電路以及第二去背景寄存器，去背景行緩沖器組用于從降噪后的圖像中提取并輸出第一當(dāng)前處理子區(qū)域，第一去背景寄存器器組的輸入端與去背景行緩沖器組輸出端連接，第一去背景寄存器組用于存儲(chǔ)第一當(dāng)前處理子區(qū)域，去背景相乘累加電路的輸入端與第一去背景寄存器組輸出端連接，去背景相乘累加電路用于將第一當(dāng)前處理子區(qū)域和預(yù)設(shè)去背景卷積模板進(jìn)行相乘累加處理，并輸出第一當(dāng)前處理子區(qū)域去背景后的灰度值，第二去背景寄存器的輸入端與去背景相乘累加電路輸出端連接，用于存儲(chǔ)由去背景相乘累加電路輸出的去背景后且降噪后的圖像數(shù)據(jù)。

如圖3所示，本發(fā)明提供的FPGA中背景波動(dòng)強(qiáng)度獲取電路302包括像素比較器3021、均值加法器3022、減法器3023以及局部標(biāo)準(zhǔn)差加法器3024，像素比較器3021輸入端與第三子區(qū)域獲取電路301的輸出端連接，用于根據(jù)第三當(dāng)前處理子區(qū)域各像素的灰度值獲得篩選像素，均值加法器3022輸入端與像素比較器3021的輸出端連接，用于獲得篩選像素的平均值，減法器3023第一輸入端與像素比較器3021的輸出端連接，減法器3023第二輸入端與均值加法器3022的輸出端連接，用于獲得各篩選像素與篩選像素的平均值的差值，局部標(biāo)準(zhǔn)差加法器3024輸入端與減法器3023輸出端連接，用于將各篩選像素與篩選像素的平均值的差值求和，獲得第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差。在像素比較器3021從第三當(dāng)前處理子區(qū)域中獲取篩選像素時(shí)，可根據(jù)像素的位置將第三當(dāng)前處理子區(qū)域的最外層的所有像素分成兩部分，從每個(gè)部分中選出一半像素作為篩選像素，且從該部分篩選出像素的灰度值均小于該部分中任意的未篩選出像素的灰度值。本發(fā)明提供的背景波動(dòng)強(qiáng)度獲取電路，通過(guò)像素比較器根據(jù)第三當(dāng)前處理子區(qū)域的灰度值獲得篩選像素，用篩選像素進(jìn)行局部標(biāo)準(zhǔn)差計(jì)算，可以提高該電路處理速度。

如圖4所示，本發(fā)明提供FPGA中子區(qū)域判斷與提取模塊包括第一像素比較器4021、第二像素比較器4022、四鄰域像素加法器4023、八鄰域像素加法器4025、四鄰域像素比較器4024、八鄰域像素比較器4026以及邏輯與門(mén)4027，第一像素比較器4021輸入端與第四子區(qū)域獲取電路401的輸出端連接，用于判斷第四當(dāng)前處理子區(qū)域的中心像素灰度值是否為第四當(dāng)前子區(qū)域各像素灰度值中最大值，并根據(jù)判斷結(jié)果輸出第一電平，當(dāng)?shù)谒漠?dāng)前處理子區(qū)域的中心像素灰度值為第四當(dāng)前子區(qū)域各像素灰度值中最大值，則第一電平為高電平，否則，為低電平，通過(guò)第一電平可以確定熒光分子是否位于第四當(dāng)前處理子區(qū)域的中心位置。

第二像素比較器4022的一輸入端與第四子區(qū)域獲取電路401輸出端連接，第二像素比較器4022的另一輸入端與背景波動(dòng)強(qiáng)度獲取電路302輸出端連接，通過(guò)比較第四當(dāng)前處理子區(qū)域的中心像素灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度輸出第二電平，若第四當(dāng)前處理子區(qū)域的中心像素灰度值大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的兩倍，則第二電平為高電平，否則，第二電平為低電平。

四鄰域像素加法器4023輸入端與第四子區(qū)域獲取電路401輸出端連接，用于將第四當(dāng)前處理子區(qū)域的中心像素的四鄰域像素灰度值和第四當(dāng)前處理子區(qū)域的中心像素灰度值進(jìn)行累加處理獲得第一累加灰度值。八鄰域像素加法器4025輸入端與第四子區(qū)域獲取電路401輸出端連接，用于將第四當(dāng)前處理子區(qū)域的中心像素的八鄰域像素灰度值和第四當(dāng)前處理子區(qū)域的中心像素灰度值進(jìn)行累加處理獲得第二累加灰度值。

四鄰域像素比較器4024一輸入端與四鄰域像素加法器4023的輸出端連接，四鄰域像素比較器4024另一輸入端與背景波動(dòng)強(qiáng)度獲取電路302輸出端連接，比較第一累加灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并根據(jù)比較結(jié)果輸出第三電平，若第一累加素灰度值大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的9倍，則第三電平為高電平，否則，第三電平為低電平。

八鄰域像素比較器4026一輸入端與八鄰域像素加法器4025的輸出端連接，八鄰域像素比較器4026另一輸入端與背景波動(dòng)強(qiáng)度獲取電路302輸出端連接，比較第二累加灰度值和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并根據(jù)比較結(jié)果輸出第四電平，若第二累加素灰度值大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的11倍，則第四電平為高電平，否則，第四電平為低電平。

邏輯與門(mén)4027第一輸入端與第一像素比較器4021的輸出端連接，邏輯與門(mén)4027第二輸入端與第二像素比較器4022的輸出端連接，邏輯與門(mén)4027第三輸入端與四鄰域像素比較器4024的輸出端連接，邏輯與門(mén)4027第四輸入端與八鄰域像素比較器4026的輸出端連接，根據(jù)第一電平至第四電平輸出子區(qū)域提取控制信號(hào)。

當(dāng)?shù)谝浑娖街恋谒碾娖骄鶠楦唠娖綍r(shí)，則表示第四當(dāng)前處理子區(qū)域存在熒光分子，邏輯與門(mén)4027輸出的子區(qū)域控制信號(hào)，使備選子區(qū)域獲取電路輸出的備選子區(qū)域作為熒光分子子區(qū)域經(jīng)由子區(qū)域提取電路輸出。當(dāng)?shù)谝浑娖街恋谒碾娖接幸粋€(gè)不為高電平時(shí)，則表示第四當(dāng)前處理子區(qū)域不存在熒光分子，邏輯與門(mén)4027輸出的子區(qū)域控制信號(hào)，使備選子區(qū)域獲取電路輸出的備選子區(qū)域不經(jīng)由子區(qū)域提取電路輸出。通過(guò)對(duì)第四當(dāng)前處理子區(qū)域的四鄰域像素、八鄰域像素與第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度進(jìn)行比較，可以消除背景波動(dòng)強(qiáng)度對(duì)熒光分子判斷的影響，使得輸出的熒光分子子區(qū)域更加準(zhǔn)確。

本發(fā)明提供的數(shù)據(jù)處理裝置的實(shí)施例中，探測(cè)器為sCMOS探測(cè)器，sCMOS探測(cè)器采用80bits的camera link傳輸協(xié)議傳輸熒光圖，即每個(gè)時(shí)鐘同時(shí)傳輸5個(gè)像素的數(shù)據(jù)。故接口選用cameralink接口電路，圖5為PFGA的器件結(jié)構(gòu)示意圖，為了正確的獲取由camera link接口傳輸?shù)膱D像數(shù)據(jù)，采用5(a)所示的電路結(jié)構(gòu)從sCMOS探測(cè)器獲取熒光圖。sCMOS探測(cè)器通常采用Rolling shutter的傳輸模式，即熒光圖從中間往兩邊逐行讀出，通過(guò)寫(xiě)狀態(tài)機(jī)將熒光圖分別存儲(chǔ)到奇數(shù)行圖像FIFO和偶數(shù)行圖像FIFO中，同時(shí)考慮到熒光圖處理往往處理不到邊沿的幾個(gè)像素，如果僅僅是進(jìn)行簡(jiǎn)單的奇偶分割，最終得到的超分辨圖像中間會(huì)有一條黑帶。因此，我們將上半探測(cè)器中間的6行數(shù)據(jù)也傳輸給下半探測(cè)器，并將下半探測(cè)器底部的6行數(shù)據(jù)丟掉。對(duì)上半探測(cè)器數(shù)據(jù)也進(jìn)行類似的操作，這樣不僅中間的黑帶被去除掉，而且因?yàn)閳D像大小不變，保證了圖像處理的速度不變，并根據(jù)熒光圖的行數(shù)奇偶性把熒光圖分為上下兩半探測(cè)器的數(shù)據(jù)。

如圖5(b)所示，每個(gè)半探測(cè)器數(shù)據(jù)分配一個(gè)圖像處理器進(jìn)行處理，每個(gè)圖像處理器包括降噪處理模塊、去背景處理模塊、背景波動(dòng)強(qiáng)度獲取模塊以及子區(qū)域判斷與提取模塊，上述四個(gè)模塊中均包括有相互連接的行緩沖器組和寄存器組，在一個(gè)行緩沖器中，每個(gè)時(shí)鐘像素往前移動(dòng)一格，移出當(dāng)前行緩沖器的像素同時(shí)流入下一個(gè)行緩沖器和寄存器，寄存器組充滿流入的像素的灰度值，即獲得當(dāng)前處理子區(qū)域，降噪處理模塊中由行緩沖器組和寄存器組從熒光圖中提取的當(dāng)前處理子區(qū)域與預(yù)設(shè)降噪卷積模板進(jìn)行相乘累加處理，獲得當(dāng)前處理像素降噪后的灰度值，即通過(guò)對(duì)當(dāng)前處理子區(qū)域進(jìn)行高斯低通濾波處理，獲得當(dāng)前處理像素降噪后的灰度值，各像素降噪后的灰度值由寄存器組存儲(chǔ)，寄存器組將各像素降噪后的灰度值輸出給去背景處理模塊，同理，由行緩沖器組與寄存器組從第一圖像中提取當(dāng)前處理子區(qū)域，去背景處理模塊中寄存器組輸出的當(dāng)前處理子區(qū)域與預(yù)設(shè)去背景卷積模板進(jìn)行相乘累加處理，獲得當(dāng)前處理像素去背景且降噪后的灰度值，即對(duì)當(dāng)前處理像素進(jìn)行環(huán)形濾波處理，獲得當(dāng)前像素去背景且降噪后的灰度值，各像素去背景且降噪后的灰度值由寄存器儲(chǔ)存，寄存器組將去背景且降噪后的灰度值傳輸至子區(qū)域判斷與提取模塊。背景波動(dòng)強(qiáng)度獲取模塊中行緩沖器組和寄存器組從熒光圖中提取當(dāng)前處理子區(qū)域，并獲得當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，將當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度存儲(chǔ)寄存器中，并傳輸至子區(qū)域判斷與提取模塊。子區(qū)域判斷與提取模塊中的一行緩沖器組與寄存器組從去背景且降噪后的圖像中提取當(dāng)前處理子區(qū)域，并通過(guò)子區(qū)域判斷電路輸出子區(qū)域提取控制信號(hào)，并將子區(qū)域提取控制信號(hào)傳輸至子區(qū)域提取電路的控制端，子區(qū)域判斷與提取模塊中的另一行緩沖器組與另一寄存器組從熒光圖中提取備選子區(qū)域，并將備選子區(qū)域傳輸至子區(qū)域提取電路，子區(qū)域提取電路根據(jù)子區(qū)域提取控制信號(hào)實(shí)時(shí)確定備選子區(qū)域是否為熒光分子子區(qū)域，若是，則將備選子區(qū)域存儲(chǔ)至子區(qū)域數(shù)據(jù)FIFO中，通過(guò)對(duì)子區(qū)域數(shù)據(jù)FIFO進(jìn)行合并，將合并后的子區(qū)域數(shù)據(jù)進(jìn)行裁剪，可以獲得任意大小的子區(qū)域數(shù)據(jù)，將兩個(gè)圖像預(yù)處理器輸出的熒光分子所在區(qū)域數(shù)據(jù)進(jìn)行匯總后通過(guò)USB3.0進(jìn)行傳輸給定位處理單元和圖像重建單元進(jìn)行處理。因?yàn)閟COMS相機(jī)接進(jìn)FPGA的接口為camera link接口，此接口每個(gè)時(shí)鐘傳輸給FPGA的數(shù)據(jù)為5個(gè)像素，也就是5*16bit數(shù)據(jù)量。故每個(gè)圖像預(yù)處理器中由五個(gè)降噪處理模塊、五個(gè)去背景處理模塊、五個(gè)背景波動(dòng)強(qiáng)度獲取模塊以及五個(gè)子區(qū)域判斷與提取模塊。

由于超分辨定位成像稀疏激發(fā)的特性，僅僅只有包含熒光分子的區(qū)域是有效的,只提取并傳輸這些熒光分子所在區(qū)域數(shù)據(jù)，將大大降低傳輸和存儲(chǔ)的數(shù)據(jù)量，同時(shí)大大簡(jiǎn)化后續(xù)處理的工作量。熒光分子子區(qū)域數(shù)據(jù)通過(guò)USB3.0接口傳輸?shù)絇C。由于采用局部標(biāo)準(zhǔn)差獲取每個(gè)像素的背景波動(dòng)強(qiáng)度并用作閾值的方式具有自適應(yīng)性，因此具有無(wú)需用戶輸入?yún)?shù)，簡(jiǎn)單易用的優(yōu)點(diǎn)。

通過(guò)本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理裝置能夠?qū)崿F(xiàn)將800MB/s的圖像數(shù)據(jù)減少至300MB/s以下。熒光分子所在區(qū)域數(shù)據(jù)以USB3.0接口方便有效地傳輸給用戶電腦，經(jīng)用戶電腦的GPU實(shí)現(xiàn)圖形加速處理，做到超分辨圖像的實(shí)時(shí)重建，實(shí)現(xiàn)所見(jiàn)即所得。

本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)處理方法，包括如下步驟：

(1)將由光信號(hào)探測(cè)器采集的熒光圖進(jìn)行高斯低通濾波處理，降低熒光圖中的噪聲信號(hào)，輸出第一圖像。當(dāng)選取以當(dāng)前處理像素為中心的5×5的區(qū)域進(jìn)行高斯低通濾波時(shí)，卷積模板為：

將第一圖像進(jìn)行環(huán)形濾波處理，去除第一圖像中的背景噪聲，輸出第二圖像。當(dāng)選取以當(dāng)前處理像素為中心的7×7的區(qū)域進(jìn)行環(huán)形濾波時(shí)，卷積模板為：

從由光信號(hào)探測(cè)器采集的熒光圖中提取出第三當(dāng)前處理子區(qū)域，對(duì)第三當(dāng)前處理子區(qū)域進(jìn)行局部標(biāo)準(zhǔn)差濾波處理，得到第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差，將第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差作為第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度。

若選取當(dāng)前處理像素為中心的7×7區(qū)域作為第三當(dāng)前處理子區(qū)域，如圖6所示，將最外層的24個(gè)像素分為4個(gè)區(qū)域，然后對(duì)區(qū)域1和區(qū)域2這兩個(gè)區(qū)域共12個(gè)像素的灰度值進(jìn)行從小到大的排序，選取前6個(gè)像素，對(duì)區(qū)域3和區(qū)域4這兩個(gè)區(qū)域的12個(gè)像素灰度值從小到大排序，進(jìn)行逐個(gè)比較，選取前6個(gè)像素，最終篩選出12個(gè)像素。

根據(jù)公式

計(jì)算第三當(dāng)前處理子區(qū)域的局部標(biāo)準(zhǔn)差。

式中，x_i為最終篩選出的第i個(gè)像素的灰度值，

(2)根據(jù)熒光圖、第二圖像以及背景波動(dòng)強(qiáng)度提取熒光圖中所有熒光分子子區(qū)域，包括：

(21)從第二圖像中提取第四當(dāng)前處理子區(qū)域，當(dāng)?shù)谌?dāng)前處理子區(qū)域的中心像素在熒光圖中位置與第四當(dāng)前處理子區(qū)域的中心像素在第二圖像中位置相同，則將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度；

若第四當(dāng)前處理子區(qū)域的中心像素的灰度值為第四當(dāng)前處理子區(qū)域所有像素的灰度值的最大值；

且第四當(dāng)前處理子區(qū)域的中心像素的灰度值大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的2倍；

且第四當(dāng)前處理子區(qū)域中心像素的灰度值與第四當(dāng)前處理子區(qū)域中心像素的四鄰域像素的灰度值之和大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的9倍；

且第四當(dāng)前處理子區(qū)域的中心像素的灰度值與第四當(dāng)前處理子區(qū)域中心像素的八鄰域像素的灰度值之和大于第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度的11倍；

則將熒光圖中與第四當(dāng)前處理子區(qū)域在第二圖像中位置相同的區(qū)域作為熒光分子子區(qū)域提取，并進(jìn)入步驟(22)；否則不提取熒光圖中與第四當(dāng)前處理子區(qū)域在第二圖像中位置相同的區(qū)域，

中心像素的4鄰域包括中心像素左方1個(gè)像素、中心像素右方1個(gè)像素、中心像素上方1個(gè)像素以及中心像素下方1個(gè)像素；中心像素的8鄰域包括與中心像素的左方2個(gè)像素、中心像素右方2個(gè)像素、中心像素上方2個(gè)像素以及中心像素下方2個(gè)像素；

第四當(dāng)前處理子區(qū)域?yàn)閺牡诙D像中提取的大于7×7的子區(qū)域。

(22)判斷所有第四當(dāng)前處理子區(qū)域是否都已被提取，若是，則終止；否則，進(jìn)入步驟(21)；

(3)根據(jù)對(duì)熒光分子子區(qū)域進(jìn)行定位處理，獲得超分辨重建圖像。

本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)預(yù)處理方法，本發(fā)明提供的用于超分辨定位顯微成像的數(shù)據(jù)預(yù)處理方法，將從熒光圖中提取的每個(gè)第三當(dāng)前處理子區(qū)域局部標(biāo)準(zhǔn)差處理，獲得第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并從第二圖像中提取第四當(dāng)前處理子區(qū)域，將第三當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度作為第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度，并根據(jù)第四當(dāng)前處理子區(qū)域和第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度確定第四當(dāng)前處理子區(qū)域是否存在熒光分子，可以在整幅圖像具有不均勻背景的情況下使得所提取的熒光分子子區(qū)域更加準(zhǔn)確，具有更好的適應(yīng)性，獲得準(zhǔn)確的超分辨重建圖像。從第二圖像中提取第四當(dāng)前處理子區(qū)域，將第四當(dāng)前處理子區(qū)域中各像素的灰度值與第四當(dāng)前處理子區(qū)域的背景波動(dòng)強(qiáng)度比較，確定第四當(dāng)前處理子區(qū)域是否為熒光分子，通過(guò)判斷第四當(dāng)前處理子區(qū)域的中心像素的灰度值是否為最大值判斷熒光分子是否在第四當(dāng)前處理子區(qū)域的中心位置，可以準(zhǔn)確的判斷熒光圖中熒光分子所在區(qū)域。根據(jù)對(duì)熒光分子進(jìn)行定位處理，獲得準(zhǔn)確的超分辨重建圖像。

圖7是本發(fā)明提供數(shù)據(jù)預(yù)處理電路進(jìn)行熒光圖預(yù)處理的效果示意圖，圖7(a)為由sCOMS相機(jī)采集的熒光圖的效果示意圖，圖7(b)為將熒光圖進(jìn)行降噪處理和去背景處理的效果示意圖，圖7(c)為將熒光圖進(jìn)行局部標(biāo)準(zhǔn)差濾波后的背景波動(dòng)強(qiáng)度的效果示意圖，圖7(d)為從熒光圖中提取的所有熒光分子子區(qū)域的效果示意圖。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。