專利名稱：基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及超分辨定位成像技術(shù)領(lǐng)域，特別是涉及一種基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及方法。
背景技術(shù)：
sCMOS的產(chǎn)生給弱光成像領(lǐng)域帶來了革命，憑借其低噪聲，高靈敏度，大視場和高讀出速度等方面的優(yōu)勢，已經(jīng)逐漸取代EMCCD在此領(lǐng)域的地位。在超分辨成像領(lǐng)域，實(shí)時(shí)動(dòng)態(tài)的顯示重建結(jié)果是大部分研究者所渴求的，特別是對于活體成像，所見即所得是最基本的要求。雖然基于EMCCD的實(shí)時(shí)超分辨定位成像已經(jīng)實(shí)現(xiàn)，但是sCMOS的大視場和高速的優(yōu)點(diǎn)卻給實(shí)時(shí)成像帶來的極大的挑戰(zhàn)。 首要的一個(gè)難題就是存儲，由于sCMOS的高速特性(例如Andor NeosCMOS有 lGigabyte/second的讀出速度),通用存儲方案不得不采用多塊固態(tài)硬盤(SSD)組成磁盤陣列(RAID)的做法來解決sCMOS實(shí)時(shí)存儲的難題，這種方案不但需要昂貴的開銷，而且長期的實(shí)驗(yàn)還會導(dǎo)致另外一個(gè)問題，海量存儲。如此高速的存儲加上長時(shí)間的實(shí)驗(yàn)就要求有海量的存儲空間(例如1小時(shí)的實(shí)驗(yàn)就需要 3. 5Terabyte的存儲空間，一塊普通硬盤存儲空間ITB左右，一次實(shí)驗(yàn)就需要消耗4塊普通硬盤)，這樣的開銷也帶來了很大的挑戰(zhàn)。另一方面，即使解決了存儲問題，定位重建部分也會非常棘手，通用的高精度定位算法，如極大似然擬合法，最小二乘擬合法等，即使采用并行的方案，也只能應(yīng)付EMCCD的速度，對于sCMOS (讀出速度約為EMCXD的60倍)也力不從心。因此，對于sCMOS，業(yè)界的超分辨定位成像還停留在離線處理階段，其大致的處理流程為，首先，用固態(tài)硬盤陣列將采集的圖像存儲下來，其次，等實(shí)驗(yàn)結(jié)束之后，再對所存儲的圖像進(jìn)行定位重建。仔細(xì)研究超分辨定位成像的原始圖像，會發(fā)現(xiàn)一幀圖像上面只有一部分區(qū)域有樣品信號，其他部分都是無關(guān)的背景。即使在樣品區(qū)域，單分子閃爍也是比較稀疏的，有單分子事件的也只占樣品區(qū)域的一小部分，所以，真正對最后定位成像有用的數(shù)據(jù)只占總數(shù)據(jù)的很少一部分，這就為解決上述問題指明了方向。綜上，傳統(tǒng)的基于sCMOS的超分辨定位成像的技術(shù)方案開銷昂貴，實(shí)施困難，更無法實(shí)現(xiàn)實(shí)時(shí)高通量超分辨定位成像。因此，業(yè)界急需一種可以避開以上難題的新方案，以實(shí)現(xiàn)實(shí)時(shí)高通量超分辨定位成像。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種削減無用數(shù)據(jù)的，實(shí)時(shí)圖像存儲及處理的一種基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及方法。為解決上述技術(shù)問題，本發(fā)明提供了一種基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)，其包括成像模塊、子區(qū)域提取模塊及存儲模塊；成像模塊，通過成像光路將探測視場映射到圖像傳感器，并成像；子區(qū)域提取模塊，對所述成像進(jìn)行子區(qū)域信息提?。淮鎯δK，存儲所述子區(qū)域提取模塊提取的子區(qū)域信息。
本發(fā)明提供了一種基于數(shù)據(jù)削減的超分辨定位成像方法，其包括步驟10、通過成像光路將成像視場映射到圖像傳感器，并進(jìn)行成像；步驟20、對所述成像進(jìn)行子區(qū)域信息提取；步驟30、存儲步驟20提取的子區(qū)域信息。本發(fā)明提供的基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及其方法，能實(shí)現(xiàn)削減無用數(shù)據(jù)，實(shí)時(shí)的高通量的圖像存儲及超分辨定位成像。


圖I為本發(fā)明實(shí)施例提供的基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)的結(jié)構(gòu)框圖。
具體實(shí)施方式

參見圖1，本發(fā)明實(shí)施例提供的一種基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)，其包括成像模塊、子區(qū)域提取模塊、定位模塊、存儲模塊及顯示模塊。其中，成像模塊通過成像光路
I將成像視場映射到圖像傳感器2，并進(jìn)行成像。這里通過成像光路進(jìn)行顯微成像，根據(jù)探測器像元的大小而調(diào)整光學(xué)系統(tǒng)放大倍數(shù)，這里用的是sCMOS探測器。子區(qū)域提取模塊3對成像進(jìn)行子區(qū)域信息提取。定位模塊4對提取到的子區(qū)域進(jìn)行單分子定位。存儲模塊5存儲所述子區(qū)域提取模塊提取的子區(qū)域信息和所述定位模塊的定位結(jié)果。其中，子區(qū)域提取模塊3包括平滑濾波單元、去除背景單元、非極大值抑制單元及第一提取單元。平滑濾波單元采用均值濾波或高斯卷積對成像進(jìn)行處理。去除背景單元減掉所述成像的每個(gè)像素背景，所述背景是通過將計(jì)算所述成像以此像素為中心的一個(gè)環(huán)狀窗口的均值來求得的。當(dāng)然窗口的大小要根據(jù)艾里斑的大小適當(dāng)調(diào)整，例如對于一個(gè)3*3像素大小的艾里斑，對應(yīng)的平滑濾波窗口最好是3*3像素，而去背景環(huán)狀窗口則最好為5*5像素，環(huán)的寬度為一個(gè)像素。非極大值抑制單元針對經(jīng)過所述去除背景單元處理后的圖像，尋找單分子中心像素。該中心像素值要處在一定的范圍之內(nèi)才能有效，例如大于多倍的噪聲波動(dòng)，大于最小總光子數(shù)對應(yīng)的值，小于最大總光子數(shù)對應(yīng)的值。對于高密度成像，第一提取單元，將非極大值抑制單元尋找的所述單分子中心像素的坐標(biāo)及其對應(yīng)單分子區(qū)域提取出來。進(jìn)一步地，子區(qū)域提取模塊3還包括去除單分子重疊單元和第二提取單元。去除單分子重疊單元在當(dāng)所述非極大值抑制單元尋找的單分子中心像素在距離小于艾里斑大小的鄰域內(nèi)有其他單分子中心像素存在時(shí)，則將單分子中心像素去除。即，判定如果一個(gè)有效的單分子中心像素A，以它為中心，在距離小于艾里斑大小的鄰域內(nèi)，沒有其他峰值，則為無重疊；如果有，則重疊，則將單分子中心像素A去除。因?yàn)橐粋€(gè)單分子要覆蓋一個(gè)艾里斑大小的區(qū)域，所以如果沒有重疊，就需要兩個(gè)分子中心間隔大于一個(gè)艾里斑的距離。一個(gè)單分子對應(yīng)一個(gè)圖像子區(qū)域，對于稀疏單分子成像來說，這一步非常關(guān)鍵，因?yàn)閱畏肿又丿B會導(dǎo)致最后定位的失真，所以只定位那些非重疊的獨(dú)立的單分子。依次平滑濾波單元、去除背景單元及非極大值抑制單元處理后的圖像，幾乎已經(jīng)淘汰了那些相隔較近的重疊事件，但是并不能很好的淘汰相距較遠(yuǎn)的事件，而這一部，通過判定在距離小于艾里斑大小的鄰域內(nèi)是否為唯一有效點(diǎn)的方法，來將重疊的概率降到最低。這一步還可以用來判定單分子的密度，通過淘汰的事件與總事件的比例，我們就可以判定成像光路模塊的激發(fā)光強(qiáng)度是否合適，如果淘汰事件太多，占比例太大，則說明分子密度太大了，需要降低激發(fā)光光強(qiáng)。對于稀疏成像來說這樣做的目的是盡可能多的檢測到單分子來加快成像速度，以可以根據(jù)此步驟，來動(dòng)態(tài)智能調(diào)整成像系統(tǒng)，使之工作在最優(yōu)狀態(tài)下。對于稀疏成像，第二提取單元將經(jīng)過去除單分子重疊單元處理后的圖像的像素的坐標(biāo)及其對應(yīng)的包含整個(gè)單分子的區(qū)域的像素的灰度值原始圖像數(shù)據(jù)提取出來。子區(qū)域大小，要根據(jù)艾里斑的大小而改變，對于一個(gè)艾里斑為6*6像素的單分子，子區(qū)域提取以中心像素為中心的7*7像素的區(qū)域。定位模塊4包括方向確定單元和定位單元。方向確定單元通過梯度算子求得每個(gè)像素位置的輻射線的方向。定位單元根據(jù)最小二乘法求取一個(gè)與所述輻射線的偏差最小的點(diǎn)，并將該點(diǎn)作為單分子的亞像素級中心位置。這種方法利用了顯微光學(xué)系統(tǒng)的系統(tǒng)響應(yīng)函數(shù)的對稱性，所成單分子圖像一艾里斑的灰度分布也是以單分子峰值為中心而對稱分布的，利用這個(gè)性質(zhì)，可以通過梯度算子求得每個(gè)像素位置的輻射線的方向，再根據(jù)最小二乘法，求取一個(gè)亞像素點(diǎn)使之與這些輻射線的偏差達(dá)到最小，那么這個(gè)點(diǎn)就是最大中心對稱點(diǎn)，就將這個(gè)點(diǎn)作為單分子的亞像素級中心位置。此方法相較于傳統(tǒng)的方法，例如極大似然擬合法，精度接近，速度快三個(gè)數(shù)量級。
存儲模塊5存儲第一提取單元和第二提取單元提取的信息，以及定位模塊4的定位信息。顯示模塊6渲染并顯示定位結(jié)果。本發(fā)明實(shí)施例還提供一種基于數(shù)據(jù)削減的超分辨定位成像方法，包括如下步驟步驟10、通過成像光路將成像視場映射到圖像傳感器，并進(jìn)行成像；步驟20、對所述成像進(jìn)行子區(qū)域信息提取；步驟30、對提取到的子區(qū)域進(jìn)行單分子定位；步驟40、存儲所述子區(qū)域提取模塊提取的子區(qū)域信息和所述定位模塊的定位結(jié)果。其中，步驟20對所述成像進(jìn)行子區(qū)域信息提取包括步驟201、采用均值濾波或高斯卷積對所述成像進(jìn)行處理；步驟202、減掉經(jīng)過步驟201處理后的成像的每個(gè)像素背景，所述背景是通過將計(jì)算所述成像以此像素為中心的一個(gè)環(huán)狀窗口的均值來求得的；步驟203、針對經(jīng)過步驟202處理后的圖像，尋找為局部極大值的單分子中心像素；步驟204、將步驟203尋找的所述單分子中心像素的坐標(biāo)及其對應(yīng)單分子區(qū)域提取出來。以上步驟用于對高密度成像進(jìn)行處理。其中，步驟20對所述成像進(jìn)行子區(qū)域信息提取還包括步驟2031、當(dāng)步驟203尋找的單分子中心像素在距離小于艾里斑大小的鄰域內(nèi)有其他單分子中心像素存在時(shí)，則將所述單分子中心像素去除。步驟2032、將經(jīng)過所述步驟2031處理后的圖像的像素的坐標(biāo)及其對應(yīng)的包含整個(gè)單分子的區(qū)域的像素的原始數(shù)據(jù)提取出來。步驟2031，2032主要用于對稀疏密度成像進(jìn)行處理。其中，對提取到的子區(qū)域進(jìn)行單分子定位包括
步驟301、通過梯度算子求得每個(gè)像素位置的輻射線的方向；步驟302、根據(jù)最小二乘法求取一個(gè)與所述輻射線的偏差最小的點(diǎn)，并將該點(diǎn)作為單分子的亞像素級中心位置。該偏差為此點(diǎn)與所有輻射線的距離的平方和。本發(fā)明實(shí)施例提供的基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及其方法具有以下有意效果I傳統(tǒng)方案，使用固態(tài)硬盤陣列(5X240GB廣15000元)實(shí)現(xiàn)sCMOS的實(shí)時(shí)存儲，只能做15分鐘的實(shí)驗(yàn)，消耗完Itb空間。使用本方案，經(jīng)過子區(qū)域提取，數(shù)據(jù)削減了 90%以上，存儲壓力也大大降低，一塊普通硬盤(ITB廣500元) 就可以實(shí)現(xiàn)實(shí)時(shí)存儲，并且可以存儲 5小時(shí)的實(shí)驗(yàn)數(shù)據(jù)。2本方案，定位用到的信息沒有損失，最后的結(jié)果沒有任何失真。3傳統(tǒng)方案，定位顯示15分鐘的實(shí)驗(yàn)數(shù)據(jù)需耗時(shí) 10小時(shí)，而本方案，由于最大中心定位法在定位速度上面的極大優(yōu)勢，可以實(shí)現(xiàn)其他方法無法實(shí)現(xiàn)的實(shí)時(shí)定位的要求，定位顯不都是實(shí)時(shí)的(15分鐘)，同時(shí)定位精度方面與傳統(tǒng)方案幾乎一樣。綜上，基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及方法較好的解決了大數(shù)據(jù)流量(如sCMOS)的實(shí)時(shí)存儲以及定位的難題。最后所應(yīng)說明的是，以上具體實(shí)施方式
僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照實(shí)例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)，其特征在于，包括 成像模塊、子區(qū)域提取模塊及存儲模塊； 成像模塊，通過成像光路將探測視場映射到圖像傳感器，并成像； 子區(qū)域提取模塊，對所述成像進(jìn)行子區(qū)域信息提取； 存儲模塊，存儲所述子區(qū)域提取模塊提取的子區(qū)域信息。
2.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述子區(qū)域提取模塊包括 平滑濾波單元，采用均值濾波或高斯卷積對成像進(jìn)行處理； 去除背景單元，減掉所述成像的每個(gè)像素背景，所述背景是通過計(jì)算所述成像以此像 素為中心的一個(gè)環(huán)狀窗口的均值來求得的； 非極大值抑制單元，針對經(jīng)過所述去除背景單元處理后的圖像，尋找單分子中心像素； 第一提取單元，將所述非極大值抑制單元尋找的所述單分子中心像素的坐標(biāo)及其對應(yīng)單分子區(qū)域的像素的原始數(shù)據(jù)提取出來。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述子區(qū)域提取模塊還包括 去除單分子重疊單元，當(dāng)所述非極大值抑制單元尋找的單分子中心像素在距離小于艾里斑大小的鄰域內(nèi)有其他單分子中心像素存在時(shí)，則將所述單分子中心像素去除。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述子區(qū)域提取模塊還包括 第二提取單元，將經(jīng)過所述去除單分子重疊單元處理后的圖像的單分子中心像素的坐標(biāo)及其對應(yīng)的包含整個(gè)單分子的區(qū)域的原始數(shù)據(jù)提取出來。
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的系統(tǒng)，其特征在于，還包括定位模塊；所述定位模塊包括 方向確定單元，通過梯度算子求得提取到的子區(qū)域的達(dá)到有效信噪比的像素位置的輻射線的方向； 定位單元，根據(jù)最小二乘法求取一個(gè)與所述輻射線的偏差最小的點(diǎn)，并將該點(diǎn)作為單分子的亞像素級中心位置。
6.一種基于數(shù)據(jù)削減的超分辨定位成像方法，其特征在于，包括 步驟10、通過成像光路將探測視場映射到圖像傳感器，并成像； 步驟20、對所述成像進(jìn)行子區(qū)域信息提取； 步驟30、存儲步驟20提取的子區(qū)域信息。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟20對所述成像進(jìn)行子區(qū)域信息提取包括 步驟201、采用均值濾波或高斯卷積對成像進(jìn)行處理； 步驟202、減掉經(jīng)過步驟201處理后的成像的每個(gè)像素背景，所述背景是通過計(jì)算所述成像以此像素為中心的一個(gè)環(huán)狀窗口的均值來求得的； 步驟203、針對經(jīng)過步驟202處理后的圖像，尋找為局部極大值的單分子中心像素；步驟204、將步驟203尋找的所述單分子中心像素的坐標(biāo)及其對應(yīng)單分子區(qū)域的像素的原始數(shù)據(jù)提取出來。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟20對所述成像進(jìn)行子區(qū)域信息提取還包括步驟2031、當(dāng)步驟203尋找的單分子中心像素在距離小于艾里斑大小的鄰域內(nèi)有其他單分子中心像素存在時(shí)，則將所述單分子中心像素去除。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述步驟20對所述成像進(jìn)行子區(qū)域信息提取還包括 步驟2032、將經(jīng)過所述步驟2031處理后的圖像的單分子中心像素的坐標(biāo)及其對應(yīng)的包含整個(gè)單分子的區(qū)域的像素的原始數(shù)據(jù)提取出來。
10.根據(jù)權(quán)利要求6-10任一項(xiàng)所述的方法，其特征在于，還包括對提取到的子區(qū)域進(jìn)行單分子定位；所述對提取到的子區(qū)域進(jìn)行單分子定位包括 步驟301、通過梯度算子求得每個(gè)像素位置的輻射線的方向； 步驟302、根據(jù)最小二乘法求取一個(gè)與所述輻射線的偏差最小的點(diǎn)，并將該點(diǎn)作為單分子的亞像素級中心位置。
全文摘要
本發(fā)明公開了基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)，包括成像模塊、子區(qū)域提取模塊及存儲模塊；成像模塊，通過成像光路將探測視場映射到圖像傳感器，并成像；子區(qū)域提取模塊，對所述成像進(jìn)行子區(qū)域信息提??；存儲模塊，存儲所述子區(qū)域提取模塊提取的子區(qū)域信息。還公開基于數(shù)據(jù)削減的超分辨定位成像方法，包括步驟10.通過成像光路將探測視場映射到圖像傳感器，并成像；步驟20.對所述成像進(jìn)行子區(qū)域信息提?。徊襟E30.存儲步驟20提取的子區(qū)域信息。本發(fā)明提供的基于數(shù)據(jù)削減的超分辨定位成像系統(tǒng)及其方法，能實(shí)現(xiàn)削減無用數(shù)據(jù)，實(shí)時(shí)的高通量的圖像存儲及超分辨定位成像。
文檔編號H04N5/374GK102739948SQ20121024535
公開日2012年10月17日 申請日期2012年7月16日 優(yōu)先權(quán)日2012年7月16日
發(fā)明者曾紹群, 馬洪強(qiáng), 駱清銘, 黃振立 申請人:華中科技大學(xué)