本發(fā)明屬于生物成像技術(shù)領(lǐng)域,更具體地,涉及一種雙通道熒光光學(xué)顯微成像中基于圖像處理的自動對焦方法。
背景技術(shù):
在熒光光學(xué)顯微成像中,為了能夠獲取生物組織樣本完整的形態(tài)數(shù)據(jù),通常都是對整個生物組織樣本進(jìn)行切片成像,該過程需要經(jīng)歷數(shù)天的時間。生物熒光信號基本都是特別微弱與纖細(xì),特別是神經(jīng)信號,其大小屬于百納米級。在熒光光學(xué)顯微成像中,物鏡與生物組織樣本表面之間有一定的介質(zhì),即空氣,緩沖水溶液等,若介質(zhì)在成像過程中發(fā)生變化,比如緩沖水溶液的溫度以及濃度都會影響光在水中的折射率,從而改變物鏡焦面的位置。故在熒光顯微成像過程中需要保證成像系統(tǒng)的焦面在生物組織樣本的表面,即使成像系統(tǒng)的焦面與生物組織樣本的表面相差有1μm,整個熒光信號也完全是模糊的,所以熒光光學(xué)顯微成像系統(tǒng)在長時間成像過程中一定需要進(jìn)行焦面調(diào)節(jié)。針對該焦面問題,可以采取人員值班的方式,定時進(jìn)行查看成像系統(tǒng)焦面并調(diào)節(jié),但是這種方法人力成本太大,技術(shù)門檻高,故需要一種成像系統(tǒng)能夠自動調(diào)焦的方法。
自動對焦技術(shù)在數(shù)碼相機與監(jiān)控系統(tǒng)等方面已經(jīng)是一項比較成熟的技術(shù),但是在顯微鏡領(lǐng)域的應(yīng)用卻很少。在熒光光學(xué)顯微成像領(lǐng)域中,國外的幾家光學(xué)公司即Olympus,Nikon和Zeiss,都有一些熒光顯微成像系統(tǒng)具有自動對焦功能,但是這些具有自動對焦功能的熒光顯微成像的售價十分昂貴,并且其自動對焦方法基本都是基于硬件進(jìn)行對焦;有些熒光顯微成像系統(tǒng)的自動對焦方法應(yīng)用于玻片成像,即通過玻片表面的反射光進(jìn)行焦面判斷。所以,這種對焦方法并沒有實現(xiàn)對生物組織本身進(jìn)行對焦,而只是確定了熒光光學(xué)顯微成像系統(tǒng)理想狀態(tài)下的對焦。若物鏡與樣品之間有緩沖溶液作為介質(zhì),則溫度或者緩沖溶液的濃度都會影響光的折射率,從而基于該方法的自動對焦毫無效果,故需要一種基于生物組織圖像的自動調(diào)焦方法。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)的缺陷,本發(fā)明的目的在于提供一種雙通道熒光光學(xué)顯微成像中基于圖像處理的自動對焦方法,旨在解決使用熒光光學(xué)顯微成像系統(tǒng)對生物組織樣本成像過程中,成像的焦面會隨著環(huán)境溫度以及介于物鏡與生物組織樣本表面間的溶液濃度的變化而變化的問題。
本發(fā)明提供了一種雙通道熒光光學(xué)顯微成像中基于圖像處理的自動對焦方法,包括下述步驟:
S1:獲得生物組織樣本當(dāng)前冠狀面輪廓,并通過當(dāng)前冠狀面輪廓獲得三個對焦窗口位置;
S2:通過控制三維精密移動控制平臺移動到所述對焦窗口位置來實現(xiàn)對三個對焦窗口進(jìn)行掃描,并采集第i層生物組織樣本細(xì)胞構(gòu)筑通道的圖像;i的初值為1;細(xì)胞構(gòu)筑通道是指成像系統(tǒng)中能夠獲取生物組織樣本細(xì)胞構(gòu)筑信息的通道;
S3:判斷當(dāng)前層三個對焦窗口的圖像采集是否完成,若是,則i=i+1,并進(jìn)入步驟S4,若否,則返回至步驟S2;
S4:判斷采集層數(shù)i是否大于預(yù)設(shè)的閾值,若是,則進(jìn)入步驟S5,若否,則返回至步驟S2;
S5:使用能量梯度算法對采集的生物組織樣本細(xì)胞構(gòu)筑通道的圖像進(jìn)行處理,獲得每一幀圖像的對焦評價值;
S6:將三個對焦窗口不同層數(shù)的對焦評價值分別按照從大到小進(jìn)行排序,獲得三個最大的對焦評價值所在的層數(shù);
S7:判斷三個最大的對焦評價值所在的層數(shù)是否相同,若是,則進(jìn)入步驟S8,若否,則結(jié)束自動對焦過程;
S8:根據(jù)最大的對焦評價值所在的層數(shù)、當(dāng)前冠狀面層數(shù)和Z軸掃描步進(jìn)值,獲得焦面需要調(diào)節(jié)的大小;并根據(jù)得焦面需要調(diào)節(jié)的大小進(jìn)行調(diào)焦。
更進(jìn)一步地,步驟S1中獲得生物組織樣本當(dāng)前冠狀面輪廓的步驟具體為:
S11:獲取當(dāng)前生物組織樣本細(xì)胞構(gòu)筑通道圖像;
S12:對所述生物組織樣本細(xì)胞構(gòu)筑通道圖像進(jìn)行均值濾波處理多次后,獲得濾波圖像;
S13:將所述濾波圖像中每個像素點的灰度值按從小到大的順序進(jìn)行排序,將前一半的灰度值取平均得到均值M,將均值M乘以倍數(shù)N得到冠狀面圖像的閾值T;倍數(shù)N為0.5~3;
S14:采用閾值T對所述濾波圖像進(jìn)行二值化處理,獲得二值化圖像;
S15:對所述二值化圖像進(jìn)行腐蝕處理獲得生物組織樣本當(dāng)前冠狀面輪廓。
更進(jìn)一步地,在步驟S12中,采用3*3的模版進(jìn)行均值濾波處理,且均值濾波處理的次數(shù)為20;在步驟S15中,腐蝕處理具體為:以5*5的矩形模版進(jìn)行10次腐蝕操作。
更進(jìn)一步地,三個對焦窗口中第一個對焦窗口的位置為:(x2,y2),第二個對焦窗口的位置為:(x2-0.3,y2),第三個對焦窗口的位置為:(x2-0.6,y2);其中,x2是第一個對焦窗口的位置的橫坐標(biāo),y2是第一個對焦窗口的位置的縱坐標(biāo)。
更進(jìn)一步地,步驟S4中,Z軸步進(jìn)值J的取值范圍是0.0001mm~0.001mm,預(yù)設(shè)的閾值K的范圍為5~15。
更進(jìn)一步地,步驟S5中,所述對焦評價值為:其中,E為對焦評價值,x,y分別對應(yīng)圖像中像素點的坐標(biāo),f(x,y)表示在圖像中(x,y)像素點的灰度值。
更進(jìn)一步地,步驟S8中,焦面需要調(diào)節(jié)的大小等于當(dāng)前冠狀面層數(shù)與最大的對焦評價值所在的層數(shù)之差乘以Z軸掃描步進(jìn)值。
通過本發(fā)明所構(gòu)思的以上技術(shù)方案,與現(xiàn)有技術(shù)相比,由于本發(fā)明使用生物組織樣本細(xì)胞構(gòu)筑通道的圖像作為自動對焦的判斷基準(zhǔn),確保了自動對焦過程獲取的圖像具有大量的細(xì)胞輪廓信息,所以能夠有效的判斷自動對焦圖像的清晰度,從而增加了自動對焦過程的穩(wěn)定性與準(zhǔn)確性。
附圖說明
圖1為本發(fā)明實施例提供的自動對焦中三維精密移動控制平臺的結(jié)構(gòu)示意圖;
圖2為本發(fā)明實施例提供的對焦窗口選取示意圖;
圖3為本發(fā)明實施例提供的雙通道熒光光學(xué)顯微成像中基于圖像處理的自動對焦方法的實現(xiàn)流程圖;
圖4為本發(fā)明實施例提供的雙通道熒光光學(xué)顯微成像中基于圖像處理的自動對焦方法中生物組織樣本輪廓范圍提取的方法實現(xiàn)流程圖。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白,以下結(jié)合附圖及實施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
本發(fā)明提供的雙通道熒光顯微成像系統(tǒng)中的基于圖像處理的自動對焦方法適用于支持雙通道熒光光學(xué)顯微成像的系統(tǒng);具有較高的對焦質(zhì)量與對焦穩(wěn)定性。在生物組織樣本進(jìn)行雙通道熒光成像中,一個通道對生物標(biāo)記信號進(jìn)行熒光成像,另一個通道對生物組織樣本的細(xì)胞構(gòu)筑進(jìn)行成像。生物組織樣本的細(xì)胞構(gòu)筑通道能夠觀察到被染色后的細(xì)胞熒光圖像,有組織的地方就有細(xì)胞,所以可在任何時候使用這些細(xì)胞信號圖像作為焦面的判斷依據(jù)。在熒光光學(xué)顯微成像中,由于生物標(biāo)記信號通道的信號十分稀少,若是稀疏標(biāo)記的樣本,在生物組織樣本一個冠狀面中,該冠狀面大小20000*40000像素,每個像素0.0002mm,所有信號所占像素的數(shù)量也只有數(shù)百個像素點而已,可見要想在生物標(biāo)記信號通道自動找到信號并實現(xiàn)自動對焦是十分困難的。則使用生物組織樣本的細(xì)胞構(gòu)筑通道可以較為輕松的找到細(xì)胞圖像,并進(jìn)行自動對焦,所以可以克服原本生物標(biāo)記信號通道中的信號的不確定性,提高了自動對焦的對焦質(zhì)量與穩(wěn)定性。
通過本發(fā)明所構(gòu)思的以上技術(shù)方案,與現(xiàn)有的基于測量生物組織樣本與物鏡間的距離的方法相比,由于其完全基于圖像處理的方式進(jìn)行自動對焦,能夠完全不受環(huán)境因素干擾,更加穩(wěn)定的,精確的對生物組織樣本進(jìn)行對焦。
下面結(jié)合附圖來進(jìn)一步說明本發(fā)明的技術(shù)方案,此處所描述的具體實施方式僅僅用于解釋本發(fā)明,并非對本發(fā)明進(jìn)行限定。另外還需要說明的是,為了便于描述,附圖中僅僅出現(xiàn)了與本發(fā)明相關(guān)的核心內(nèi)容并非全部。
圖1為本發(fā)明的雙通道熒光光學(xué)顯微成像系統(tǒng)的結(jié)構(gòu)示意圖,其中三維精密移動控制平臺1上安裝加工槽2,加工槽可以緊密固定于三維精密移動控制平臺上,生物組織樣本3固定于加工槽中。刀具4可實現(xiàn)對生物組織樣本進(jìn)行切削,每切削完成一個冠狀面,三維精密移動控制平臺攜帶生物組織樣本移動至物鏡5下方進(jìn)行掃描成像。生物組織樣本被激發(fā)的熒光圖像通過物鏡再經(jīng)過探測光路6,使用濾光片將混合的熒光圖像分離成兩個通道不同的信號分別被TDICCD7和TDICCD8采集。兩個通道的TDICCD采集的圖像通過線纜9,10傳送至計算機系統(tǒng)11。計算機系統(tǒng)通過線纜12控制三維精密移動控制平臺的控制箱11,同時控制箱通過線纜13控制三維精密移動控制平臺的運動。整個系統(tǒng)的坐標(biāo)軸如圖中所示,三維精密移動控制平臺的坐標(biāo)軸與圖中坐標(biāo)軸相同,當(dāng)三維精密移動控制平臺沿X軸正向移動時進(jìn)行生物組織樣品的切削或者成像過程,同時三維精密移動控制平臺需要沿Y軸正方向步進(jìn),完成生物組織樣品整個冠狀面的切削或者成像。生物組織樣品固定于加工槽中,同時加工槽固定于三維精密移動控制平臺上,則生物組織樣品與三維精密移動控制平臺的X軸,Y軸與Z軸正方向相同。
圖2為本發(fā)明的對焦窗口選取位置示意圖,其中A矩形框代表整個熒光顯微成像系統(tǒng)中的成像范圍,B矩形框代表實際的生物組織樣本的最大包圍矩形框的范圍,其左上角和右下角的坐標(biāo)分別是(x0,y0),(x1,y1),可通過圖4中流程計算得出B矩形框的范圍。在自動對焦過程中,需要對有生物組織的地方進(jìn)行采樣,所以首先需要計算出當(dāng)前冠狀面輪廓的范圍,這樣才能更精確的選取對焦窗口。a,b,c矩形框分別代表對焦窗口位置,即是在生物組織樣本表面中選取的三個對焦窗口,a,b,c相鄰且位于生物組織樣本Y方向不同的位置,在X方向三個對焦窗口處于正中心,本實例中熒光顯微成像系統(tǒng)正常成像過程中獲取生物組織樣本的一幀圖像大小是0.42*0.3mm,故該實例中選取a,b,c的長度是5幀圖像的長度即2.1mm,寬度是0.3mm。a點的起始點的位置坐標(biāo)是(x2,y2),則x2=(x1-x0)/2-0.42*5/2,y2=(y1-y0)/2-0.3,則b點和c點的起始點在x方向與a點相同,y方向依次遞減0.3mm。在熒光成像中,有組織的地方就會有熒光,在沒有組織的地方幾乎是看不到光亮的,所以使用生物組織樣本的細(xì)胞構(gòu)筑通道作為自動對焦的基礎(chǔ),基本上都有細(xì)胞圖像從而在克服了選取對焦窗口沒有圖像的問題。至于為什么選取三個對焦窗口,是由于B矩形框范圍比較大,對整個B矩形框范圍成像需要花費成倍的時間,同時使用B矩形框范圍的圖像進(jìn)行計算,需要大量的時間,減小了自動對焦的效率,綜合考慮,三個對焦窗口既可以減少系統(tǒng)誤差也不會影響自動對焦的速度,所以選取三個對焦窗口是合適的。
圖3為本發(fā)明的自動對焦方法的實現(xiàn)流程,具體包括:
步驟S1:計算生物組織樣本當(dāng)前冠狀面輪廓,并通過當(dāng)前冠狀面輪廓計算三個對焦窗口位置,具體計算方法詳見圖2所示。
步驟S2:移動三維精密移動控制平臺,準(zhǔn)備對三個對焦窗口進(jìn)行掃描采圖。該步驟是根據(jù)步驟S1中計算出的對焦窗口位置,將三維精密移動控制平臺移動到對焦窗口位置,準(zhǔn)備進(jìn)行掃描采圖。
步驟S3:掃描采圖,并判斷當(dāng)前層三個對焦窗口圖像采集是否完成。若是,則進(jìn)入步驟S4,若否,則繼續(xù)進(jìn)行掃描采圖。同時該步驟中所采集的圖像都是生物組織樣本細(xì)胞構(gòu)筑通道的圖像。
步驟S4:以一定步進(jìn)值J移動Z軸,并判斷采集層數(shù)是否大于K,若是,則進(jìn)行步驟S5,若否,則回到步驟S3繼續(xù)掃描采圖,其中步進(jìn)值J的范圍是0.0001mm~0.001mm,K的范圍是5~15。該過程需要控制三維精密移動控制平臺Z軸以一定的步進(jìn)移動,對三個對焦窗口進(jìn)行掃描采圖,實現(xiàn)對當(dāng)前生物組織冠狀面Z軸掃描的目的。該實例中,Z軸的步進(jìn)優(yōu)選的使用0.0002mm,掃描層數(shù)優(yōu)選的是11層。該步驟中判斷采集層數(shù)用到的11是根據(jù)實際情況,綜合實驗過后得到的一個最好的參數(shù),既可以有效的采集到自動對焦需要的圖像,還可以使整個自動對焦過程時間不至于太長。
步驟S5:使用能量梯度算法對圖像進(jìn)行處理,得到每一幀圖像的對焦評價值?;叶忍荻人惴ü饺缦拢?/p>
該公式中,E表示圖像經(jīng)過該梯度函數(shù)計算后得到的值,即對焦評價值;x,y分別對應(yīng)圖像中像素點的坐標(biāo),f(x,y)表示在圖像中(x,y)像素點的灰度值。
步驟S6:分別比較三個對焦窗口不同層數(shù)的對焦評價值,得到最大的對焦評價值所在的層數(shù)。
步驟S7:對比三個對焦窗口得到的對焦評價值最大的層數(shù),判斷是否一致。若是,則進(jìn)行步驟S8,若否,則結(jié)束自動對焦過程。
步驟S8:根據(jù)步驟S7中的層數(shù)和Z軸掃描采圖的步進(jìn),可以計算得出焦面需要調(diào)節(jié)的大小。若該實例中步驟S7中層數(shù)是3,當(dāng)前冠狀面層數(shù)是5,Z軸掃描采圖的步進(jìn)是0.0002mm,則焦面調(diào)節(jié)大小是(5-3)*0.0002mm。
圖4為本發(fā)明的生物組織樣本輪廓范圍提取的方法流程圖,具體包括:
步驟S11:獲取當(dāng)前冠狀面圖像,該冠狀面圖像是生物組織樣本細(xì)胞構(gòu)筑通道圖像。
步驟S12:用3*3模版對圖像做均值濾波處理20次,得到濾波圖像。
步驟S13:將濾波圖像中每個像素點的灰度值按從小到大的順序排序,將前一半的灰度值取平均得到均值M,將均值M乘以倍數(shù)N得到冠狀面圖像的閾值T,倍數(shù)N為0.5~3,本實例中優(yōu)選的選擇N=1.5;
步驟S14:采用閾值T對所述濾波圖像進(jìn)行二值化處理,獲得二值化圖像。
步驟S15:對所述二值化圖像進(jìn)行腐蝕處理獲得腐蝕后的腐蝕圖像;具體可以以5*5的矩形模版進(jìn)行10次腐蝕操作。
由于對應(yīng)的生物組織樣本是用樹脂進(jìn)行包埋成像,所以每一個冠狀面都能看到樹脂的邊緣以及樹脂中的一些雜質(zhì),這些都會影響后面的輪廓檢測,故需要進(jìn)行腐蝕操作來將這些雜質(zhì)以及樹脂邊緣剔除。
步驟S16:對腐蝕后的腐蝕圖像進(jìn)行取輪廓處理獲得第一矩形框。
由于本發(fā)明的自動對焦方法是完全基于圖像處理的方式,所以在選取對焦窗口時,一定要要保證所選取的對焦窗口是有生物組織的地方,所以需要首先計算出當(dāng)前冠狀面生物組織樣本的輪廓范圍,然后在該輪廓范圍中選取對焦窗口,確保了選取的對焦窗口是有組織圖像的。
綜上所述,本發(fā)明中的自動對焦方法可以很好的解決熒光光學(xué)顯微成像中焦面隨著環(huán)境變化而變化的問題。同時,該自動對焦方法是在雙通道熒光光學(xué)顯微成像中使用了生物組織樣本細(xì)胞構(gòu)筑通道作為自動對焦的條件,更加直接的對生物樣本本身進(jìn)行對焦,具有較高的準(zhǔn)確性和穩(wěn)定性。
本領(lǐng)域的技術(shù)人員容易理解,以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。