相關(guān)申請(qǐng)的交叉引用
本pct申請(qǐng)要求獲得于2014年8月2日申請(qǐng)的標(biāo)題為“去除電子顯微照相機(jī)圖像異常點(diǎn)的方法”的第60/032,535號(hào)臨時(shí)申請(qǐng)案按照《美國(guó)法典》第35卷第119條(e)項(xiàng)規(guī)定所享有的權(quán)利。所述臨時(shí)申請(qǐng)案的全部公開(kāi)內(nèi)容均以引用的方式并入本文。
本發(fā)明涉及電子顯微鏡圖像處理領(lǐng)域。
背景技術(shù):
直到近年以來(lái),電子顯微鏡的照相機(jī)還一直采用一種間接成像法制造,這種間接成像法使用閃爍體將電子圖像轉(zhuǎn)換成光圖像,通過(guò)某種光學(xué)裝置捕捉光圖像,并將光圖像轉(zhuǎn)移到與閃爍體偏移的一個(gè)平面上,再使用硅傳感器來(lái)捕捉光圖像。所述光學(xué)裝置由熔融光纖板或透鏡組成。除了轉(zhuǎn)移光圖像的主要功能外,光學(xué)裝置還可保護(hù)硅傳感器免受電子束直接照射以及閃爍體上或更高處電子顯微鏡鏡筒上電子束軔致輻射產(chǎn)生的x射線(xiàn)帶來(lái)的傷害。該次要功能用于保護(hù)傳感器不受損壞,并防止x射線(xiàn)射中傳感器造成圖像劣化。所述光學(xué)裝置在實(shí)現(xiàn)次要功能時(shí)僅能起到部分作用。
閃爍體上或更高處電子顯微鏡鏡筒上產(chǎn)生的x射線(xiàn),一部分穿過(guò)光學(xué)裝置,一部分在硅傳感器的外延層中被直接檢測(cè)到,在其入口點(diǎn)生成小亮點(diǎn),覆蓋在電子束形成的圖像上。
這些亮點(diǎn)不能提高圖像的質(zhì)量,相反會(huì)降低其質(zhì)量,因?yàn)椋?)閃爍體上的隨機(jī)發(fā)射角以及后續(xù)散射破壞了x射線(xiàn)與在閃爍體上產(chǎn)生x射線(xiàn)的攜帶圖像信號(hào)的電子之間的空間關(guān)聯(lián);2)與閃爍后以及通過(guò)光學(xué)裝置進(jìn)行圖像轉(zhuǎn)移后入射電子帶來(lái)的凈信號(hào)相比,直接檢測(cè)到的x射線(xiàn)在硅傳感器檢測(cè)到的圖像上顯著地增加了更多信號(hào)。因此,應(yīng)該盡量減少這些x射線(xiàn)產(chǎn)生的亮點(diǎn)數(shù)量。
減少亮點(diǎn)的主要方法是增加閃爍體與傳感器之間的質(zhì)量。當(dāng)電子束的能量過(guò)高,或閃爍體與傳感器之間沒(méi)有充足的空間來(lái)放置足夠材料時(shí),該方法并不十分有效。此外,若使用光學(xué)透鏡,光學(xué)設(shè)計(jì)將規(guī)定材料的數(shù)量,而該數(shù)量可能不足以提供足夠的x射線(xiàn)安全屏蔽。
另外,除閃爍體軔致輻射x射線(xiàn)外,還存在其他輻射源。它們包括宇宙射線(xiàn)以及局部環(huán)境中放射性元素的衰變,這些因素同樣能在圖像中生成亮點(diǎn)。雖然可以通過(guò)照相機(jī)外殼和用于減少這些形式的輻射的光學(xué)裝置進(jìn)行屏蔽,但在存在軔致輻射的情況下,也不能100%有效。另外,不帶閃爍體和轉(zhuǎn)移光學(xué)裝置的直接檢測(cè)傳感器在檢測(cè)偏離散射和樣本圖像統(tǒng)計(jì)中未予描述但會(huì)影響圖像質(zhì)量的其他輻射源時(shí)將存在問(wèn)題。
因此,需要一種技術(shù)能夠完全消除入射電子束和其他輻射源所引起的x射線(xiàn)導(dǎo)致的傳感器中的亮點(diǎn)。這些從不符合預(yù)期圖像統(tǒng)計(jì)特征的各種來(lái)源中產(chǎn)生的亮點(diǎn)就稱(chēng)為異常點(diǎn)。一種消除異常點(diǎn)的圖像處理技術(shù)應(yīng)能解決所有上述各種輻射源誘導(dǎo)產(chǎn)生的亮點(diǎn),不論其來(lái)源如何。
目前已知一些基于從綜合曝光值中去除異常點(diǎn)的圖像處理技術(shù)。通過(guò)對(duì)局部圖像統(tǒng)計(jì)數(shù)據(jù)進(jìn)行評(píng)估,這些技術(shù)將建立一個(gè)無(wú)異常點(diǎn)值的局部預(yù)期范圍,而異常點(diǎn)則被確認(rèn)為不在局部預(yù)期范圍內(nèi)的那些像素。該范圍的建立通常選取多個(gè)標(biāo)準(zhǔn)偏差用于減少對(duì)異常點(diǎn)的錯(cuò)誤識(shí)別,而異常點(diǎn)是從未遭受直接輻射探測(cè)事件的像素中選出的。因?yàn)橥ǔG闆r下,標(biāo)準(zhǔn)偏差或統(tǒng)計(jì)偏差的其他測(cè)量值隨著局部照明強(qiáng)度(以下簡(jiǎn)稱(chēng)為每像素電子劑量或電子劑量)以及局部樣本圖像亮度而變化,并且樣本可從一個(gè)圖像變?yōu)橄乱粋€(gè)圖像,或在圖像內(nèi)從一個(gè)區(qū)域變到下一個(gè)區(qū)域,因此通常每個(gè)待處理圖像的閾值一般都是單獨(dú)評(píng)估的。
這種方法存在很多問(wèn)題。首先,它依賴(lài)于對(duì)遍歷性的假設(shè),即像素局部組的統(tǒng)計(jì)數(shù)據(jù)與一系列獲取的像素之一的統(tǒng)計(jì)數(shù)據(jù)相匹配。然而,因?qū)Ρ榷容^高或樣本圖像變化迅速,這種假設(shè)不成立。通過(guò)評(píng)估受測(cè)像素周?chē)植啃》秶鷥?nèi)的統(tǒng)計(jì)數(shù)據(jù)可盡量減小樣本對(duì)比效果,但這一要求減少了用于計(jì)算平均信號(hào)電平的像素的數(shù)量以及用于生成異常點(diǎn)閾值標(biāo)準(zhǔn)的標(biāo)準(zhǔn)偏差的數(shù)量。這就需要一種適用于低對(duì)比度樣本的折中方案,但因?yàn)楦鼜?fù)雜的圖像內(nèi)容,如繞射圖或含有銳利邊緣的圖像,使圖像中的高對(duì)比度特征(如繞射圖斑點(diǎn))被錯(cuò)誤地確認(rèn)為輻射異常點(diǎn),該折中方案依然不成立。
第二個(gè)問(wèn)題是,隨著劑量水平增加,間接圖像(閃爍體光振蕩、光傳輸和傳感器檢測(cè)得到的預(yù)期“良好的”圖像)中普通高斯噪點(diǎn)的柱狀圖將逐漸使越來(lái)越多直接檢測(cè)到的輻射事件的柱狀圖變得模糊。當(dāng)閃爍體發(fā)生軔致輻射,其透射式電子顯微鏡成像中異常點(diǎn)的最重要來(lái)源時(shí),尤其在200kv以上加速電壓下,x射線(xiàn)異常點(diǎn)計(jì)數(shù)率與射束強(qiáng)度成正比。此效應(yīng)如圖1所示,圖1顯示了在每個(gè)檢測(cè)器像素的電子射束劑量水平分別約為100和7000的兩種不同情況下,將間接耦合的透射式電子顯微鏡相機(jī)置于400kv均勻射束中的結(jié)果。在各劑量水平下,選取一對(duì)相同曝光量并通過(guò)平差去除柱狀圖的固定式增益變化值。為生成圖1中的曲線(xiàn),差異圖像的絕對(duì)值柱狀圖被這一對(duì)曝光量的總平均劑量劃分,形成一個(gè)帶有單位的規(guī)范化柱狀圖:給定計(jì)數(shù)率下各入射束電子的像素。圖中的x軸代表從無(wú)論高低的圖像均值而來(lái)的一個(gè)像素偏差的計(jì)數(shù)中的絕對(duì)量。低劑量1(100個(gè)電子/像素)和高劑量2(7000個(gè)電子/像素)的柱狀圖都可見(jiàn)包括兩個(gè)部分,分別為:高斯型3(日志顯示為逆拋物線(xiàn))間接圖像噪點(diǎn)分布和x射線(xiàn)生成異常點(diǎn)的衰減指數(shù)4(日志顯示為向下傾斜的近似線(xiàn)形)分布。隨著射束強(qiáng)度的增加,規(guī)范化的噪點(diǎn)分布將變得更寬更低,而因高斯分布上方柱狀圖區(qū)域內(nèi)射束產(chǎn)生的軔致輻射x射線(xiàn),預(yù)測(cè)各入射束電子的給定像素計(jì)數(shù)的規(guī)范化分布將恒定不變。低劑量(100個(gè)電子/像素)從150個(gè)計(jì)數(shù)5開(kāi)始,高劑量(7000個(gè)電子/像素)從700個(gè)計(jì)數(shù)6開(kāi)始。因此,在較高劑量下,異常點(diǎn)分布的很大一部分被高斯分布覆蓋,因而不能通過(guò)異常點(diǎn)閾值方法進(jìn)行辨別。雖然可以認(rèn)為,如果不能進(jìn)行辨別則異常點(diǎn)分布不可見(jiàn),因此并不存在問(wèn)題,但總噪點(diǎn)仍然明顯地包括規(guī)范分布包絡(luò)線(xiàn)附近的異常點(diǎn)。該示例表明,閾值為700個(gè)計(jì)數(shù)而非150個(gè)計(jì)數(shù)時(shí),7000個(gè)電子/像素的圖像中存在的異常點(diǎn)約占7000個(gè)電子/像素功率譜的5%的變量。
檢測(cè)之后,修正異常點(diǎn)最簡(jiǎn)單的方法是將其恢復(fù)到局部均值。另一種方法則是將異常點(diǎn)像素設(shè)置為從最近鄰點(diǎn)內(nèi)插的值。對(duì)于具有顯著空間變化的高對(duì)比度圖像而言,如果圖像因?yàn)槲恢枚兓杆伲骄O(shè)定值和內(nèi)插值都將不準(zhǔn)確,因此也會(huì)出現(xiàn)誤差。
因此,需要一種提供圖像異常點(diǎn)檢測(cè)和修正的改進(jìn)方法。
附圖說(shuō)明
圖1為不同強(qiáng)度水平下各入射束電子的典型像素圖。
圖2為縱軸顯示像素強(qiáng)度的圖像的三維圖。
圖3為縱軸顯示像素強(qiáng)度的圖像的三維圖。
圖4為標(biāo)準(zhǔn)偏差圖像產(chǎn)生的圖示。
圖5為修正邊遠(yuǎn)像素的示范方法。
圖6為修正邊遠(yuǎn)像素的示范方法。
具體實(shí)施方式
將曝光劑量進(jìn)行分級(jí),即將其劃分為一系列子曝光量但合計(jì)仍與總劑量相同,將為提高異常值去除效果創(chuàng)造大量機(jī)會(huì)。首先,通過(guò)為各像素提供一個(gè)曝光序列,可以逐像素為基礎(chǔ)對(duì)平均值和標(biāo)準(zhǔn)偏差進(jìn)行評(píng)估來(lái)確定異常點(diǎn)閾值,從而避免依賴(lài)遍歷性假設(shè)。依次地,而由于對(duì)像素進(jìn)行了統(tǒng)計(jì)評(píng)估,基本上消除了樣本圖像特征的敏感度。第二,通過(guò)縮小設(shè)定閾值的劑量,較少的直接輻射檢測(cè)柱狀圖被歸入間接圖像信號(hào),因此能夠選擇更低的閾值,并能夠更加徹底地去除非預(yù)期輻射信號(hào)。第三,各子曝光量可單獨(dú)修正,通過(guò)使用平均值或內(nèi)插值替換異常點(diǎn),最終合并圖像各像素的偽像素將減少,因?yàn)樵谌魏谓o定像素下,在一系列子曝光量中,通常最多只有一個(gè)子曝光量會(huì)被修正。由于極低的事件發(fā)生率(各顯微鏡入射電子約10-7至10-6),甚至對(duì)于達(dá)到數(shù)千上萬(wàn)的子曝光總量來(lái)說(shuō),也很少出現(xiàn)對(duì)某個(gè)給定像素進(jìn)行兩次(或更多)撞擊的情況。圖2和圖3顯示400kv下,兩個(gè)連續(xù)50個(gè)電子均勻照射曝光量中相同檢測(cè)器面積的三維圖,像素強(qiáng)度顯示在第三維度。兩圖的底部平展部分為均勻照射像素強(qiáng)度7,圖2中的頂點(diǎn)8為單獨(dú)異常點(diǎn)。圖3中所示第二個(gè)曝光量是從相同位置下一幀選出的,沒(méi)有異常點(diǎn)。在400kv的該劑量(50個(gè)電子/像素/秒)下,預(yù)計(jì)每20,000個(gè)像素中,或每140×140像素面積中約出現(xiàn)一次異常點(diǎn)事件。圖2和圖3所示檢測(cè)器面積中,預(yù)計(jì)每80幀中僅有一幀會(huì)出現(xiàn)一個(gè)異常點(diǎn),任何一幀中相同像素上出現(xiàn)兩個(gè)異常點(diǎn)的可能性?xún)H為每400,000,000(20,0002)一次。因此有可能將每個(gè)像素的平均值以及圖像系列中像素噪點(diǎn)水平的較佳統(tǒng)計(jì)數(shù)據(jù)積累起來(lái)。下面對(duì)生成圖像和去除異常點(diǎn)像素的示例方法的步驟進(jìn)行描述。所述方法的流程圖如圖5所示。
步驟1:對(duì)于預(yù)期劑量為n個(gè)電子/像素100的給定預(yù)期曝光量,將該曝光量分為s個(gè)等量的子曝光量110。
步驟2:計(jì)算全部子曝光量的平均圖像信號(hào),
步驟3:使用該平均值,計(jì)算圖像系列中各像素上形成的強(qiáng)度時(shí)間序列的標(biāo)準(zhǔn)偏差,
同樣地,
步驟4:選擇一個(gè)閾值130系數(shù)x,乘以計(jì)算出的標(biāo)準(zhǔn)偏差,得到預(yù)期誤測(cè)數(shù)量。例如,當(dāng)只能辨別出測(cè)定異常點(diǎn)時(shí),假設(shè)高斯分布以及平均和標(biāo)準(zhǔn)偏差測(cè)量值皆為理想狀態(tài),x=3可得到的每730個(gè)像素的偽異常點(diǎn)的誤測(cè)率為1。
步驟5:評(píng)估140各子幀比閾值
步驟6:使用像素時(shí)間序列平均值
步驟7:合并
多次迭代
在另一實(shí)施例中,如下進(jìn)行多次演算:重復(fù)步驟2–6,使用修正的像素值計(jì)算精確的平均值圖像
移動(dòng)平均值
在另一實(shí)施例中,形成了移動(dòng)平均值。上述基本技術(shù)以及多次演算都存在一個(gè)問(wèn)題,即獲取整個(gè)數(shù)據(jù)集并在至少兩次演算處理后,才會(huì)出現(xiàn)輸出值。這是因?yàn)樵谟?jì)算得到平均值之前,以及在獲得全部圖像系列之前,無(wú)法開(kāi)始標(biāo)準(zhǔn)偏差計(jì)算。另一種適用于即時(shí)取景(視頻直播)模式的替換方法是使用最后k幀的移動(dòng)平均值計(jì)算逐像素的平均值和標(biāo)準(zhǔn)偏差,用以確定異常點(diǎn)閾值。移動(dòng)平均值通常采用如下公式進(jìn)行定義:
ai,j,this=1/r×(si,j,this)+(r-1)/r×(ai,j,previous),
其中,之前討論中的指數(shù)k替換成了“this”(當(dāng)前)和“previous”(先前),分別用于表示當(dāng)前獲取的值和更新的移動(dòng)平均值,以及先前的移動(dòng)平均值;r為通過(guò)迭代技術(shù)平均后的有效幀數(shù)。由于標(biāo)準(zhǔn)偏差為平均值的平方偏差的平均值平方根,即方差,適用于方差的移動(dòng)平均值更新方法如下所示:
其中,分母中幀數(shù)減去1,為上述非移動(dòng)方法中所用平均值追蹤有限樣本提供相同補(bǔ)償。標(biāo)準(zhǔn)偏差和閥值將會(huì)由這種移動(dòng)平均值和方差中計(jì)算。在即時(shí)取景(視頻直播)模式下,假設(shè)樣本移動(dòng)適度,移動(dòng)平均值和移動(dòng)方差都將繼續(xù)跨越合并曝光量之間的界線(xiàn)。該技術(shù)將最適用于即時(shí)取景,因?yàn)樵谶@種情況下,需要快速確定平均值和標(biāo)準(zhǔn)偏差,同時(shí)也需要圖像內(nèi)容在合并曝光量的間界線(xiàn)處可能發(fā)生顯著變化時(shí)不會(huì)造成問(wèn)題,靜幀采集通常如此。如果在對(duì)幀進(jìn)行合并前已對(duì)指定幀數(shù)(該數(shù)量由給定常數(shù)乘以有效幀數(shù)r而獲得)進(jìn)行平均,則該技術(shù)可在靜止幀獲取模式下使用。
非破壞性讀取(ndr)
在另一實(shí)施例中,該方法適用于系列開(kāi)始時(shí)對(duì)全部像素進(jìn)行一次重新設(shè)定后,在cmos有源像素傳感器上讀取一系列幀的非破壞性讀取的情形。該方法具有許多好處,包括減少噪點(diǎn)等,但需要在去除異常點(diǎn)時(shí)采取不同的方式。由于首次重新設(shè)定后不再進(jìn)行重新設(shè)定操作,通過(guò)非破壞性讀取,在ndr系列中的k幀上設(shè)備檢測(cè)出的直接輻射事件保留至所有連續(xù)幀。因此,為對(duì)異常點(diǎn)進(jìn)行判別,有必要在連續(xù)幀之間形成一定差異。
對(duì)非破壞性讀取的圖像系列進(jìn)行進(jìn)一步處理前,必須從k幀和所有連續(xù)幀中減去幀差異中發(fā)現(xiàn)的測(cè)定異常點(diǎn)si,j,k-si,j,k-1。由于輻射事件巧合的發(fā)生率極低,因此沒(méi)有必要在為k幀設(shè)定閥值前從k-1幀中去除輻射事件。該方法的優(yōu)選實(shí)施方式是從非破壞性讀取序列的k+1幀中創(chuàng)建k差異圖像,如下所述:對(duì)于ndr圖像序列si,j,k,fork=1,2,3,...,k而言,形成的差異序列為δi,j,k=si,j,k-si,j,k-1,fork=1,2,3,...,k。然后,按照上述步驟2-6中所述基本異常點(diǎn)去除方法,根據(jù)前文k幀段落所述進(jìn)行異常點(diǎn)去除。若需要可進(jìn)行多次演算細(xì)化,和/或進(jìn)行基本方法的其他一種細(xì)化。最后,合并差異圖形以重建ndr序列,此時(shí)異常點(diǎn)已被去除。所述合并運(yùn)算定義如下:
其中,k為合并指數(shù),是修正幀指數(shù)k的總和ci,j,k。該積分的準(zhǔn)確性依賴(lài)于第一幀si,j,0在讀取之前及時(shí)重新設(shè)定而沒(méi)有異常點(diǎn)的假設(shè)。
圖6為上述非破壞性讀取操作去除異常點(diǎn)的示范方法的流程圖。步驟200進(jìn)行一系列非破壞性讀取以創(chuàng)建一系列圖像。步驟210通過(guò)從各圖像(圖像系列中第一張圖像除外)中減去先前圖像,創(chuàng)建一系列差異圖像。步驟220在圖像系列中計(jì)算平均值圖像的信號(hào)強(qiáng)度。步驟230選擇一個(gè)閾值,得到預(yù)期誤測(cè)數(shù)量。步驟240對(duì)比所述閾值離平均值更遠(yuǎn)的像素的各子幀曝光量進(jìn)行評(píng)估。步驟250替換隨后形成所述差異圖像的圖像系列的各圖像的像素,以形成修正的圖像系列,所述差異圖像中包含的像素比所述平均值離所述閾值更遠(yuǎn)。步驟260合并修正的子幀圖像,以形成修正的曝光值。
二維去除
在另一實(shí)施例中,使用異常點(diǎn)群的二維形狀特征改善判別統(tǒng)計(jì)數(shù)據(jù)。某些案例中,輻射檢測(cè)事件會(huì)對(duì)不止一個(gè)像素造成影響,電荷沉積在相鄰像素群中,所述像素群為帶有容易被識(shí)別為異常點(diǎn)的較大信號(hào)的一個(gè)或多個(gè)像素。然而,帶有小于標(biāo)準(zhǔn)異常點(diǎn)閾值的信號(hào)的輻射檢測(cè)事件像素群中的像素可能仍帶有足夠降低圖像信號(hào)質(zhì)量的信號(hào)。因此,即使這些相鄰事件像素未被判定為異常點(diǎn),也有利于對(duì)其進(jìn)行修正。而達(dá)到此目的的一種可能方法是為作為主要閾值異常點(diǎn)的相鄰像素建立較低閾值。這些像素將被設(shè)置為像素圖像系列平均值的平均值,而非較大異常點(diǎn)相鄰像素的平均值。
預(yù)測(cè)標(biāo)準(zhǔn)偏差
可通過(guò)等式