本申請(qǐng)一般涉及掃描電子顯微鏡。更具體地，本申請(qǐng)涉及一種用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方法、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、掃描電子顯微鏡設(shè)備結(jié)構(gòu)非常復(fù)雜，其零部件眾多且昂貴，若因誤操作導(dǎo)致掃描電子顯微鏡中的樣品臺(tái)和極靴碰撞使得零部件損壞，會(huì)造成嚴(yán)重的損經(jīng)濟(jì)失。由此，監(jiān)控掃描電子顯微鏡的樣品倉內(nèi)樣品臺(tái)到極靴的實(shí)時(shí)高度，并在兩者距離較近時(shí)進(jìn)行適當(dāng)?shù)念A(yù)警，在掃描電子顯微鏡中有較大的實(shí)用價(jià)值。

2、目前，對(duì)于掃描電子顯微鏡中的碰撞監(jiān)測(cè)方式通常是利用圖像處理進(jìn)行目標(biāo)識(shí)別與跟蹤來實(shí)現(xiàn)。例如，采用圖像處理中的幀差法進(jìn)行監(jiān)測(cè)。前述幀差法是利用相鄰幾幀連續(xù)圖像中像素值的變化，以捕捉圖像中的運(yùn)動(dòng)物體。然而，幀差法只適用于除了運(yùn)動(dòng)物體外沒有其余干擾的場(chǎng)景，而掃描電子顯微鏡的樣品倉中，由于機(jī)械零件加工精度較高，零件表面粗糙度較低，使得運(yùn)動(dòng)的樣品臺(tái)在其余的零件表面會(huì)發(fā)生反射。這會(huì)對(duì)幀差法的結(jié)果造成干擾，造成運(yùn)動(dòng)物體的誤判，從而進(jìn)一步影響碰撞監(jiān)測(cè)的精度。

3、有鑒于此，亟需提供一種用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方案，以便確定準(zhǔn)確的運(yùn)動(dòng)目標(biāo)，提高碰撞檢測(cè)的精度。

技術(shù)實(shí)現(xiàn)思路

1、為了至少解決如上所提到的一個(gè)或多個(gè)技術(shù)問題，本申請(qǐng)?jiān)诙鄠€(gè)方面中提出了用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方案。

2、在第一方面中，本申請(qǐng)?zhí)峁┮环N用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方法，包括：采集掃描電子顯微鏡的樣品倉內(nèi)未放置樣品臺(tái)對(duì)應(yīng)的參考幀圖像和放置樣品臺(tái)對(duì)應(yīng)的圖像數(shù)據(jù)流；對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分，以提取放置樣品臺(tái)的初始掩碼；基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測(cè)模型提取當(dāng)前幀中放置樣品臺(tái)的目標(biāo)掩碼；以及根據(jù)所述目標(biāo)掩碼和所述目標(biāo)極靴之間的距離進(jìn)行掃描電子顯微鏡中的碰撞監(jiān)測(cè)。

3、在一些實(shí)施例中，其中在對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分之前，還包括：對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行降噪操作和/或標(biāo)準(zhǔn)化操作。

4、在另一些實(shí)施例中，其中對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分，以提取放置樣品臺(tái)的初始掩碼包括：對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分，以確定運(yùn)動(dòng)像素掩碼；基于所述運(yùn)動(dòng)像素掩碼確定目標(biāo)連通域；以及根據(jù)所述目標(biāo)連通域的輪廓計(jì)算外輪廓點(diǎn)的凸包，并填充所述凸包來提取放置樣品臺(tái)的所述初始掩碼。

5、在又一些實(shí)施例中，其中基于所述運(yùn)動(dòng)像素掩碼確定目標(biāo)連通域包括：獲取所述運(yùn)動(dòng)像素掩碼中的初始連通域；計(jì)算各所述初始連通域的輪廓面積；以及將輪廓面積大于第一預(yù)設(shè)閾值的初始連通域確定為所述目標(biāo)連通域。

6、在又一些實(shí)施例中，其中所述碰撞監(jiān)測(cè)模型包括編碼器、融合模塊和解碼器，并且基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測(cè)模型提取當(dāng)前幀中放置樣品臺(tái)的目標(biāo)掩碼包括:以所述初始掩碼作為提示信息，使用所述編碼器提取當(dāng)前幀圖像的掩碼特征；使用所述融合模塊將所述掩碼特征和所述歷史幀圖像信息進(jìn)行融合，獲得融合結(jié)果；以及基于所述融合結(jié)果，使用所述解碼器進(jìn)行解碼操作，以提取當(dāng)前幀中放置樣品臺(tái)的所述目標(biāo)掩碼。

7、在又一些實(shí)施例中，其中還包括：對(duì)所述初始掩碼和所述當(dāng)前幀圖像進(jìn)行圖像縮放操作和/或歸一化操作。

8、在又一些實(shí)施例中，其中還包括：判斷所述歷史幀圖像信息的數(shù)量是否超出預(yù)設(shè)數(shù)量；以及響應(yīng)于所述歷史幀圖像信息的數(shù)量超出預(yù)設(shè)數(shù)量，從所述歷史幀圖像信息中刪除目標(biāo)歷史幀圖像信息。

9、在又一些實(shí)施例中，其中還包括：響應(yīng)于所述目標(biāo)掩碼中包含不同連通域，刪除輪廓面積小于第二預(yù)設(shè)閾值的連通域；以及對(duì)剩余連通域進(jìn)行外輪廓點(diǎn)的凸包填充，獲得最終目標(biāo)掩碼。

10、在又一些實(shí)施例中，其中根據(jù)所述目標(biāo)掩碼和所述目標(biāo)極靴之間的距離進(jìn)行掃描電子顯微鏡中的碰撞監(jiān)測(cè)包括：獲取所述目標(biāo)掩碼中目標(biāo)運(yùn)動(dòng)像素的最小縱坐標(biāo)和所述目標(biāo)極靴的目標(biāo)縱坐標(biāo)；以及響應(yīng)于所述最小縱坐標(biāo)和所述目標(biāo)縱坐標(biāo)之間的距離大于距離閾值，判定所述掃描電子顯微鏡中存在碰撞風(fēng)險(xiǎn)。

11、在第二方面中，本申請(qǐng)?zhí)峁┮环N用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的設(shè)備，包括：處理器；以及存儲(chǔ)器，其中存儲(chǔ)有用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的程序指令，當(dāng)所述程序指令由所述處理器執(zhí)行時(shí)，使得所述設(shè)備實(shí)現(xiàn)前述第一方面中的一個(gè)或者多個(gè)實(shí)施例。

12、在第三方面中，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的計(jì)算機(jī)可讀指令，該計(jì)算機(jī)可讀指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，實(shí)現(xiàn)前述第一方面中的一個(gè)或者多個(gè)實(shí)施例。

13、通過如上所提供的用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方案，本申請(qǐng)實(shí)施例首先通過未放置樣品臺(tái)對(duì)應(yīng)的參考幀圖像和放置樣品臺(tái)對(duì)應(yīng)的圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分，以提取初始掩碼。接著，基于初始掩碼和歷史幀圖像信息，使用碰撞監(jiān)測(cè)模型提取目標(biāo)掩碼。即，本申請(qǐng)實(shí)施例在基于幀間差分獲得的初始掩碼上，通過結(jié)合歷史幀圖像信息，并利用深度學(xué)習(xí)（或機(jī)器學(xué)習(xí)）對(duì)圖像數(shù)據(jù)流中識(shí)別到的運(yùn)動(dòng)物體進(jìn)行跟蹤，能夠有效降低幀差法跟蹤結(jié)果的離散性，有效跟蹤因相機(jī)視角變換導(dǎo)致的跟蹤物形體變化，從而較好地適配掃描電子顯微鏡中樣品臺(tái)的識(shí)別，同時(shí)抑制幀間差分無法避免的“鏡面效應(yīng)”。由此，可以獲得準(zhǔn)確的目標(biāo)掩碼，進(jìn)而通過目標(biāo)掩碼與目標(biāo)極靴之間的距離實(shí)現(xiàn)碰撞的精確監(jiān)測(cè)。

技術(shù)特征：

1.一種用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中在對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分之前，還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中基于所述運(yùn)動(dòng)像素掩碼確定目標(biāo)連通域包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中根據(jù)所述目標(biāo)掩碼和所述目標(biāo)極靴之間的距離進(jìn)行掃描電子顯微鏡中的碰撞監(jiān)測(cè)包括：

8.一種用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的設(shè)備，其特征在于，包括：

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的計(jì)算機(jī)可讀指令，該計(jì)算機(jī)可讀指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)涉及掃描電子顯微鏡技術(shù)領(lǐng)域，公開了一種用于掃描電子顯微鏡中碰撞監(jiān)測(cè)的方法、設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：采集掃描電子顯微鏡的樣品倉內(nèi)未放置樣品臺(tái)對(duì)應(yīng)的參考幀圖像和放置樣品臺(tái)對(duì)應(yīng)的圖像數(shù)據(jù)流；對(duì)所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進(jìn)行幀間差分，以提取放置樣品臺(tái)的初始掩碼；基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測(cè)模型提取當(dāng)前幀中放置樣品臺(tái)的目標(biāo)掩碼；以及根據(jù)所述目標(biāo)掩碼和所述目標(biāo)極靴之間的距離進(jìn)行掃描電子顯微鏡中的碰撞監(jiān)測(cè)。利用本申請(qǐng)的方案，可以確定準(zhǔn)確的運(yùn)動(dòng)目標(biāo)，提高碰撞檢測(cè)的精度。

技術(shù)研發(fā)人員：金憲偉,許濤,焦揚(yáng)
受保護(hù)的技術(shù)使用者：惠然科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19