本發(fā)明涉及成像領(lǐng)域，且具體地但非排他性地涉及用于將對象對準(zhǔn)到成像裝置視域，以便在不同的角度位置對被轉(zhuǎn)動的對象進行成像的系統(tǒng)和方法。

背景技術(shù)：

在許多應(yīng)用中，諸如微缺陷檢測、精確操縱、和原位材料表征等的應(yīng)用，在小尺度下以高的放大倍率和大的視區(qū)對對象進行成像是理想的。顯微成像技術(shù)是其中一種適于這些應(yīng)用的技術(shù)。這是因為顯微成像裝置可對微米或納米尺寸的樣本對象以高達納米級的分辨率進行成像，并且通過移動樣本臺并對在不同位置下的樣本對象在同一平面上成像，可獲得大的顯微視區(qū)。

盡管有這些優(yōu)點，但是大部分現(xiàn)有的顯微鏡系統(tǒng)僅可從一個固定的方向進行成像。因此，樣本對象的一些其它表面沒有成像，導(dǎo)致信息丟失。更重要的是，從單一表面所獲得的信息通常是不完整的，且因此不能完全反映對象的整體特性。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的第一方面，提供一種用于操縱對象以便由成像裝置進行成像的方法，所述方法包括以下步驟：將對象圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)到多個角度位置；在所述多個角度位置中的每一個獲取對象的圖像；以及對所述多個角度位置確定對象所需的相應(yīng)平移，所述平移沿著大體垂直于旋轉(zhuǎn)軸線的平面；其中相應(yīng)的平移被布置成將對象對準(zhǔn)到旋轉(zhuǎn)軸線上以便保持對象處于成像裝置的視域內(nèi)。

在第一方面的一個實施例中，所述旋轉(zhuǎn)軸線大體垂直于成像裝置的成像軸線，以及所述平面大體平行于所述成像裝置的成像軸線。

在第一方面的一個實施例中，所述多個角度位置包括第一角度位置、第二角度位置和第三角度位置，其中第一角度位置和第二角度位置之間的角度間隔與第二角度位置和第三角度位置之間的角度間隔相同。

在第一方面的一個實施例中，在步驟(c)中在多個角度位置的每一個中確定對象所需平移的步驟包括：將在對象空間中的對象的位置映射到在圖像空間中的圖像上該對象的位置；以及基于對象在圖像空間中在圖像中的位置差異來確定對象在對象空間中所需的平移。

在第一方面的一個實施例中，基于下述公式將在對象空間中的對象位置[x_N，y_N，z_N]^T映射到在圖像空間中的圖像上該對象的位置[x_M，y_M，z_M]^T：

其中

θ_x，θ_y和θ_z是對象空間相對于圖像空間分別圍繞在圖像空間中的旋轉(zhuǎn)軸線X_M，Y_M和Z_M的旋轉(zhuǎn)角度；[x_T，y_T，z_T]^T是對象空間和圖像空間之間的平移；以及u是圖像中像素的尺寸。

在第一方面的一個實施例中，在對象空間中的對象的位置是對象的目標(biāo)點在對象空間中的位置。

在第一方面的一個實施例中，該方法還包括使用Canny邊緣檢測算法在對象空間中選擇對象的目標(biāo)點的步驟。

在第一方面的一個實施例中，對于特定角度間隔的對象所需的平移是基于下述公式來確定的：

其中[x_n0，y_n0，z_n0]^T是對象的將被對準(zhǔn)的點在對象空間中的坐標(biāo)；u是像素在圖像空間中的尺寸；Δx_f是在第一角度位置的圖像中和在第二角度位置的圖像中的對象的位置差異；Δx_b是在第二角度位置的圖像中的對象和在第三角度位置的圖像中的對象的位置差異；以及α是在第一和第二角度位置之間的角度間隔。

在第一方面的一個實施例中，所述方法還包括以下步驟：將位置差異與誤差閾值ε_mag進行比較，以確定所確定的平移是否足以將對象移動到優(yōu)化的位置。

在第一方面的一個實施例中，所述誤差閾值ε_mag被限定為：

其中u是像素在圖像空間中的尺寸；R_a是在成像裝置的視域中的對象的變動性容差的指標(biāo)；而TP是在圖像空間中測得的圖像高度。

在第一方面的一個實施例中，在確定所述位置差異大于誤差閾值ε_mag時：基于所確定的平移將所述對象平移到一個新的位置；以及在對象平移到新位置后對于同一角度間隔重復(fù)步驟(a)至(c)。

在第一方面的一個實施例中，在確定所述位置差異小于誤差閾值ε_mag時：以一個或多個另外的角度間隔重復(fù)步驟(a)至(c)。

在第一方面的一個實施例中，所述角度間隔小于一個或多個另外的角度間隔。優(yōu)選地，所述另外的角度間隔以遞增順序布置，即，角度間隔從一個增加到另一個。

在第一方面中的一個實施例中，所述角間隔和一個或多個另外的角度間隔分別小于90度。任選地，所述角度間隔和一個或多個另外的角度間隔可大于或等于90度。

在第一方面的一個實施例中，該方法還包括在以一個或多個另外的角度間隔重復(fù)步驟(a)至(c)之后，將所述成像裝置的放大倍率調(diào)節(jié)到第二值。

在第一方面的一個實施例中，所述第二值等于所述成像裝置的工作放大倍率。

在第一方面的一個實施例中，該方法還包括在步驟(a)之前將所述成像裝置的放大倍率調(diào)節(jié)到第一值。

在第一方面的一個實施例中，所述第一值小于所述成像裝置的工作放大倍率。

在第一方面的一個實施例中，該方法進一步包括以下步驟：(d)通過基于在所述多個角度位置所確定的平移來將對象旋轉(zhuǎn)和平移以在不同的角度位置對對象進行成像。

在第一方面的一個實施例中，在步驟(d)中將所述對象圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)至少一圈，以獲得在不同角度位置處的對象的多個圖像。

在第一方面的一個實施例中，在步驟(d)中將所述對象連續(xù)地圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)。

在第一方面的一個實施例中，所述對象的平移和旋轉(zhuǎn)是獨立的。

在第一方面的一個實施例中，在對所述對象進行成像的步驟(d)中，該成像在成像裝置的工作放大倍率下進行。

在第一方面的一個實施例中，所述對象包括將由成像裝置進行成像的一個或多個微米或納米結(jié)構(gòu)。

在第一方面的一個實施例中，該方法還包括以下步驟：當(dāng)對象基于在每個不同的角度位置所確定的平移而被旋轉(zhuǎn)和平移時，測量所述對象的旋轉(zhuǎn)特性。

在第一方面的一個實施例中，所述成像裝置是光學(xué)顯微鏡或電子顯微鏡。

在第一方面的一個實施例中，所述方法基本上是自動化的。

根據(jù)本發(fā)明的第二方面，提供一種用于操縱對象以便由成像裝置進行成像的系統(tǒng)，所述系統(tǒng)包括：平移和旋轉(zhuǎn)組件，其被布置成使得對象圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)并使得對象沿著大體垂直于所述旋轉(zhuǎn)軸線的平面平移；控制器，其被布置成控制所述平移和旋轉(zhuǎn)組件，并控制成像裝置的操作；其中所述控制器被布置成操作所述平移和旋轉(zhuǎn)組件和所述成像裝置，以執(zhí)行根據(jù)本發(fā)明第一方面的方法。

在第二方面的一個實施例中，所述旋轉(zhuǎn)軸線大體垂直于成像裝置的成像軸線，并且所述平面大體平行于所述成像裝置的成像軸線。

在第二方面的一個實施例中，所述成像裝置是光學(xué)顯微鏡或電子顯微鏡。

在第二方面的一個實施例中，所述平移和旋轉(zhuǎn)組件具有三個或更多個自由度。

在第二方面的一個實施例中，所述平移和旋轉(zhuǎn)組件包括可獨立操作的平移模塊和旋轉(zhuǎn)模塊。

本發(fā)明的其中一個目的是解決上述的需求，以克服或大體上改善上述缺點，或者，更一般地提供一種用于將對象對準(zhǔn)到成像裝置的視域以便對在不同角度位置的對象進行成像的系統(tǒng)和方法。本發(fā)明的另外一個目的是提供使得能夠允許自動全取向(例如，360度)成像的旋轉(zhuǎn)對準(zhǔn)系統(tǒng)。

附圖說明

現(xiàn)在將通過示例的方式參照附圖對本發(fā)明的實施例進行描述，其中：

圖1是根據(jù)本發(fā)明一個實施例的旋轉(zhuǎn)對準(zhǔn)機器人的圖片；

圖2A是示出圖1所示機器人旋轉(zhuǎn)運動的圖片；

圖2B是示出圖1所示機器人的水平平移運動的圖片；

圖2C是示出圖1所示機器人的豎直平移運動的圖片；

圖3是示出要被成像的對象在旋轉(zhuǎn)期間的曲線運動軌跡的示圖，其中對象行進到顯微鏡視域之外；

圖4A是示出根據(jù)本發(fā)明一個實施例包括圖1所示的旋轉(zhuǎn)對準(zhǔn)機器人和顯微鏡的實驗裝置的圖片；

圖4B是示出圖4A所示裝置中的對象的對象空間以及該對象的圖像的圖像空間的圖片；

圖5A是示出在旋轉(zhuǎn)之前在對象空間中的對象的初始位置點P的曲線圖；

圖5B是示出在順時針旋轉(zhuǎn)α度之后的對象空間中的對象位置點P的曲線圖；

圖5C是示出在逆時針旋轉(zhuǎn)α度之后的對象空間中的對象位置點P的曲線圖；

圖5D是示出對于在圖5A至圖5C中的在對象空間中的對象位置點P而言的在圖像空間中的相應(yīng)位置點P的曲線圖；

圖6是示出根據(jù)本發(fā)明一個實施例的控制對象自動對準(zhǔn)的方法的框圖；

圖7A是玻璃微吸管的示例性顯微鏡圖像；

圖7B是圖7A的處理后的圖像，其示出使用Canny邊緣檢測算法的對象檢測；

圖8是示出用于對準(zhǔn)對象以便進行成像的對準(zhǔn)方法的框圖；

圖9A是在對準(zhǔn)前的微吸管在旋轉(zhuǎn)角度-15°，0°和15°下的一系列顯微鏡圖像；

圖9B是在對準(zhǔn)后的微吸管在旋轉(zhuǎn)角度-15°，0°和15°下的一系列顯微鏡圖像；

圖10A是示出在一個完整的自動對準(zhǔn)過程中的每個對準(zhǔn)步驟中的微吸管尖端的位置偏移的曲線圖；

圖10B是示出圖10A的放大部分的曲線圖；

圖10C是示出在圖10A的每個對準(zhǔn)步驟中的對象的要被對準(zhǔn)的點的軌跡的曲線圖；以及

圖11是在對準(zhǔn)后的在顯微鏡下從不同的方向觀察到的不對稱指針的一系列圖像。

具體實施方式

參照圖1，提供了根據(jù)本發(fā)明一個實施例的旋轉(zhuǎn)對準(zhǔn)機器人100。如圖1所示，機器人100包括旋轉(zhuǎn)和平移組件，其與用于固定樣本對象104的臺102連接。轉(zhuǎn)動和平移組件通過支撐臂108連接到底座支架106。旋轉(zhuǎn)和平移組件包括第一線性定位器110、第二線性定位器112和旋轉(zhuǎn)定位器114。在一個示例中，線性定位器110，112是來自Attocube公司的型號為ECS3030的定位器，而旋轉(zhuǎn)定位器114是來自Attocube公司的型號為ECR3030的定位器。在該實施例中，樣本臺102安裝到第一線性定位器110，第一線性定位器110安裝到第二線性定位器112，以及第二線性定位器112安裝到旋轉(zhuǎn)定位器114。優(yōu)選地，第一和第二線性定位器110，112的移動方向是相互垂直的和獨立的。第一和第二線性定位器110，112被布置成使得樣本對象104(更具體地，樣本對象104的點)沿著大體垂直于旋轉(zhuǎn)定位器114的旋轉(zhuǎn)軸線的平面平移。在該實施例中，機器人100包括三個自由度，包括兩個相互垂直的平移自由度和一個旋轉(zhuǎn)自由度。

優(yōu)選地，機器人100還包括控制器(未示出)，其控制平移和旋轉(zhuǎn)組件以便在成像期間將對象對準(zhǔn)到旋轉(zhuǎn)軸線，從而保持對象處于顯微鏡的視域內(nèi)。在一個實施例中，控制器還控制顯微鏡的操作。在該實施例中，機器人100適于與顯微鏡配合。具體地，該顯微鏡是光學(xué)顯微鏡或電子顯微鏡。當(dāng)與顯微鏡一起使用時，機器人100優(yōu)選被定位成使得旋轉(zhuǎn)定位器114的旋轉(zhuǎn)軸線大體垂直于顯微鏡的成像軸線，并且所述平面大體平行于顯微鏡的成像軸線。

在其它實施例中，機器人可僅包括使得對象沿著該平面平移的一個平移模塊，而不是具有兩個線性定位器。此外，在替代性的結(jié)構(gòu)中，機器人可包括另外的平移模塊和/或旋轉(zhuǎn)模塊，以使得機器人的自由度大于三。在本實施例中使用的顯微鏡可以是光學(xué)或電子顯微鏡。在其它實施例中，也可以使用不是顯微鏡的其它成像裝置。

圖2A至圖2C示出根據(jù)本發(fā)明一個實施例的圖1所示機器人100的平移和旋轉(zhuǎn)運動。在圖2A中，機器人100的旋轉(zhuǎn)定位器114被布置成圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)。優(yōu)選地，旋轉(zhuǎn)定位器114被布置成當(dāng)其旋轉(zhuǎn)時使得第一和第二線性定位器110，112旋轉(zhuǎn)。在圖2B中，第一線性定位器110被布置成使得樣本對象沿著線性的水平方向X平移并因此使得樣本對象沿著線性的水平方向X移動。在圖2C中，第二線性定位器112被布置成使得樣本對象沿著線性的豎直方向Y平移并因此使得樣本對象沿著線性的豎直方向Y移動。優(yōu)選地，當(dāng)?shù)诙€性定位器112移動時，第一線性定位器110被布置成與第二線性定位器112一起沿著豎直方向Y移動。

在本實施例中，圖2A至圖2C中的平移和旋轉(zhuǎn)運動優(yōu)選是相互獨立的。在一個實施例中，圖2A至圖2C中的機器人100的移動和旋轉(zhuǎn)速度是通過改變輸入脈沖頻率來控制的。在一個示例中，第一和第二線性定位器110，112的行程范圍、分辨率和可重復(fù)性分別為20毫米，1納米和50納米；而旋轉(zhuǎn)定位114的行程范圍、分辨率和可重復(fù)性分別為360°(無窮的)，1μ°，和在整個范圍的5％?？紤]到在一些示例中光學(xué)顯微鏡的極限分辨率為大約200納米，在上述示例中的機器人能夠滿足顯微鏡成像的分辨率要求。

本發(fā)明的發(fā)明人通過實驗和試驗想到了為了使用顯微鏡實現(xiàn)全取向成像，樣本對象應(yīng)被轉(zhuǎn)動至少360°。然而，對樣本對象旋轉(zhuǎn)至少360°的一個嚴(yán)重的問題是，如圖3所示，如果樣本不位于旋轉(zhuǎn)軸線上，則所述樣本會移出顯微鏡的視域(FOV)。本發(fā)明的發(fā)明人認(rèn)識到樣本對象的對準(zhǔn)對于使用顯微鏡實現(xiàn)全取向成像而言是關(guān)鍵的。但是本發(fā)明的發(fā)明人同樣意識到，顯微鏡只能提供2D圖像，而且通過顯微鏡觀察是很難直接確定樣本對象的精確位置的。因此，本發(fā)明的發(fā)明人提出基于從三個顯微鏡圖像獲得的信息將樣本對象對準(zhǔn)在顯微鏡視域內(nèi)，以允許使用顯微鏡對對象進行全取向成像的下述對準(zhǔn)策略。在下文中，這種策略被稱為“三重圖像對準(zhǔn)(TIA)”。

I.對準(zhǔn)原理

圖4A示出根據(jù)本發(fā)明一個實施例的實驗裝置，其具有圖1所示旋轉(zhuǎn)對準(zhǔn)機器人100和顯微鏡402。如圖4A所示，機器人100被布置在顯微鏡402的平臺上。機器人100和顯微鏡402與控制器404連接，控制器404又連接到圖像處理系統(tǒng)(例如，計算機)。

如圖4A和圖4B所示，建立兩個坐標(biāo)系{M}和{N}來說明對準(zhǔn)原理。顯微鏡圖像坐標(biāo){M}(即，在圖像空間中)被建立在顯微鏡402的成像空間中，其中原點處于顯微鏡圖像的左下角處。X_M和Z_M是分別沿著圖像的短邊和長邊延伸的軸線，而Y_M是平行于顯微鏡402的成像軸線(諸如光學(xué)顯微鏡的光學(xué)軸線)延伸的軸線。機器人坐標(biāo){N}(即，在對象空間中)被建立在機器人100中，其中原點位于第一線性定位器110的外表面上的旋轉(zhuǎn)軸線處。X_N和Y_N是分別平行于第一和第二線性定位器110，112的移動方向延伸的軸線。當(dāng)旋轉(zhuǎn)定位器114圍繞Z_n軸線旋轉(zhuǎn)時，X_N和Y_N軸線也將旋轉(zhuǎn)。

假設(shè)樣本對象上的點在{N}中具有坐標(biāo)(x_N，y_N，z_N)并且同一點在{M}中具有坐標(biāo)(x_M，y_M，z_M)，則兩個坐標(biāo)可基于以下的公式相互映射：

在(1)中，

其中θ_x，θ_y和θ_z分別是{N}相對于{M}圍繞軸線X_M，Y_M和Z_M的旋轉(zhuǎn)角度；(x_T，y_T，z_T)^T是兩個坐標(biāo)系{N}和{M}之間的平移部分；而u是每個像素在顯微鏡圖像中表示的物理距離(μm)。

圖5A至圖5D示出當(dāng)對象旋轉(zhuǎn)時點P在坐標(biāo){N}和{M}中的運動。點P優(yōu)選是取自對象的將要被對準(zhǔn)的點。如圖5A所示，在對象上的點P在{N}中具有初始坐標(biāo)(x_n0，y_n0，z_n0)。當(dāng)旋轉(zhuǎn)定位器分別以順時針和逆時針的方式旋轉(zhuǎn)角度α(如圖5B和圖5C所示)時，點P在旋轉(zhuǎn)之前在{M}中的坐標(biāo)(x_o，y_o，z_o)^T，點P在順時針(或向前)旋轉(zhuǎn)α度之后的坐標(biāo)(x_f，y_f，z_f)^T和點P在逆時針(或向后)旋轉(zhuǎn)α度之后的坐標(biāo)(x_b，y_b，z_b)^T可由以下的公式(6)，(7)和(8)表示：

其中θ_x0，θ_y0，θ_z0表示{N}相對于{M}分別圍繞X_M-軸線、Y_M-軸線，Z_M-軸線的初始旋轉(zhuǎn)角度。

接下來，限定Δx_f和Δx_b，其代表在旋轉(zhuǎn)定位器分別順時針和逆時針旋轉(zhuǎn)α度之后點P在顯微鏡圖像上的位移：

在實踐中，θ_x0，θ_y0和θ_z0可通過調(diào)節(jié)機器人的位置和取向而減小到零。具體地，可通過將機器人的支架的底平面布置成平行于圖像平面而使θ_x0減小到零。可通過將機器人的支架的兩個垂直邊緣布置成分別平行于圖像平面的兩個垂直側(cè)面而使θ_y0減小到零?？赏ㄟ^轉(zhuǎn)動旋轉(zhuǎn)定位器來使X_M-軸線平行于X_N-軸線而使θ_z0減小到零。通過進行這些調(diào)節(jié)，公式(9)和(10)可被表示為：

通過對上述兩個公式(11)和(12)求解，將要被對準(zhǔn)的點P在{N}中的坐標(biāo)(x_n0，y_n0，z_n0)可被表示為：

在公式(13)中，Δx_f和Δx_b可通過使用圖像處理方法從顯微鏡圖像測得；u(μm/像素)表示各像素的尺寸，并且可基于顯微鏡的放大倍率來算出。因此，點P在{N}中的坐標(biāo)(x_n0，y_n0)可通過將這些參數(shù)代入公式(13)中來算出。

使用這種TIA方法的實施例，機器人100可通過將第一線性定位器110移動-x_n0以及將第二線性定位器112移動-y_n0而將樣本對象對準(zhǔn)到旋轉(zhuǎn)定位器114的旋轉(zhuǎn)軸線。

II.基于視覺的控制系統(tǒng)

圖6是示出根據(jù)本發(fā)明實施例的對象的自動對準(zhǔn)控制的框圖。在本實施例中，對準(zhǔn)是基于使用可操作地與機器人100相關(guān)聯(lián)的顯微鏡在三個不同的角度位置處獲得的顯微鏡圖像的。樣本對象上的將要被對準(zhǔn)的點的位置通過圖像處理方法而獲得，并且被用作反饋信號以控制對準(zhǔn)。如圖6所示，與機器人100連接的控制器602被布置成基于上述對準(zhǔn)算法來處理在三個不同的角度位置處所獲得的該三幅圖像，并且被布置成自動地確定定位器及因此樣本對象所需的適當(dāng)對準(zhǔn)。

為了進行演示，在本實施例中，如圖7A至圖7B所示，微吸管被用作樣本對象，而微吸管的尖端被選擇成為將要被對準(zhǔn)的點。在一個實施例中，利用Canny邊緣檢測來對圖7A的顯微鏡圖像進行處理。圖7B示出經(jīng)處理的顯微鏡圖像。如圖7B所示，x₁是通過檢測從圖像頂部到圖像底部的像素值來計算的，而x₂是通過檢測從圖像底部到圖像頂部的像素值來計算的。尖端在{M}中的坐標(biāo)可由下式計算：

其中TP，x₁，x₂分別表示圖像的高度、尖端的上邊緣與圖像的上邊緣之間的距離，以及尖端的底部邊緣與圖像的底部邊緣之間的距離。

基于公式(14)，可以確定在旋轉(zhuǎn)之前的要被對準(zhǔn)的點在{M}中的坐標(biāo)(x_o)，在順時針旋轉(zhuǎn)之后的要被對準(zhǔn)的點在{M}中的坐標(biāo)(x_f)，和在逆時針旋轉(zhuǎn)之后的要被對準(zhǔn)的點在{M}中的坐標(biāo)(x_b)。通過將這些值代入公式(9)和(10)，Δx_f和Δx_b的值可以被計算出來。在此之后，在旋轉(zhuǎn)軸線和樣本對象之間的相對位置，即(x_n0，y_n0)，可通過將Δx_f和Δx_b代入到公式(13)中來確定。最后，控制系統(tǒng)將使得第一線性定位器移動-x_n0以及使得第二線性定位器移動-y_n0來將樣本自動對準(zhǔn)到旋轉(zhuǎn)軸線。

在本實施例的實驗中，可使用一個簡單的開關(guān)控制器來控制機器人的移動。此外，機器人本身可具有光電傳感反饋以便提高精度。

III.具有三個環(huán)路的對準(zhǔn)策略

雖然在TIA過程的一次迭代之后，樣本對象可被認(rèn)為是對準(zhǔn)到旋轉(zhuǎn)軸線。但是，可以重復(fù)TIA過程，以便進一步提高精度并消除測量誤差。圖8是根據(jù)本發(fā)明實施例的基于上述TIA過程的三個環(huán)路的對準(zhǔn)策略。圖8的策略可在圖1中的機器人100或其它控制系統(tǒng)中實施。

參照圖8，其提供一種用于操縱對象以便由成像裝置進行成像的方法，所述方法包括以下步驟：將對象圍繞旋轉(zhuǎn)軸線旋轉(zhuǎn)到多個角度位置；在多個角度位置中的每一個對對象拍攝(或獲取)圖像；以及對于該多個角度位置確定對象所需的相應(yīng)平移，所述平移沿著大體垂直于旋轉(zhuǎn)軸線的平面；其中所述相應(yīng)的平移被布置成將對象對準(zhǔn)到旋轉(zhuǎn)軸線上，以保持對象處于成像裝置的視域內(nèi)。

在圖8的實施例中的三個環(huán)路對準(zhǔn)策略包括位移環(huán)路(最內(nèi)的環(huán)路)，角度環(huán)路(中間環(huán)路)和放大倍率環(huán)路(最外的環(huán)路)。

在位移環(huán)路中，樣本對象通過TIA過程被對準(zhǔn)，并且通過與誤差閾值比較來對用于對準(zhǔn)樣本對象的位移進行評估。更具體地，位移環(huán)路包括捕獲所述樣本的初始顯微鏡圖像并計算將要被對準(zhǔn)的點P在{M}中的X_M坐標(biāo)x_o的步驟。接下來，旋轉(zhuǎn)定位器順時針旋轉(zhuǎn)α度的角度。然后捕獲第二顯微鏡圖像并計算點P的X_M坐標(biāo)x_f。接下來，旋轉(zhuǎn)定位器在相反的方向上旋轉(zhuǎn)2α度的角度。然后捕獲第三顯微鏡圖像并計算點P的X_M坐標(biāo)x_b。然后，基于TIA過程的先前所示實施例中的公式計算三個X_M坐標(biāo)之間的差異Δx_f和Δx_b。最后，可根據(jù)公式(13)來計算樣本對象的坐標(biāo)(x_n0，y_n0)，并且使得第一線性定位器移動-x_n0，以及使得第二線性定位器移動-y_n0。然后通過順時針旋轉(zhuǎn)α度的角度使得旋轉(zhuǎn)定位器返回到原來的角度位置。

在其它實施例中，在位移環(huán)路中的操作步驟可以有所不同，但仍然在本發(fā)明的范圍之內(nèi)。例如，旋轉(zhuǎn)定位器可以任何順序旋轉(zhuǎn)以獲得不同的角度位置的三幅圖像。此外，坐標(biāo)x_o，x_f，x_b的計算不需要在每次捕獲圖像之后都執(zhí)行，而是可在捕獲兩幅或更多幅圖像之后執(zhí)行。

在角度環(huán)路中，使用一系列不同的增量旋轉(zhuǎn)角度α₁，α₂，...，α_j(α₁＜α₂＜…＜α_j，j＝1，2，...)來進一步對準(zhǔn)樣本。優(yōu)選地，這些旋轉(zhuǎn)角度都不大于90度。換言之，角度環(huán)路被布置成以增加幅度的不同旋轉(zhuǎn)角度(兩個角度位置之間的角度間隔)重復(fù)位移環(huán)路。為了防止樣本對象移出顯微鏡的視域，最初選擇小的旋轉(zhuǎn)角度α1。在此之后，由于較大的α(α＜90°)將導(dǎo)致公式(9)和(10)中的Δx_f和Δx_b較大，因此一個或多個逐漸增加的旋轉(zhuǎn)角度αj被選擇以改善對準(zhǔn)精度。在這種情況下，從Δx_f和Δx_b測得的誤差將變得更小，并且對準(zhǔn)精度可以被提高。

在放大倍率環(huán)路中，如果顯微鏡的初始放大倍率小于M_{mag_w}的話，樣本對象就在適于樣本觀察的工作放大倍率(M_{mag_w})下被對準(zhǔn)。更具體地，為了進一步提高定位精度，TIA對準(zhǔn)過程將被重復(fù)(在M_{mag_w}下以α＝90°重復(fù))，這是因為較大的顯微鏡放大倍率在計算要被對準(zhǔn)的點在{M}中的位置時將導(dǎo)致較高的分辨率。

圖8中的三個環(huán)路對準(zhǔn)過程的實施例可通過以下步驟概括。首先，顯微鏡的放大倍率被調(diào)節(jié)成M₁。該算法以對準(zhǔn)角度α₁進行對準(zhǔn)，直到位移可接受以將樣本對象保持在顯微鏡的視域內(nèi)。在以角度α₁完成對準(zhǔn)過程之后，該算法然后以一系列的增量對準(zhǔn)角度α_j(α₁＜α_j)重復(fù)對準(zhǔn)過程，直到α達到90°。最后，該算法將顯微鏡的放大倍率調(diào)節(jié)到M_{mag_w}，并且以α＝90°重復(fù)對準(zhǔn)過程。

IV.實驗及結(jié)果

為了驗證圖8實施例中的對準(zhǔn)策略和其相關(guān)的對準(zhǔn)系統(tǒng)的性能，進行了實驗。在一個實施例中，對準(zhǔn)系統(tǒng)是圖1或圖4所示的系統(tǒng)。在實驗中，將具有10μm尖端直徑的玻璃微吸管用作樣本對象，以及將微吸管的尖端的中心用作將要被對準(zhǔn)的點。

在實驗中，用于對準(zhǔn)的初始放大倍率M₁在位移環(huán)路和角度環(huán)路中被設(shè)定為M₁＝200。在角度環(huán)路中，增量角度α分別被設(shè)定為α₁＝15°，α₂＝45°和α₃＝90°。在放大倍率回路中，用于觀察樣本對象的顯微鏡的工作放大倍率M_{mag_w}被設(shè)定為M_{mag_w}＝1000。誤差閾值ε_mag是對應(yīng)于顯微鏡的放大倍率的可調(diào)節(jié)的值，并且被限定為：

其中u(μm/像素)表示各像素的物理距離；TP是在{M}中測得的顯微圖像(單位：像素)的高度；而R_a(R_a＞1)是用于描述樣本在顯微鏡視域中的變動性容差的比值(較高的R_a表示較少的變動)。由于u在不同的放大倍率下會改變，因此誤差閾值ε_mag可基于放大倍率被調(diào)節(jié)。

在實驗中，R_a被設(shè)定為40。這意味著如果樣本對象在圖像空間中的位移小于ε_mag，則樣本的變動范圍應(yīng)該小于顯微鏡圖像高度的1/40。在這種情況下，在旋轉(zhuǎn)定位器及因此對象的旋轉(zhuǎn)過程中，可確保樣本對象被保持在顯微鏡的視域內(nèi)。實驗中的誤差閾值ε_mag對于放大倍率M₁＝200和M_{mag_w}＝1000而言分別為ε_{mag_200}＝30.9μm和ε_{mag_1000}＝6.4μm，并且它們是基于顯微鏡的圖像分析來進行計算的。在其它示例中，可選擇較高的R_a以實現(xiàn)更高的對準(zhǔn)精度。

為了評估對準(zhǔn)的質(zhì)量，所述三幅圖像之間的最大位移S被限定為：

S＝u·[Max(x_P(0)，x_P(a)，x_P(-α))-Min(x_P(0)，x_P(a)，x_P(-α))] (16)

其中x_P(0)，x_P(α)，x_P(-α)是在為0°，α和-α度的旋轉(zhuǎn)角度下要被對準(zhǔn)的點的X_M坐標(biāo)。

首先，在放大倍率M₁＝200下以α₁＝15°實施對準(zhǔn)過程。圖9A示出在-15°，0°和15°的旋轉(zhuǎn)角度下在對準(zhǔn)之前的三幅初始圖像。如表I所示，在初始狀態(tài)下，S等于484μm，其大于誤差閾值ε_{mag_200}＝30.9μm。因此，將自動執(zhí)行對準(zhǔn)過程。微吸管尖端在{N}中的坐標(biāo)(x_n0，y_n0)可利用公式(13)計算，并且被計算為：

(x_n0，y_n0)＝(-288，935)μm (17)

在確定坐標(biāo)(x_n0，y_n0)后，算法使得第一線性定位器移動-935μm以及使得第二線性定位器移動288μm，以便將樣本對象對準(zhǔn)到機器人的旋轉(zhuǎn)軸線。

此后，如圖9(b)所示，微吸管的圖像再次在-15，0°和15°下被檢查。這一次，S等于17μm，其小于誤差閾值30.9μm。這意味著以放大倍率M₁＝200和對準(zhǔn)角度α₁＝15°的對準(zhǔn)已經(jīng)完成。

表1示出在不同對準(zhǔn)角度下在對準(zhǔn)之前和之后的詳細(xì)測量值。所示結(jié)果表明在執(zhí)行第一對準(zhǔn)環(huán)路(位移環(huán)路)之后，三幅圖像之間的位置偏移S可從484μm減小至17μm(～96.5％)。

表I

接下來，在角度環(huán)路中，如之前那樣在相同的放大倍率M₁＝200下執(zhí)行對準(zhǔn)。在該示例中，使用了三個不同的角度(α₁＝15°，α₂＝45°，以及α₃＝90°)來進行三個不同的對準(zhǔn)，并且如表II中所列出的那樣，在每個步驟中微吸管的尖端的微吸管尖端位移S被確定為小于ε_{mag_200}＝30.9μm，。

在以α₁＝15°的第一對準(zhǔn)步驟之后，尖端的位移已經(jīng)從初始值484μm減小到17μm。然而，在旋轉(zhuǎn)α₂＝45°之后，仍存在49μm的位移。然后，在以α₂＝45°對準(zhǔn)之后，尖端的位移減小到5μm。然而，對于角度α₃＝90°而言，仍存在112μm的位移。并且在以α₃＝90°對準(zhǔn)之后，尖端的位移減小到11μm。

表II

表II中的這些結(jié)果表明了當(dāng)樣本旋轉(zhuǎn)更大的角度時能夠從顯微鏡獲得較大的位移S。根據(jù)圖5所示的原理，坐標(biāo)主要是基于來自顯微鏡圖像的兩個參數(shù)Δx_f和Δx_b來計算的，并且當(dāng)旋轉(zhuǎn)角度從0°增大到90°時，在大多數(shù)情況下這兩個值也增加。因此，當(dāng)通過將Δx_f和Δx_b代入公式(13)以計算(x_n0，y_n0)時，計算精度也應(yīng)該增加。這表明了可以通過在角度環(huán)路中以增量的方式改變旋轉(zhuǎn)角度來獲得更高的對準(zhǔn)精度。

由于對準(zhǔn)的最終目標(biāo)是通過旋轉(zhuǎn)樣本對象來以全取向(即，不同的角度位置)觀察樣本對象，因此在放大倍率回路中，顯微鏡的放大倍率被改變成工作放大倍率M_{mag_w}＝1000。在這情況下，由于增加的放大倍率導(dǎo)致樣本圖像的放大，因此樣本將有較大的機被旋轉(zhuǎn)出顯微鏡視域。因此，利用公式(15)，使用新的誤差閾值ε_{mag_1000}＝6.4μm來評估對準(zhǔn)效果。如表III所示，在M₁＝200下對準(zhǔn)之后，所述位移為11μm，并且這大于ε_{mag_1000}。因此，應(yīng)該自動在M_{mag_w}＝1000下重復(fù)進行對準(zhǔn)。

在放大倍率回路中只選擇α＝90°，這是因為在M₁＝200下對準(zhǔn)之后，要被對準(zhǔn)的點已被對準(zhǔn)成靠近旋轉(zhuǎn)軸線。因此，對于該環(huán)路而言，沒有必要從小的對準(zhǔn)角度重新啟動對準(zhǔn)過程以防止樣本移離顯微鏡的視域。表III示出了在該放大倍率對準(zhǔn)環(huán)路之后，位移可從11μm減小至6.1μm，即減少約45％。

表III

上述實驗不僅證實了用于高放大倍率的對準(zhǔn)策略的操作，并且也展示了在圖8所示的實施例中的三種環(huán)路對準(zhǔn)策略的效率。

在對準(zhǔn)過程中，在三幅圖像中的對象點的最大位移S被用作與誤差閾值進行比較的參數(shù)。這種布置的優(yōu)點在于，所述位移能夠容易地且迅速地被估算，這對于實現(xiàn)高對準(zhǔn)效率而言是至關(guān)重要的因素。但是，位移仍然可能不能完全反映在一圈(360°)中的對準(zhǔn)質(zhì)量。

為了更準(zhǔn)確地評估對準(zhǔn)質(zhì)量，在對準(zhǔn)完成之后，機器人使得樣本對象旋轉(zhuǎn)一整圈(360°)，并且在每30度的旋轉(zhuǎn)下捕獲樣本對象的顯微鏡圖像。限定了兩個參數(shù)以基于所獲得的12幅圖像來估算360度的對準(zhǔn)質(zhì)量。該兩個參數(shù)是最大的位移S_M360和位置標(biāo)準(zhǔn)偏差S_DM360：其中X[i](i＝1，2，...，12)是對于12幅圖像的將要被對準(zhǔn)的點在{M}中的位置，其在公式(19)和(20)中示出：

S_M360＝u·[Max(x_P[12])-Min(x_P[12])] (19)

參數(shù)S_M360表示在一圈(360°)中在這些圖像之間的最大差值，并且其被用于估算樣本在顯微鏡視域中的最大移動范圍。如果S_M360小于顯微鏡圖像的高度，被那么在旋轉(zhuǎn)過程中樣本將被保持在視域中。參數(shù)S_DM360表示將要對準(zhǔn)的點的坐標(biāo)的標(biāo)準(zhǔn)偏差，并且其被用于在一圈的旋轉(zhuǎn)過程中估算樣本對象的干擾情況。如果S_DM360小，那么樣本將在旋轉(zhuǎn)過程中具有小的變動性。簡而言之，較小的S_M360和S_DM360表明更好的對準(zhǔn)效果。

表IV示出了S_M360和S_DM360在所有上述對準(zhǔn)過程中的值，而圖10A和10B(圖10A的放大部分)示出針對不同對準(zhǔn)步驟的不同旋轉(zhuǎn)角度的位移的曲線圖。該結(jié)果表明了最大位移S_M360的初始值是2142μm。在四個對準(zhǔn)步驟之后，該值已經(jīng)逐漸減小到416μm，221μm，57μm和56.5μm。同時，標(biāo)準(zhǔn)偏差S_DM360也已經(jīng)從781μm減小至155μm，85μm，19μm，并且在四個對準(zhǔn)步驟之后最后減小至16.6μm。此外，還基于實驗數(shù)據(jù)來計算將要被對準(zhǔn)的點在{N}中的坐標(biāo)，并且在每次對準(zhǔn)之后的樣本的軌跡在圖10C中示出。從圖10C可以看出對準(zhǔn)是高效的，這是因為位移只通過使用幾個對準(zhǔn)步驟就可容易地減小到接近零。

表IV

雖然在第四步驟結(jié)束時對準(zhǔn)仍具有一定的誤差，但是該對準(zhǔn)足夠精確以確保樣本對象在旋轉(zhuǎn)期間被保持在顯微鏡的視域內(nèi)。換言之，對準(zhǔn)誤差對于全取向顯微鏡應(yīng)用而言是可接受的。

上述結(jié)果證實了，如在圖8的實施例所示的三個環(huán)路對準(zhǔn)策略可通過僅使用三幅圖像來在360°獲得合理的對準(zhǔn)質(zhì)量。它也表明這種方法能夠以高效率在顯微鏡下對準(zhǔn)樣本，這是因為在每個對準(zhǔn)步驟中只需要三幅圖像。

在本發(fā)明的實施例中，對準(zhǔn)算法是基于所選擇的將要被對準(zhǔn)的點來實現(xiàn)的。因此，該算法可應(yīng)用于具有不同形狀或結(jié)構(gòu)的樣本，同時仍能實現(xiàn)相同的效果。為了驗證這一點，在圖11中展示了對于具有非對稱結(jié)構(gòu)的指針的對準(zhǔn)。

在圖11的展示中，指針的最右邊的點被選擇為將要被對準(zhǔn)的點。然后，按照與如圖8的實施例所示相同的過程實施對準(zhǔn)。在這之后，在一圈(360°)內(nèi)每30°以放大倍率M＝100獲取指針的圖像。這些圖像的圖片被顯示在圖11中。對于圖11中的12幅圖像而言，最大位移(S_M360)和標(biāo)準(zhǔn)偏差(S_DM360)分別是89μm和27μm。與上述指針的大小相比，上述誤差可以忽略不計。這表明了在圖8中所提出的對準(zhǔn)策略對于不對稱對象也是有效的。

在本發(fā)明的實施例中用于對準(zhǔn)對象以便成像的系統(tǒng)和方法有很多優(yōu)點。例如，該系統(tǒng)和方法可自動地將樣本對象對準(zhǔn)到系統(tǒng)的旋轉(zhuǎn)軸線，并且因此，在顯微鏡下從全取向觀察樣本變得可能?？紤]到在顯微鏡下從多個方向?qū)π〉臉颖具M行成像的顯著挑戰(zhàn)，上述是特別重要的，因為在旋轉(zhuǎn)運動過程中將難以把對象保持在顯微鏡的視域內(nèi)。

在本發(fā)明的實施例中用于對準(zhǔn)對象以便成像的方法可通過使用最少三幅顯微鏡圖像來實施。因此，該方法可容易地通過利用簡單的實驗程序來實施，并且是高效的。在本發(fā)明實施例的對準(zhǔn)策略中使用了三個環(huán)路(即，位移環(huán)路，角度環(huán)路，以及放大倍率環(huán)路)以便逐步提高對準(zhǔn)精度。所示的結(jié)果表明，在全取向成像期間樣本可被保持在顯微鏡視域的中心區(qū)域內(nèi)。

在本發(fā)明的實施例中用于對準(zhǔn)對象以便成像的方法是基于將要被對準(zhǔn)的目標(biāo)點的。因此，該方法的實施獨立于樣本的結(jié)構(gòu)，并且對于具有對稱或不對稱幾何形狀的樣本而言同樣有效。

在本發(fā)明的實施例中用于對準(zhǔn)對象以便成像的方法在小尺度下在許多方面是非常有意思的。它不僅允許在顯微鏡下的全取向成像，而且還提供在小尺度下進行其它基礎(chǔ)研究的可能性，諸如微缺陷檢測、微表征等。示例性的應(yīng)用包括在顯微鏡下從不同的方向檢測對象中的微米級或納米級的缺陷，從不同取向?qū)ξ⒚准壔蚣{米級尺寸的樣本的不同區(qū)域的原位表征，對管狀樣本(諸如納米線、碳纖維、光導(dǎo)纖維)在扭轉(zhuǎn)載荷下的機械性能的研究等等。

本領(lǐng)域內(nèi)的技術(shù)人員理解到的是，在不偏離如廣泛描述的本發(fā)明的精神或范圍的情況下，可對如在具體實施例所示的本發(fā)明進行許多變化和/或修改。因此，本實施例應(yīng)該被視為在所有方面都是說明性的而非限制性的。

除非另有說明，否則對本文所包含的現(xiàn)有技術(shù)所作的任何參考不應(yīng)被視為承認(rèn)該信息是公知常識。