專利名稱：用于獲取和處理復合圖像的系統(tǒng)及方法
技術領域：
一般來說，本發(fā)明涉及數(shù)據(jù)處理領域，更具體來講，涉及用于獲取和處理復合圖像的系統(tǒng)及方法。
背景技術：
采用數(shù)字獲取系統(tǒng)捕捉的全息圖包含與被查看對象的材料特性及拓撲結構有關的信息。通過捕捉相同對象的不同示例的序列全息圖，對象之間的變化可在數(shù)維中測量。全息圖的數(shù)字處理允許直接比較對象的實際像波。這些像波包含比傳統(tǒng)的非全息圖像明顯更多的關于小細節(jié)的信息，因為圖像相位信息保留在全息圖中，而在傳統(tǒng)圖像中則被丟失。比較全息圖像的系統(tǒng)的最終目的是量化對象之間的差異，并確定是否存在顯著差異。
比較全息圖的過程因全息圖生成過程和對象處理中涉及的變量而成為艱難的任務。具體來說，為了有效地比較對應的全息圖像，兩個或兩個以上全息圖像必須被獲取和登記或者“匹配”，使得圖像接近對應。另外，在獲取和登記全息圖像之后，對圖像進行比較以便確定圖像之間的差異。登記和比較相應圖像的現(xiàn)有技術往往要求大量處理和時間。這類時間和處理要求限制了數(shù)字全息成像系統(tǒng)的吞吐量及整體效率。


通過參照以下結合附圖的描述，可獲得對本實施例及其優(yōu)點的更完整了解，附圖中，相同的參考標號表示相同的特征，以及附圖包括圖1是流程圖，表示基于密度的登記方法；
圖2是流程圖，表示基于幅度的登記方法；圖3是流程圖，表示一種用于全息相位圖像的登記方法；圖4是流程圖，表示一種用于全息復合圖像的登記方法；圖5是刪除了置信值計算的簡化登記系統(tǒng)的流程圖；圖6是流程圖，表示一種用于全息復合圖像的簡化登記系統(tǒng)；圖7是用于確定位置細化的晶片的說明示圖；圖8是數(shù)字全息成像系統(tǒng)的示圖；圖9是從CCD照相機獲取的全息圖的圖像；圖10是圖10的放大部分，表示邊緣細節(jié)；圖11是采用快速傅立葉變換(FFT)運算變換的全息圖像；圖12是表示邊帶的全息圖像；圖13是集中于載頻的全息FFT的象限；圖14表示在應用巴特沃思低通濾波器之后圖14的邊帶；圖15表示幅度圖像；圖16表示相位圖像；圖17表示差值圖像；圖18表示第二差值圖像；圖19表示閾差值圖像；圖20表示第二閾差值圖像；圖21表示邏輯“與”運算之后的兩個閾差值圖像的圖像；圖22表示帶缺陷的幅度圖像；以及圖23表示帶缺陷的相位圖像。
詳細說明參照圖1至圖23，最佳地理解優(yōu)選實施例及其優(yōu)點，其中，相同的標號用來表示相似及對應的零件。
以下發(fā)明涉及數(shù)字全息成像系統(tǒng)及應用，例如在標題為“Direct-to-Digital Holography and Holovision”的美國專利第6078392號、標題為“Improvements to Acquisition and Replay Systems for Directto Digital Holography and Holovision”的美國專利第6525821號、標題為“System and Method for Correlated Noise Removal in ComplexImaging Systems”的美國專利申請第09/949266號以及標題為“Systemand Method for Registering Complex Images”的美國專利申請第09/949423號中所述，通過引用將其全部結合到本文中。
本發(fā)明包含自動圖像登記及處理技術，開發(fā)這些技術以滿足直接數(shù)字全息照相(DDH)缺陷檢驗系統(tǒng)的特殊需要，如本文所述。在DDH系統(tǒng)中，可逐個像素地比較流式全息圖，用于全息圖生成之后的缺陷檢測。
本發(fā)明的一個實施例包括采用下述反饋置信測量進行自動圖像匹配和登記的系統(tǒng)及方法。登記系統(tǒng)為DDH系統(tǒng)中的多個圖像匹配任務提供技術及算法，例如運行時晶片檢驗、畫面匹配細化以及旋轉(zhuǎn)晶片校準。在一些實施例中，用于實現(xiàn)這種登記系統(tǒng)的系統(tǒng)可包括含以下方面的若干主要方面搜索策略，多個數(shù)據(jù)輸入能力，在傅立葉域中實現(xiàn)的歸一化相關性，噪聲濾波，相關峰值圖案搜索，置信定義及計算，子像素精度建模，以及自動目標搜索機制。
圖像登記信號的傅立葉變換是信號的唯一表示，即，信息內(nèi)容在兩個不同域中彼此唯一確定。因此，給定具有某種程度疊合的兩個圖像f1(x，y)和f2(x，y)，通過傅立葉變換F1(wx，wy)和F2(wx，wy)，它們的空間關系也可由其傅立葉變換之間的關系唯一表示。例如，空間域中的兩個信號之間的仿射變換可根據(jù)傅立葉變換的移位定理、縮放定理以及旋轉(zhuǎn)定理由傅立葉變換唯一表示。如果在f1(x，y)和f2(x，y)之間存在仿射變換，則它們的空間關系可表示為x′y′=abcdxy+x0y0]]>
其中A=abcd|]]>表示旋轉(zhuǎn)、縮放和傾斜差異，以及 表示平移。如果是無噪環(huán)境，則兩個圖像由下式彼此相關f1(x，y)＝f2(ax+by+x0，cx+dy+y0)；以及它們的傅立葉變換表示如下F2(wx,wy)=|A|F1(ATwxwy)e-j(wxx0+wyy0),]]>其中AT表示A的轉(zhuǎn)置，以及|A|是其行列式。這個推導的重要性在于，這個等式將仿射參數(shù)在傅立葉空間中分為兩組平移和線性變換，它告訴我們，平移由傅立葉相位差來確定，而幅度則是移位不變的，且通過線性分量|A|彼此相關。
在最簡單的情況中平移模型、即一個圖像只是另一個圖像的移位形式，如以下情況f1(x，y)＝f2(x+x0，y+y0)。
它們的傅立葉變換具有下列關系F2(wx,wy)=F1(wx,wy)·ej(wxx0+wyy0),]]>根據(jù)傅立葉移位定理，它相當于F2(wx,wy)F1*(wx,wy)|F2(wx,wy)F1*(wx,wy)|=ej(wxx0+wyy0).]]>上式左邊是通過兩個信號可能的最大功率歸一化的交叉功率譜。它還稱作相干函數(shù)。兩個信號具有相同的幅度頻譜，但具有與空間平移對應的線性相位差。兩個圖像的相干函數(shù)Γ12(wx，wy)還通過下式與功率譜密度(PSD)和交叉功率譜密度(XPSD)定義的它們的互相關性相關
Γ12(wx,wy)=xpsdpsd1·psd2,]]>其中，xpsd為兩個圖像的交叉功率譜密度，以及psd1和psd2分別為f1和f2的功率譜密度。假定它是固定隨機過程，則它的真實PSD為真實自相關函數(shù)的傅立葉變換。圖像的自相關函數(shù)的傅立葉變換提供PSD的樣本估算。同樣，交叉功率密度xpsd可通過將f2的二維傅立葉變換與f1的二維傅立葉變換相乘來估算。因此，兩個圖像的相干函數(shù)可由下式估算Γ12(wx,wy)≅F2(wx,wy)F1*(wx,wy)|F2(wx,wy)F1*(wx,wy)|]]>以上相干函數(shù)是空間頻率的函數(shù)，其中它的幅度表明互相關函數(shù)中呈現(xiàn)的功率幅度。它也是互相關(CC)的頻率表示，即，互相關的傅立葉變換，由傅立葉變換的相關定理表示如下f1(x，y)f2(x，y)F2(wx，wy)F1(-wx，-wy)，其中，表示空間相關。對于實信號，傅立葉變換是共軛對稱的，即F1(-wx，-wy)＝F1(wx，-wy)可能的最大相關功率是 的估算。幅度平方相干|Γ12(wx，wy)|2為0與1之間的實函數(shù)，它提供各頻率的兩個圖像之間的相關量度。在給定頻率，當相關功率與可能的最大相關功率相同時，兩個圖像觀察到相同圖案，以及功率只由一個縮放因子改變。在這種情況下，CC＝1。當兩個圖像具有不同圖案時，功率在兩個功率譜密度中為異相，以及交叉功率譜密度將具有比最大可能的情況更低的功率。為此，相干函數(shù)可用于圖像匹配，以及相干值是兩個圖像之間的相關的量度。
根據(jù)以上所述理論，兩個圖像的匹配位置、即登記點可通過查找最大CC在空間域中的位置來導出。CC的傅立葉逆變換(即相干函數(shù)的估算)為F-1(F2(wx,wy)F1*(wx,wy)|F2(wx,wy)F1*(wx,wy)|)=F-1(ej(wxx0+wyy0))=δ(x0,y0),]]>它為迪拉克δ函數(shù)。這是CC在空間域中的表示，并且δ函數(shù)的位置正好是登記所在的位置。
對于實信號以及具有有限帶寬(離散傅立葉變換的有限大小)和空間信號的周期擴展的假設的系統(tǒng)，δ函數(shù)變成單位脈沖。給定具有某種程序疊合的兩個信號，其交叉功率譜中的信號功率大部分集中于空間域中的相干峰值，處于登記點。噪聲功率隨機分布于某些相干峰值中。相干峰值的幅度是兩個圖像之間的疊合的直接量度。更準確地說，相干峰值中的功率對應于重疊區(qū)域的百分比，而不相干峰值中的功率則對應于非重疊區(qū)域的百分比。
噪聲、特征空間選擇和濾波器的影響理論上，受關注特征的相干在頻域的所有頻率上應當為1，并且在空間域的登記點上應當為δ脈沖。但是，噪聲通常使相關面失真。這些噪聲包括時變噪聲(A/C噪聲)，例如背反射噪聲、載波漂移和過程變化導致的變化；固定圖案噪聲(D/C噪聲)，例如照度不均勻性、不良像素、照相機劃痕、光路上的灰塵和焦距差、舞臺傾斜；以及(3)隨機噪聲。
如果這些噪聲存在，則可將一個圖像看作三個圖像以相加和相乘方式的重疊fn(x，y)＝Nm(x，y)*f(x，+y)Na(x，y)，其中，Nm(x，y)是相乘噪聲源；Na(x，y)是相加噪聲源；以及fn(x，y)是被噪聲導致失真的信號。
Fa(x，y)＝Fm(x，y)F(x，y)+Fa(x，y)其中，F(xiàn)m(x，y)是相乘噪聲源的傅立葉變換；Fa(x，y)是相加噪聲源的傅立葉變換；以及Fn(x，y)是被噪聲導致失真的信號的傅立葉變換。
所觀察的信號是具有其傅立葉變換Fn(x，y)的fn(x，y)。噪聲處理的目的是僅對該信號進行相干峰值收斂。實現(xiàn)這個目標主要有兩種方式(1)從所觀察的信號重構其原始信號f(x，y)或者其原始傅立葉變換F(x，y)；(2)盡可能地減小噪聲，以便增加對信號的收斂的可能性，即使信號被部分消除或衰減。
噪聲消除的第一種方法要求采用各噪聲源進行噪聲建模，通常要求不同的模型。第二種方法集中于通過任何方式進行噪聲消除，即使它還消除或衰減該信號，這為我們提供了更多的操作余地。因此，我們主要將第二種技術用于圖像匹配的任務。此外，在空間域以及頻域中考慮該問題是有益的。在噪聲抗噪聲登記系統(tǒng)的設計中已經(jīng)考慮以下觀察情況首先，所有頻率一般同樣地起作用，因此，窄帶噪聲在頻域中更易于處理。
其次，在不同照度下得到的圖像數(shù)據(jù)通常顯示緩慢變化差異。照度不均勻性通常表現(xiàn)為圖像上的低頻變化。
另外，頻域中的載波漂移、即空間域中的相位傾斜為低頻、舞臺傾斜、舞臺高度中的緩慢變化，并且過程變化大部分為低頻噪聲。A/C噪聲一般為低頻。離焦灰塵也處于頻域中的較低側。背反射噪聲大部分為較低頻率。
隨機噪聲通常處于相對較高頻率。低頻噪聲以及高頻噪聲對于任何相互相似性測量和相干峰值收斂都是有害的。
高頻內(nèi)容與對比度反轉(zhuǎn)無關。基于頻率的技術是相對地畫面無關的以及是多傳感器可能的，因為它對頻譜能量的變化不敏感。只有頻率相位信息用于相關，它相當于各圖像的白化，以及白化對于亮度的線性變化是不變的，并且使相關測量無關。
如果存在白噪聲，則互相關是最佳的。因此，廣義加權函數(shù)可在采取傅立葉逆變換之前引入相位差。加權函數(shù)可根據(jù)所需的抗噪聲度的類型來選擇。因此，存在一系列相關技術，包括相位相關和傳統(tǒng)的互相關。
為此，特征空間可采用突出邊緣、固有結構的輪廓、顯著特征等。邊緣表現(xiàn)對象邊界的特征，因此可用于圖像匹配和登記。下面是提取這些特征的幾個備選濾波器。
巴特沃思低通濾波器用來構成BPF，如下所示weight=11+(rcutoff2)2·order-11+(rcutoff1)2·order,]]>其中，order(階)為巴特沃思階；r是到DC的距離；cutoff1和cutoff2分別是低端和高端的截止頻率；以及weight(權)為該點的濾波器系數(shù)。
BPF可用來選擇頻率的任何窄帶。
空間域中的邊緣增強濾波器邊緣增強濾波器用來捕捉邊緣、輪廓和顯著特征中的信息。邊緣點可被看作是灰度級突然變化的像素位置。對于連續(xù)圖像f(x，y)，其導數(shù)假定為在邊緣方向的局部最大值。因此，一種邊緣檢測技術是測量在方向θ上沿r的f的梯度。當(/θ)(f/θ)＝0時，得出f/r的最大值。這得出(∂f∂r)max=(∂f∂x)2+(∂f∂y)2,]]>以及θadge=arctan(∂f∂y/∂f∂x)]]>它們可按照數(shù)字形式重新寫為，g(x，y)＝g2x(x，y)+g2y(x，y)以及
θ(x,y)=arctan(gy(x,y)gx(x,y))]]>其中，gx(x，y)和gy(x，y)是沿X和Y方向的垂直梯度，通過采用梯度算子卷積圖像來獲得。為了節(jié)省計算，往往采用幅度梯度g(x，y)＝|gx(x，y)|+|gy(x，y)|下面列出部分公共梯度算子。
梯度Hx=-11,Hy=-11]]>RobertsHx=01-10,Hy=100-1]]>SobelHx=-101-202-101,Hy=-1-2-1000121]]>當灰度級轉(zhuǎn)變相當突然、如階梯函數(shù)時，一階導數(shù)算子最為有效。隨著轉(zhuǎn)變區(qū)域變得更寬，應用二階導數(shù)更為有利。另外，這些算子需要多個濾波器通過，每個主方向一個。這種方向相關性可通過采用二階導數(shù)算子來消除。在一些實施例中，方向無關拉普拉斯濾波器是優(yōu)選的，并定義為▿2f=∂2f∂2x+∂2f∂2y]]>典型的濾波器H具有形式H=-1-1-1-1C-1-1-1-1]]>其中，C為控制內(nèi)容的參數(shù)。值C＝8創(chuàng)建僅邊緣(edge-only)濾波器，以及原件中的銳邊在已濾波圖像中表現(xiàn)為一對峰值。大于8的C的值將邊緣與圖像本身以不同比例組合，從而創(chuàng)建邊緣增強圖像。
在一些情況下，為了增加相關峰值高度，還希望增加邊緣厚度。但是，這種過程也加寬相關峰值，因此降低登記精度。它對于多分辨率方案中的低分辨率匹配也許有用。
一般來說，空間域中的邊緣增強濾波器的目的是(1)控制信息內(nèi)容以進入登記流程；(2)變換特征空間；(3)捕捉顯著特征的邊緣信息；(4)銳化信號的相關峰值；(5)解決密度反轉(zhuǎn)問題；以及(6)具有比邊緣檢測或第一導數(shù)更寬的邊界。
空間域中的確定閾邊緣增強圖像通常仍然包含噪聲。但是，噪聲在邊緣強度中看來比在固有結構弱很多，因此邊緣增強特征進一步確定閾以消除具有小邊緣強度的點。在一些實施例中，確定已濾波圖像的閾可以消除大部分A/C噪聲、D/C噪聲以及隨機噪聲。
可通過計算已濾波圖像的標準偏差σ并將它用來確定可最理想地消除噪聲但仍然保留足夠信號用于相關的位置，自動地選擇閾。閾值定義為閾值＝numSigma·σ其中，numSigma是控制進入登記系統(tǒng)的信息內(nèi)容的參數(shù)。這個參數(shù)最好憑經(jīng)驗設置。
在確定閾之后，閾值以下的點最好通過將其清除來禁用，同時具有強邊緣強度的其余的點能夠通過濾波器并進入后續(xù)相關操作。值得注意的是，提高基于區(qū)域的登記的健壯性及可靠性的邊緣增強的概念來自基于特征的技術。但是，與基于特征的技術不同，圖像沒有限制到二進制圖像。通過保持這些強邊緣點的邊緣強度值，已濾波圖像仍然是灰度級數(shù)據(jù)。這樣做的優(yōu)點在于，不同邊緣點的邊緣強度值攜帶邊緣的位置信息。不同的位置信息將以不同方式選擇相關過程。因此，這種技術保留登記精度。
圖像匹配的置信本論述是有關相關面以及該表面的相干峰值。如本論述中所用的，特征是顯性的特征，即畫面中的主要特征。在相關面上存在兩種峰值相干峰值和不相干峰值。與特征對應的所有峰值是相干的，其它所有峰值是不相干的，即對應于噪聲。
相干峰值的一些實例如下所述-X和Y中具有周期Tx和Ty的周期信號產(chǎn)生具有相同周期的多個周期性相干峰值。這些峰值具有大約相等的強度，其中的最高峰值最可能處于中央，朝邊緣的峰值具有不斷衰落的強度。
-任何局部重復的信號還產(chǎn)生多個相干峰值。最高的相干峰值最可能處于登記點，以及其它所有二級峰值對應于局部特征重復性。
-在許多情況下，相關面呈現(xiàn)sinc函數(shù)的性能，通常看作因具有有限帶寬的系統(tǒng)中的離散傅立葉變換的有限大小導致的響應特性。主瓣具有算法應當會聚的最高峰值，但也存在具有峰值的多個副瓣。
不相干峰值在存在噪聲時出現(xiàn)。隨機噪聲功率隨機分布于某些相干峰值中。A/C以及D/C噪聲都將使相干峰值偏移、失真及發(fā)散。噪聲還使相干峰值產(chǎn)生諧音、分叉、模糊。
相干峰值的幅度是兩個圖像之間的疊合的直接量度。更準確地說，相干峰值中的功率對應于重疊區(qū)域中的主要特征的百分比，而不相干峰值中的功率則對應于噪聲和非重疊區(qū)域的百分比。
因此，以下兩種度量被開發(fā)并共同用來評估圖像匹配的質(zhì)量。首先是第一相干峰值的高度。其次是第一相干峰值以及相干或不相干的第二峰值之間的強度中的差異，即相關系數(shù)。
采用這些度量的另一個優(yōu)點在于，它們根據(jù)已經(jīng)實時可用的相關面計算，同時還計算校準差值。效率和實時速度在大部分圖像匹配應用中是關鍵，在這種應用中，實時置信反饋信號是成功的自動目標搜索系統(tǒng)、例如其中要求自動多FOV(multi-FOV)搜索的晶片旋轉(zhuǎn)校準的關鍵。
搜索空間和子像素建模搜索策略的任務在登記的這種實現(xiàn)中往往是微不足道的，因為在傅立葉逆變換之后，整個相關面已經(jīng)可用于搜索。登記點是幅度相關面的最大峰值。對整個搜索空間上的峰值的一次掃描通常是足夠的。這是所檢測的整數(shù)登記。
為了找出子像素偏移，子像素建模按以下方式進行。二維拋物線面可定義為Z＝ax2+by2+cxy+dx+ey+f.
這個二階多項式適于(0，0)處的整數(shù)峰值附近的3×3點相關面。
Z1Z2···Z9=x12y12x1y1x1y11x22y22x2y2x2y21······························x92y92x9y9x9y91abcdef]]>其中，(x，y)是這9個點的坐標，它對于x和y可簡化為[-1，0，1]?；诰仃噦文孢\算對上式的最小平方解提供對系數(shù)的估算abcdef=x12y12x1y1x1y11x22y22x2y2x2y21·························1x92y92x9y9x9y91-1Z1Z2···Z9|]]>在這個3×3塊中登記的子像素位置處于拋物線的峰值位置，它通過相對x和y取拋物線方程的偏倒數(shù)并將其設置為零來確定∂Z∂x=2ax+cy+d=0]]>∂Z∂y=2by+cx+e=0]]>它給出x=2db-cec2-4aby=2ae-dcc2-4ab]]>整數(shù)峰值和子像素偏移的坐標用來確定整個圖像的最終登記偏移。
圖1表示基于密度的登記方法的一種實現(xiàn)。該方法以提供測試密度圖像10(也可稱作第一圖像)和參考密度圖像(12)開始。兩個圖像分別經(jīng)過邊緣增強(14和16)，然后采用確定閾操作(18和20)從邊緣增強圖像中消除噪聲。然后采用傅立葉變換來變換圖像(22和24)。
兩個已變換圖像則用于相干函數(shù)計算(26)，以及對其應用傅立葉逆變換(28)。隨后，幅度運算在所選搜索范圍內(nèi)執(zhí)行(30)。然后，執(zhí)行置信計算(32)，以及圖像的匹配可根據(jù)從其中導出的置信值被接受或拒絕(34)。如果置信值處于可接受范圍內(nèi)，則登記過程進入整數(shù)平移和子像素建模(36)，以及圖像的匹配被接受(38)。如果置信值不在可接受范圍內(nèi)，則開始新的搜索(40)。
圖2表示基于幅度的登記方法的一種實現(xiàn)。該方法以提供測試全息圖(50)和參考全息圖(52)開始。采用傅立葉變換對兩個全息圖分別進行變換(54和56)，以及邊帶提取應用于各圖像(58和60)。隨后，采用帶通濾波器對兩個圖像分別濾波(62和64)。然后，采用傅立葉逆變換對所得圖像分別進行變換(66和68)，以及對各所得圖像執(zhí)行幅度運算(70和72)。結果在采用傅立葉變換運算進行變換(78和80)之前進行閾確定(74和76)。
兩個已變換圖像則用于相干函數(shù)計算(82)，以及對其應用傅立葉逆變換(84)。隨后，幅度操作在所選搜索范圍內(nèi)執(zhí)行(86)。然后，執(zhí)行置信計算(88)，以及圖像的匹配可根據(jù)從其中導出的置信值被接受或拒絕(90)。如果置信值處于可接受范圍內(nèi)，則登記過程進入整數(shù)平移和子像素建模(92)，以及圖像的匹配被接受(94)。如果置信值不在可接受范圍內(nèi)，則開始新的搜索(96)。
圖3表示基于相位圖像的登記方法的一種實現(xiàn)。該方法以提供測試全息圖(100)和參考全息圖(102)開始。采用傅立葉變換對兩個全息圖分別進行變換(104和106)，以及邊帶提取應用于各圖像(108和110)。隨后，采用低通濾波器對兩個圖像分別濾波(112和114)。然后，采用傅立葉逆變換對所得圖像分別進行變換(116和118)，以及對各所得圖像執(zhí)行相位運算(120和122)。然后對所得圖像執(zhí)行相位已知的增強(124和126)。結果在采用傅立葉變換運算進行變換(132和134)之前進行閾確定(128和130)。
兩個已變換圖像則用于相干函數(shù)計算(136)，以及對其應用傅立葉逆變換(138)。隨后，幅度運算在所選搜索范圍內(nèi)執(zhí)行(140)。然后，執(zhí)行置信計算(142)，以及圖像的匹配可根據(jù)從其中導出的置信值被接受或拒絕(144)。如果置信值處于可接受范圍內(nèi)，則登記過程進入整數(shù)平移和子像素建模(146)，以及圖像的匹配被接受(148)。如果置信值不在可接受范圍內(nèi)，則開始新的搜索(150)。
圖4表示基于復數(shù)的登記方法的一種實現(xiàn)。該方法以提供測試全息圖(152)和參考全息圖(154)開始。采用傅立葉變換對兩個全息圖分別進行變換(156和158)，以及邊帶提取應用于各圖像(160和162)。隨后，采用帶通濾波器對所得圖像進行濾波(164和166)。
兩個已濾波圖像則用于相干函數(shù)計算(168)，以及對其應用傅立葉逆變換(170)。隨后，幅度運算在所選搜索范圍內(nèi)執(zhí)行(172)。然后，執(zhí)行置信計算(174)，以及圖像的匹配可根據(jù)從其中導出的置信值被接受或拒絕(176)。如果置信值處于可接受范圍內(nèi)，則登記過程進入整數(shù)平移和子像素建模(178)，以及圖像的匹配被接受(180)。如果置信值不在可接受范圍內(nèi)，則開始新的搜索(182)。
在一些實施例中，可通過消除置信評估來進行簡化。一般包括(1)采用圖像共軛乘積代替相干函數(shù)計算，即無需通過兩個圖像的最大可能功率對交叉功率譜密度進行歸一化，以及(2)消除置信計算和接受/拒絕測試。方法的其余部分基本上與其最初形式相同。例如，基于復數(shù)的登記系統(tǒng)的簡化形式如圖5所示。
圖5表示基于復數(shù)的登記方法的一種簡化實現(xiàn)。該方法以提供測試全息圖(200)和參考全息圖(202)開始。采用傅立葉變換對兩個全息圖分別進行變換(204和206)，以及邊帶提取應用于各圖像(208和210)。隨后，采用帶通濾波器對所得圖像進行濾波(212和214)。
兩個已濾波圖像則用來確定圖像共軛乘積(216)，以及對其應用傅立葉逆變換(218)。隨后，幅度運算在所選搜索范圍內(nèi)執(zhí)行(220)。則登記過程進入整數(shù)平移和子像素建模(222)，以及圖像的匹配被接受及上報(224)。
對于特定應用的某種技術或者多種技術的組合的選擇是系統(tǒng)工程選擇，并取決于許多因素。其中重要因素為所需功能性、系統(tǒng)整體優(yōu)化、可用數(shù)據(jù)流、濾波實現(xiàn)的便捷性和可行性、噪聲濾波結果和健壯性、整個系統(tǒng)速度和成本、系統(tǒng)可靠性。
提供下列實例以說明這些原則。
運行時缺陷檢測在運行時晶片檢驗的應用中，系統(tǒng)速度和精度是主要的。為此，已經(jīng)可用的復合頻率數(shù)據(jù)流可用于這個方面。因此，可簡化登記，如圖6所示。
圖6表示一種用于當邊帶在數(shù)據(jù)流中可用時登記全息復合圖像的方法的簡化實現(xiàn)。該方法以提供測試邊帶(250)和參考邊帶(252)開始。各邊帶分別采用帶通濾波器(254和256)。
兩個已濾波圖像則用來確定圖像共軛乘積(258)，以及對其應用傅立葉逆變換260。隨后，幅度運算在所選搜索范圍內(nèi)執(zhí)行(262)。則登記過程進入整數(shù)平移和子像素建模(264)，以及圖像的匹配被接受及上報(266)。
晶片中心檢測(或者管芯零或其它點位置細化。)圖7表示登記過程如何應用于將晶片坐標系與舞臺坐標系對齊。晶片300放置在卡盤上，以及在可能匹配所存儲參考圖案的坐標位置獲取圖像。對圖像執(zhí)行下面提供的程序，以便確定參考圖案的實際位置與圖案的假定位置之間的偏移(Δx 302，Δy 304)。第二步是重復登記程序，以便確定及校正管芯網(wǎng)格軸與舞臺軸之間的旋轉(zhuǎn)角θ306。
在本應用的特定實施例中，必需采用算法的完全形式。
登記(平移，置信，圖像1，圖像2，...)它通過計算它們的平移差值來登記(復合頻率、復合空間、幅度、相位或密度的)兩個圖像，并返回通知是否成功匹配的實時置信測量，下列程序被開發(fā)用于晶片中心檢測和旋轉(zhuǎn)角檢測。
給定圖像片作為模板(例如256×256)，執(zhí)行以下步驟步驟1.在取模板的當前位置取FOV 308，圖像1(假定它是具有接近實際晶片中心的特征的圖像段)。
步驟2.將模板零填充到圖像1的大小。
步驟3.調(diào)用登記(平移，置信，圖像1，填充模板，...)。
步驟4.如果(置信.maxxCorrlst＞＝T1以及置信.測量＞＝T2)則停止。輸出平移并計算晶片中心。
步驟5.從基于步驟4所檢測的平移的位置的圖像1提取256×256的圖像片。
步驟6.采用模板和所提取的圖像片重復步驟3(執(zhí)行256×256登記)。
步驟7.重復步驟4。
步驟8.通過從它的具有P％重疊的相鄰FOV提取FOV，來執(zhí)行循環(huán)搜索311，轉(zhuǎn)到步驟3。
步驟9.重復步驟4、步驟5和步驟6，直到步驟4中的條件被滿足或者發(fā)信號通知它超出預定搜索范圍。
步驟10.如果在搜索范圍中沒有發(fā)現(xiàn)匹配，則輸出失敗信號并處理此情況。
以上步驟利用四個參數(shù)T1、T2、numSigma和P％。T1是最小Coors相關系數(shù)；T2是最小置信值；numSigma是噪聲閾，它控制在邊緣增強之后進入登記系統(tǒng)的信息內(nèi)容；以及P％是提取相鄰FOV時的重疊。在一個實施例中，在對模板零填充的情況下，重疊應當＞＝50％*256個像素，因為它只需要覆蓋原始模板的一部分。根據(jù)實驗，下列設定對成功搜索是典型的T1＝0.4，T2＝0.1，numSigma＝3.5。
其它參數(shù)與實時登記中相似。
在一些實施例中，填充方案也可用傾斜方案取代。
旋轉(zhuǎn)角檢測為了標識旋轉(zhuǎn)角檢測，給定晶片中心，執(zhí)行下列步驟步驟1.沿左側的晶片中心線取FOV 310，圖像1，(這可以也是一步校準的邊緣管芯)。
步驟2.沿相對晶片中心與左側FOV對稱的右側的晶片中心線取FOV 312，圖像2。
步驟3.調(diào)用登記(平移，置信，圖像1，圖像2，...)。
步驟4.如果(置信.maxxCorrlst＞＝T1以及置信.測量＞＝T2)則停止。輸出平移并計算旋轉(zhuǎn)角。
步驟5.通過取上方或下方具有P％重疊的另一個FOV，來執(zhí)行螺旋搜索，轉(zhuǎn)到步驟3。
步驟6.重復步驟4和步驟5，直到步驟4中的條件被滿足或者發(fā)信號通知它超出預定搜索范圍。
步驟7.如果在搜索范圍中沒有發(fā)現(xiàn)匹配，則輸出失敗信號并處理此情況。
應當沿以上檢測的晶片中心線或者沿接近中心的平行線(其中的特征保證存在，例如取模板圖像的位置)取數(shù)據(jù)。
參數(shù)與晶片中心檢測中相同。注意，一個方向(在螺旋搜索的情況下為Y)的P％重疊將保證在網(wǎng)格(網(wǎng)格是其中數(shù)據(jù)實際上相對與其匹配FOV對應的實際位置來提取)的最差情況下的一對FOV之間的(50％+P％/2)重疊區(qū)域。
以上所述技術提供許多有利特性。包括固定圖案(D/C噪聲)、時變圖案(A/C噪聲)和隨機噪聲等的噪聲可通過空間域中實現(xiàn)的新穎濾波器達到100％的消除。濾波器對于所使用的不同數(shù)據(jù)采用不同形式。一般來說，首先增強高頻空間特征的邊緣。只有強特征才能通過濾波器，而噪聲則不進入此過程。然后，灰度級邊緣強度數(shù)據(jù)而不是原始密度/相位用于下列相關過程。
相關過程在速度和效率的傅立葉域中來實現(xiàn)。在大部分實施例中，快速傅立葉變換(FFT)用來實現(xiàn)傅立葉變換運算。
各匹配的置信值的使用是有利的。這個置信值采用二維相關面的峰值圖案來定義。與相關系數(shù)一起，這個置信值提供對圖像匹配質(zhì)量的可靠測量。
提供一種用于從所需數(shù)量的視野(FOV)的全自動搜索(與目標對象的機械平移結合)直到匹配正確目標為止的機制也是有利的。每次移動的質(zhì)量通過在登記計算過程中定義的置信來測量，以及置信值還可用來接受匹配或拒絕它，并開始新的搜索。
自動晶片旋轉(zhuǎn)校準完全使任何晶片旋轉(zhuǎn)衰減的校正自動化。這對于晶片檢驗系統(tǒng)中的晶片設置是重要的。它減少了算子的設置時間，并實現(xiàn)晶片導航的所需精度。登記系統(tǒng)為檢驗系統(tǒng)提供用于晶片校準的健壯、可靠且有效的子系統(tǒng)。
所述方法提高了接受各種輸入數(shù)據(jù)的靈活性。在DDH晶片旋轉(zhuǎn)校準的情況下，這種方法可接受五種主要數(shù)據(jù)格式，以及直接根據(jù)這些數(shù)據(jù)來計算登記參數(shù)a.復合頻率數(shù)據(jù)；b.復合空間數(shù)據(jù)；c.從全息圖中提取的幅度數(shù)據(jù)；d.從全息圖中提取的相位數(shù)據(jù)；以及e.僅密度數(shù)據(jù)。這種靈活性提供了開發(fā)整體上更可靠且有效的系統(tǒng)的可能性。
比較全息圖像本發(fā)明還包括用于為了標識對象中的變化或者對象之間的差異而比較全息圖像的系統(tǒng)及方法。如圖8所示，一般表示為340的成像系統(tǒng)包括主要組件1)機械定位系統(tǒng)380，具有鏈接到系統(tǒng)控制計算機350的計算機控制；2)光系統(tǒng)370，用于創(chuàng)建全息圖，包括照明源；3)數(shù)據(jù)獲取及處理計算機系統(tǒng)360；4)處理算法，可用于在處理系統(tǒng)360中運行；并且還可包括5)用于監(jiān)控子系統(tǒng)的系統(tǒng)(沒有明確示出)。
成像系統(tǒng)340通過以總共六個自由度(x，y，θ，z，翻轉(zhuǎn)，傾斜)定位光系統(tǒng)的視野(FOV)中的對象的一個示例，并采用獲取系統(tǒng)360獲取數(shù)字全息圖以及執(zhí)行第一級全息圖處理，來進行工作。所得圖像波的中間表示可存儲在臨時緩沖器中。
然后，指示定位系統(tǒng)380移動到具有FOV中的新對象的新位置，并重復初始獲取序列。定位系統(tǒng)用于新位置的坐標從虛擬映射及檢驗計劃中導出。這個步驟和獲取序列重復進行，直至達到第一對象的第二示例。
距離測量裝置最好與定位系統(tǒng)380結合用于產(chǎn)生表示對象與測量裝置之間的距離的一組離散樣本。數(shù)學算法則用來產(chǎn)生具有查找功能的映射表，用于確定總共三個自由度(z，翻轉(zhuǎn)，傾斜)的目標值，作為總共三個輸入坐標(x，y，θ)的輸入給出。
在這一點上，光系統(tǒng)370獲取對象的第二示例的全息圖，它經(jīng)過處理以便產(chǎn)生圖像波的中間表示。第一示例的相應表示從臨時緩沖器中檢索，并且兩個表示被對齊并濾波。通過對頻域中的對象的表示執(zhí)行唯一處理，可在這一點上實現(xiàn)許多益處。這兩個示例之間的比較(參考差異圖像描述)可以進行，并且結果存儲在臨時緩沖器中。這個過程可對包含對象的第二示例的其它FOV重復進行。
定位系統(tǒng)380到達對象的第三示例，并且先前兩個步驟(中間表示以及與第二示例的比較)完成。第一與第二示例之間的比較的結果從臨時緩沖器中檢索，并且噪聲抑制和源邏輯算法最好可應用于所檢索的以及當前比較。
然后可分析結果并產(chǎn)生匯總統(tǒng)計。這些結果被傳送給監(jiān)督控制器。當獲取對象的新示例時，這個循環(huán)重復進行。
產(chǎn)生復合圖像之間的差值本發(fā)明考慮產(chǎn)生兩個復合圖像之間的差值的變化。
可采用幅度差。首先，兩個復合圖像最好被轉(zhuǎn)換為幅度表示，并且計算所得幅度之間的差值的幅度(逐個像素)。在一個實施例中，這表示被成像的兩個表面之間的反射率的差異。
可采用相位差。首先，兩個復合圖像最好被轉(zhuǎn)換為相位表示，并且計算所得相位值之間的有效相位差(逐個像素)。這可以按照所述方式直接執(zhí)行，或者通過在兩個圖像已經(jīng)過幅度歸一化之后計算它們的逐個像素比率的相位來執(zhí)行。在一個實施例中，這表示被成像的兩個表面之間的高度差。
還可采用向量差。首先，兩個復合圖像在復合域中直接相減，然后計算所得復數(shù)差的幅度。這個差值以有利方式結合幅度差與相位差的示象。例如，在相位差可能為噪聲的情況下，幅度可能較小，因而減輕相位噪聲對所得向量差的影響。
校準和比較兩個連續(xù)差值圖像本發(fā)明還考慮兩個連續(xù)差值圖像的校準及比較，以便確定哪些差異是兩者共同的。將一個差值圖像移位以匹配另一個的數(shù)量通常由最初計算差值圖像所執(zhí)行的先前步驟中已知，即圖像A移位數(shù)量a以便匹配圖像B，并且產(chǎn)生差值圖像AB，同時圖像B移位數(shù)量b以便匹配圖像C，并且產(chǎn)生差值圖像BC。因此，將圖像BC移位以便匹配圖像AB的適當數(shù)量為-b。下面描述確定兩個差值圖像共同具有的哪些差異的三種備選方法。
在一個實施例中，對差值圖像確定閾，然后兩個閾限制圖像其中之一移位適當數(shù)量，四舍五入為最接近的完整像素。公共差值則通過移位及沒有移位的閾限制差值圖像的邏輯“與”(或乘法)表示。
在另一個實施例中，差值圖像在確定閾之前首先被移位適當(子像素)數(shù)量，然后再對圖像確定閾。然后公共差通過上述邏輯“與”(或乘法)來計算。
在另一個實施例中，差值圖像中的一個在確定閾之前被移位適當(子像素)數(shù)量并與第二圖像結合。兩個圖像的組合可以是幾個數(shù)學函數(shù)中的任一個，其中包括逐個像素算術平均和逐個像素幾何平均。在組合兩個差值圖像之后，對結果確定閾。
示例操作以下論述提供對本發(fā)明的示例操作的描述。首先，全息圖采用CCD照相機來獲取(如圖9和圖10所示)并存儲在存儲器中。對象波定義為 并且參考波為
忽略照相機的非線性以及噪聲，所記錄的全息圖的密度為 兩個波之間的相位差 定義為 并且表示兩條邊之間的角度的向量差 為Δk→=(k→A-k→B).]]>等式(1)簡化為 其中，μ0表示相干因子。埃德加已經(jīng)證明了沿這些線的其它詳細情況。
在優(yōu)選實施例中，這個步驟可作為由數(shù)字全息成像系統(tǒng)本身進行的直接圖像捕捉并傳送給存儲器來實現(xiàn)，或者通過從磁盤讀取已捕捉圖像在脫機程序中進行模擬。在這個特定優(yōu)選實施例中，圖像作為16位灰度級被存儲，但采用實際范圍(0-4095)的12位，因為那是照相機的完整范圍。
隨后，全息圖像最好經(jīng)過處理，以便提取從對象返回的復合波前，如圖11所示。在一個優(yōu)選實施例中，對所捕捉(以及可靠增強)全息圖執(zhí)行快速傅立葉變換(FFT)。全息圖密度的FFT表示為 隨后，找到全息圖像的載頻。在一個實施例中，這首先要求邊帶集中的頻率(如圖12所示)必須被設置，以便適當?shù)馗綦x邊帶。這可對所處理的第一全息圖以及用于所有后續(xù)圖像的相同位置進行，或者載頻可對每個單個全息圖重新設置。首先，查找來自等式(2)的全息圖FFT的位置q→=Δk→]]>(或q→=-Δk→).]]>由于邊帶的模數(shù)在這兩個位置呈現(xiàn)峰值，因此可通過搜索離開q→=0]]>的FFT{Ihol}的模數(shù)，來找到預期位置。
在一些實施例中，邊帶的搜索區(qū)域定義為參數(shù)。全息圖FFT的模數(shù)在所定義區(qū)域中計算，并且最大點的位置被選擇作為載頻。在所有實現(xiàn)中，搜索區(qū)域可指定為受關注區(qū)域(最大和最小x及y值)。
在特定實施例中，通過FFT模數(shù)在找到的最大值區(qū)域中的內(nèi)插，載頻計算到子像素精度。為了校正載頻的子像素位置，F(xiàn)FT則在隔離邊帶之后通過僅相位函數(shù)來調(diào)制。
邊帶的搜索區(qū)域可指定為傅立葉域中的受關注區(qū)域或者指定為在傅立葉域中沒有搜索的、離開x和y軸的像素數(shù)量。在一些實施例中，這個參數(shù)可有選擇地修改?；蛘撸脩艨梢钥蛇x地設置邊帶的手動位置，它將載頻位置設置為用于所有圖像的固定值。(在特定實施例中，通過將搜索區(qū)域設置為單點，可實現(xiàn)相同效果。)對于檢驗系列，載頻可假定是穩(wěn)定的，因此不需要對每個全息圖重新計算。載頻可找到一次，并且那個頻率在相同檢驗中用于所有后續(xù)全息圖。
在定位邊帶之后，集中于載頻的全息圖FFT的象限被提取，如圖13所示。邊帶象限的這種隔離從等式(3)中減少邊帶項其中之一，并對它調(diào)制以消除對 的相關性 這個步驟的實現(xiàn)是簡單的。注意，在一些實施例中，象限沒有從FFT中提取，而是FFT重新集中于載頻并保持其原始分辨率。
然后，所提取的邊帶可經(jīng)過濾波。在特定實施例中，巴特沃思低通濾波器應用于所提取邊帶，以便從自相關頻帶中減小任何混淆的影響以及減小圖像中的噪聲。
低通濾波器 應用于邊帶，如圖14所示。已濾波邊帶是我們希望重構的復合圖像波 的FFT
FFT{ψ(r→)}=sideband·H(q→)---(5)]]>巴特沃思低通濾波器由下式定義H(q→)=11+(|q→|/qc)2N---(6)]]>其中，qc為濾波器的截止頻率(即，自其中的濾波器增益降低到處其值一半的濾波器中心的距離)，并且N為濾波器的階(即濾波器截止的速度)。
在使用離軸照度的實施例中，低通濾波器可能需要偏心移動，以便更精確地捕捉邊帶信息。設 表示我們希望設置濾波器中心的位置(偏移向量)，則巴特沃思濾波器的等式為H(q→)=11+(|q→-q→off|/qc)2N---(7)]]>在優(yōu)選實施例中，巴特沃思濾波器對于給定參數(shù)和圖像大小應當只計算一次，并存儲用于各圖像。
在優(yōu)選實施例中，又稱作濾波器“大小”或“半徑”的截止頻率以及濾波器的階必須被指定。
如果需要離軸濾波器，則濾波器中心的偏移向量還應當被指定；這個參數(shù)還應當是有選擇可調(diào)整的。在一個優(yōu)選實施例中，表明是否使用低通濾波器或帶通濾波器的標志可允許用來選擇處理軟件中所采用的濾波器類型。
在一些實施例中，處理軟件程序具有采用帶通濾波器代替低通濾波器的能力。采用帶通濾波器已經(jīng)表明改進特定缺陷晶片的缺陷檢測性能。帶通濾波器實現(xiàn)為巴特沃思低通和高通濾波器的一系列乘法；高通濾波器可定義為“一減低通濾波器”，并且指定與低通濾波器相同的參數(shù)類型。
隨后，對已濾波邊帶執(zhí)行傅立葉逆變換(IFFT)，以便導出復合圖像波，從而分別產(chǎn)生幅度圖像和相位圖像，如圖15和圖16所示。已濾波邊帶的IFFT產(chǎn)生ψ(r→)=μ0A(r→)B(r→)eiΔψ(r→)---(8)]]>其中已經(jīng)假定，低通濾波器的孔徑完全隔離邊帶。實際上，這是不可能的，但該假設是實現(xiàn)易處理表達所需的，并且等式(7)沒有適當?shù)乇硎窘Y果。
如果所得復合圖像的相位不是足夠平坦(即，圖像上存在若干相位纏繞)，則可應用平面場校正以改進結果。這包括將復合圖像除以參考平面(鏡像)的復合圖像，以便校正照明亮度以及(尤其是)背景相位的變化。
首先， 表示參考平面全息圖的復合圖像(按照以上所述進行處理)。平面場校正全息圖為ψ′(r→)=ψ(r→)φ(r→)---(9)]]>為了實現(xiàn)這個步驟，在先前檢驗過程中，平面場全息圖被處理為復合圖像。那個圖像被存儲并從該過程逐個像素分為各復合圖像。用來產(chǎn)生復合圖像的參數(shù)(邊帶搜索區(qū)域和濾波器參數(shù))對于平面場全息圖通常與對于檢驗全息圖相同。
參考平面校正密度以及相位，因此，從等式(8)產(chǎn)生的結果模數(shù)圖像 對于查看或者僅幅度處理算法可能不是很有用。這個問題可通過將參考平面圖像 修改成在每個像素具有單位模數(shù)來減小。然后平面場校正僅校正檢驗圖像中的非平面相位。
差值運算差值運算是標識兩個相應復合圖像之間的差異所需的。執(zhí)行差值運算的一個優(yōu)選方法如以下所述。
在獲得兩個復合圖像之后，兩個圖像經(jīng)過對齊，使得兩個圖像的直接減法將顯示兩者之間的任何差異。在此實施例中，登記算法基于兩個圖像的互相關。由于登記算法基于兩個圖像的互相關，因此，通過從圖像中消除DC電平和低頻變化，可提高性能。這允許銳邊和特征的高頻內(nèi)容比低頻變化的任何校準更為突出。
巴特沃思高通濾波器 可應用于(在頻域中)要登記的復合圖像ψ1和ψ2的每個Ψn(q→)=FFT{ψn}=sideband·H(q→)·HHP(q→)---(10)]]>這有效地對圖像進行帶通濾波。高通濾波器HHP定義為HHP(q→)=1-11+(|q→|/qc)2N---(11)]]>高通濾波步驟的實現(xiàn)是簡單的。所用的高通濾波器的大小可以是用戶定義的，或者作為以上應用的低通濾波器的大小的固定百分比來確定。高通濾波器最好是計算一次，并存儲應用于每個圖像。
高通濾波器HHP的截止頻率和階可由用戶指定，或者固定為與低通濾波器參數(shù)的預定關系。在一些實施例中，可能希望將這個步驟的參數(shù)限制到與低通濾波器參數(shù)的固定關系，以便減少用戶變量的數(shù)量。
濾波之后，計算兩個圖像的互相關?；ハ嚓P表面的峰值最好出現(xiàn)于圖像之間的正確登記偏移的位置。
兩個帶通濾波圖像之間的互相關 通過取第一圖像與第二圖像的軛之積的傅立葉逆變換來計算γn,n+1(r→)=IFFT{Ψn(q→)·Ψn+1*(q→)}---(12)]]>兩個圖像之間的登記偏差對應于互相關表面達到其最大值的位置。兩個圖像之間的登記偏差為值 表示為 對于它 為最大。對于最大值搜索集中于互相關的原點的區(qū)域。一旦找到最大值的位置，二次曲面適合集中于那個位置的3×3鄰近區(qū)域，并且適合曲面的峰值的子像素位置用作子像素登記偏差。二次曲面的方程為
ax2+bxy+cy2+dx+ey+f＝0(13)系數(shù)a、b、c、d、e和f的值經(jīng)由矩陣解例程來計算。計算對于項x2、xy等的3×3鄰近區(qū)域中的值的9×6矩陣(A)，并且形成(未知)系數(shù)z→=abcdefT]]>的6×1向量。與各位置對應的互相關的值代入9×1向量h→=[|γ(r1→)||γ(r2→)|···]T.]]>矩陣A的形式為A=x12x1y1y12x1y11x22x2y2y22x2y21··················x92x9y9y92x9y91---(14)]]>濾波表面的系數(shù)則通過解 的方程(14)來尋找A·z→=h→---(15)]]>二次曲面的最大值的位置(xmax，ymax)則由系數(shù) 來計算，并用作子像素登記偏差值。
xmax=2c·d-b·eb2-4a·c---(16)]]>ymax=2a·e-b·db2-4a·c---(17)]]>互相關表面為最大值的位置的確定可通過幾種不同方式來實現(xiàn)。在一個實現(xiàn)中，可通過將二次曲面適合集中于最大值的3×3鄰近區(qū)域，并查找適合表面的最大值的位置，來執(zhí)行內(nèi)插。在另一個實現(xiàn)中，存在分別采用各方向(x和y)上的三個點來執(zhí)行這種內(nèi)插的選項。
最大登記偏差通常必須被指定，往往指定為圖像可相對彼此移動以實現(xiàn)校準的任何方向上的像素的最大數(shù)量。
主要描述的登記移位確定完成登記過程。注意，這個過程一般符合以上更詳細說明的登記過程。
確定兩個圖像之間的登記移位之后，第一圖像移位那個數(shù)量以便將其對齊第二圖像。圖像 移位登記數(shù)量 ψn′(r→)=ψn(r→-r→max)---(18)]]>由于登記移位 通常為非整數(shù)值，因此必須選擇內(nèi)插抽樣圖像的方法。用于內(nèi)插的兩種優(yōu)選方法是雙線性內(nèi)插和頻域內(nèi)插。雙線性內(nèi)插采用對預期子像素位置的四個最近完整像素在空間域中執(zhí)行。假定希望查找位置(x+Δx，y+Δy)處的ψ的內(nèi)插值，其中，x和y是整數(shù)，且0≤x＜1以及0≤y＜1。雙線性內(nèi)插值計算為ψ(x+Δx，y+Δy)＝(1-Δx)·[(1-Δy·ψ(x，y)+Δy·ψ(x，y+1)]+Δx·[(1-Δy)·ψ(x+1，y)+Δy·ψ(x+1，y+1)](19)頻域內(nèi)插采用傅立葉變換的基本移位屬性來執(zhí)行ψ(x+Δx，y+Δy)＝IFFT{ψ(u，v)·e-12π(Δx·u+Δy·v)}(20)對于等式(19)，Δx和Δy的范圍沒有限制。
被比較的兩個圖像必須經(jīng)過歸一化，使得當相減時，它們的幅度和相位將對齊并產(chǎn)生接近零的結果，除了在缺陷處。有兩種主要方法用來對復合圖像歸一化。在稱作“復合歸一化”的第一種最簡單的方法中，一對中的第一圖像通過將它與兩個圖像的復合平均的比率相乘被歸一化到第二個。圖像的復合平均值定義為μψ=1N2(Σr→Re{ψ(r→)}+i·Σr→lm{ψ(r→)})---(21)]]>其中，N2為圖像中的像素數(shù)量。將圖像 歸一化到 的等式為ψn′′(r→)=μψn+1μψn·ψn′(r→)]]>在稱作“幅度-相位歸一化”的第二種方法中，圖像的幅度和相位直接對齊，而不是實部與虛部。首先，計算圖像幅度的平均值
μ|ψ|=1N2Σr→|ψ(r→)|---(22)]]>其次，計算兩個圖像之間的相位偏移。計算兩個圖像之間的相位差∠ψn+1-∠ψn′=∠(ψn+1ψn′)=tan-1(ψn+1ψn′)]]>為了查找相位偏移，需要計算將在圖像中產(chǎn)生最少相位躍變的這個相位差值圖像的相位偏移。由于預計這個圖像相當均勻，因此更可靠地查找導致最大相位躍變數(shù)量的相位偏移，然后斷定正確的相位偏移為與那一個的π半徑偏移。結果是相位偏移Δφ，它將與幅度平均比率配合用于將第一圖像歸一化到第二個ψn+1′′(r→)=μ|ψn+1|μ|ψn′|·ψn′(r→)·e-iΔφ---(23)]]>這個步驟的實現(xiàn)從數(shù)學描述上是相當簡單的。幅度-相位歸一化往往是更為計算密集的，并且采用在波前匹配步驟時可能是不必要的。如果采用了波前匹配，則根本不需要執(zhí)行歸一化步驟，因為波前匹配是一種形式的歸一化。
波前匹配將第二圖像的相位調(diào)整圖像之間的相位比的濾波形式，以便從相位異常導致的差值圖像中消除低頻變化。首先，圖像之間的相位差通過兩個復合圖像相除來查找ρ(r→)=ψn′′(r→)ψn+1(r→)---(24)]]>然后在頻域中采用具有極低截止頻率的濾波器對這個比較進行低通濾波ρfilt(r→)=IFFT{FFT{ρ(r→)}·L(r→)}---(25)]]>其中， 是具有六個像素的截止頻率的三階巴特沃思濾波器。這個濾波比用來修改第二圖像，使得相位差中的低頻變化最小
ψ~n+1(r→)=ψn+1(r→)·ρfilt(r→)---(26)]]>這個步驟的實現(xiàn)采用以上等式是簡單的。這個步驟中使用的低通濾波器的階和截止頻率是固定的。另外還要注意，在一個優(yōu)選實施例中，第二圖像是經(jīng)過此算法修改的一個而不是第一個。這將使比率因邊界像素上的分母中的零值而是未確定的情況下的像素的數(shù)量最少。
在一些情況下，對圖像移位時處理邊界像素的實現(xiàn)之間的差異可能使這個步驟在整個圖像上傳播差異。直到及除非移位過程中邊界像素的處理在各種實現(xiàn)中相同，否則波前匹配步驟將導致整個圖像中的差異。這些差異通常相當小。另外，波前匹配可能因FFT的周期性假設而導致邊界附近的偽像。這些偽像的影響可能超出排除在缺陷之外的邊界區(qū)域。
然后，計算兩個已登記歸一化相位校正圖像之間的向量差，如圖17中的第一差值圖像并且圖18中的第二差值圖像所示。圖像之間的差為|Δψn+1,l(r→)|=|ψ~n+1(r→)-ψn′′(r→)|---(27)]]>這個步驟的實現(xiàn)是簡單的。注意，在備選實施例中，相位差和幅度差也可用來檢測缺陷。
差值圖像的邊緣附近的像素設置為零，以便排除那些區(qū)域中的缺陷檢測，它們易于產(chǎn)生偽像。圖像的各邊的像素的指定數(shù)量之內(nèi)的向量差值圖像中的每個像素設置為零。這要求要清零的各邊的像素數(shù)量必須被指定。在一些實施例中，像素數(shù)量取為等于像素中最大允許登記移位。
缺陷檢測對向量差值圖像確定閾，以便表明每對圖像之間的可能缺陷的位置，如圖19和圖20所示。計算向量差值圖像 的標準偏差。閾值以標準偏差的用戶指定倍數(shù)來設置，并且差值圖像以那個值來確定閾δn+1,n(r→)=1,|Δψn+1,n(r→)|>kσ0,|Δψn+1,n(r→)|≤kσ---(28)]]>初始閾值根據(jù)整個差值圖像的標準偏差來計算。在一個實現(xiàn)中，通過重算排除了閾值以上的像素的標準偏差，直到?jīng)]有其它變化，來重復修改閾。這有效地降低了具有許多缺陷、有時具有相當多缺陷的圖像的閾。在一個優(yōu)選實施例中，以其來對圖像確定閾的標準偏差的倍數(shù)由用戶指定。
然后，對齊用來確定缺陷源自哪個圖像的兩個確定閾的差值圖像。由于任何對的第一圖像與該對的第二圖像對齊，因此兩個所得差值圖像處于不同參考幀中。在互相比較的三個復合圖像ψ1、ψ2和ψ3的序列中，第一確定閾差值δ2，1與ψ2對齊，并且第二差值δ3，2與ψ3對齊。由于這兩個確定閾的差值圖像將產(chǎn)生圖像ψ2的缺陷，因此圖像δ3，2必須移位，使得它與ψ2對齊。由于確定閾圖像的二進制性質(zhì)，只需要將圖像對齊到完整像素精度。圖像ψ2和ψ3之間的登記移位已經(jīng)從先前到子像素精度的計算中已知；這個移位 四舍五入到最接近的完整像素(表示為 并以與它先前的應用(將圖像2移位到與圖像3對齊)相反的方向應用到δ3，2δ3,2′(r→)=δ3,2(r→+r→max′)---(29)]]>這個步驟的實現(xiàn)是簡單的。
隨后，邏輯“與”運算應用于對齊的確定閾差值圖像，以便消除沒有出現(xiàn)在兩個圖像中的任何檢測到的缺陷，如圖21所示。這減少了假正片缺陷的數(shù)量，并將缺陷分配到序列中的適當圖像。
當圖像ψ2與相應圖像ψ1和ψ3比較時所發(fā)現(xiàn)的圖像ψ2中的缺陷由下式給出d2(r→)=δ2,1(r→)∩δ3,2′(r→)---(30)]]>在一個特定實施例中，邏輯“與”實現(xiàn)為兩個確定閾圖像的乘法，因為它們的值限制為0或者1。
在一個備選實施例中，以上步驟可重新排序，使得校準和邏輯“與”步驟在確定閾之前執(zhí)行，可用子像素校準來代替，并且邏輯“與”步驟變?yōu)檎鎸嵆朔ā?br> 在一些實施例中，所得缺陷區(qū)域可在它們降低到某個大小閾值以下時被丟棄。另外，對缺陷區(qū)域的形態(tài)操作可用來“清理”它們的形狀。形狀修改可實現(xiàn)為數(shù)學形態(tài)操作，即形態(tài)閉合。這個算子描述如下。
設K表示算子的結構元素(或核心)。定義對稱集合K~={-r→:r→∈K},]]>它是K在原點附近的反映。集合到點 的平移由下標表示；例如，平移到點 的集合K為 。集合處理形態(tài)erosion(侵蝕)和dilation(擴展)由下式定義侵蝕dΘK~={s→:Ks→⊆d(s→)}=∩r→∈Kd(-r→)---(31)]]>擴展 符號Θ和分別表示Minkowski減法和Minkowski加法。二進制圖像d的侵蝕具有真實像素，其中結構元素K可被平移，同時完全保留在真實像素的原始區(qū)域中。d的擴展為真，其中K可被平移，并且仍然在一點或多點與d的真實點相交。
形態(tài)斷開和閉合操作是侵蝕和擴展的序列應用，如下所示斷開d·K(r→)=[(dΘK~)⊕K](r→)---(33)]]>閉合d·K(r→)=[(d⊕K)ΘK](r→)---(34)]]>
具有正方形核心(K)的形態(tài)閉合是對于缺陷映射d的形狀修改的最可能的操作。
大小限制可通過對每個連接分量中的像素數(shù)量計數(shù)來實現(xiàn)。這個步驟可能與連接的分量分析結合。在一個實施例中，形狀修改利用數(shù)學形態(tài)操作，尤其是具有3×3正方形核心的形態(tài)閉合。
在一個優(yōu)選實施例中，要必須對大小限制操作指定要接受的最小缺陷大小。在一些實施例中，這個參數(shù)可以是用戶修改的。對于形狀修改操作，核心的大小和形狀加上形態(tài)算子的類型必須由用戶指定。另外，用戶還可指定是否完全使用形狀修改。
所得缺陷圖像 中具有非零像素的區(qū)域被轉(zhuǎn)換為“連接分量”描述。連接分量例程最好查找在x方向連續(xù)的缺陷簇。一旦線性缺陷串被標識，它與在y方向上可能接觸的其它斑點合并。合并涉及重新定義完全包含缺陷簇的最小邊界長方形。例如50個缺陷的限制可施加到檢測例程中，以便提高效率。如果在任何點，缺陷標志超過極限加容限，則分析中止。一旦整個圖像被掃描，則合并程序連續(xù)地重復進行，直到缺陷沒有增加。
連接分量則表示為幅度圖像，如圖22所示，或者表示為相位圖像，如圖23所示。在一個實施例中，連接分量映射到結果文件中，并且計算缺陷的基本統(tǒng)計。在一個特定實施例中，僅上報缺陷的邊界長方形的坐標。
雖然已經(jīng)詳細描述了所公開的實施例，但應當理解，可對實施例進行各種變化、替換和變更，而沒有背離其精神和范圍。
權利要求
1.一種用于登記相應密度圖像的方法，包括提供第一密度圖像；提供第二相應密度圖像；對所述第一密度圖像和所述第二密度圖像分別執(zhí)行邊緣增強運算；對所述第一密度圖像和所述第二密度圖像分別執(zhí)行噪聲消除確定閾運算；采用傅立葉變換分別變換所述第一密度圖像和所述第二密度圖像；采用第一密度圖像和所述第二密度圖像計算相干函數(shù)；采用傅立葉逆變換來變換所述相干函數(shù)；對所述已變換相干函數(shù)執(zhí)行幅度運算；根據(jù)所述幅度運算計算置信值；以及采用所述計算置信值來確定所述第一密度圖像與所述登記之間的對應的可接受性。
2.如權利要求1所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一密度圖像和所述第二密度圖像。
3.如權利要求1所述的方法，其特征在于，計算所述置信值的步驟采用至少一個所標識相干峰值。
4.如權利要求1所述的方法，其特征在于，計算所述置信值的步驟還包括確定第一相干峰值與第二峰值之間的強度的差異。
5.一種用于登記全息圖像的方法，包括提供第一全息圖像和第二相應全息圖像；采用傅立葉變換分別變換所述第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行邊帶提取運算；采用帶通濾波器分別對所述所得第一全息圖像和所述第二全息圖像濾波；采用傅立葉逆變換分別變換所述所得第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行幅度運算；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行噪聲消除確定閾；采用傅立葉變換分別變換所述所得第一全息圖像和所述第二全息圖像；計算所述所得第一全息圖像和所述第二全息圖像的相干函數(shù)；采用傅立葉逆變換來變換所述相干函數(shù)；對所述所得已變換相干函數(shù)執(zhí)行幅度運算；根據(jù)所述幅度運算計算置信值；以及根據(jù)所述置信值來確定所述第一全息圖像與所述第二全息圖像之間的對應的可接受性。
6.如權利要求5所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一全息圖像和所述第二全息圖像。
7.如權利要求5所述的方法，其特征在于，計算所述置信值的步驟采用至少一個所標識相干峰值。
8.如權利要求5所述的方法，其特征在于，計算所述置信值的步驟還包括確定第一相干峰值與第二峰值之間的強度的差異。
9.一種用于登記全息圖像的方法，包括提供第一全息圖像和第二相應全息圖像；采用傅立葉變換分別變換所述第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行邊帶提取運算；采用低通濾波器分別對所述所得第一全息圖像和所述第二全息圖像濾波；采用傅立葉逆變換分別變換所述所得第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行相位運算；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行相位已知邊緣增強運算；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行噪聲消除確定閾；采用傅立葉變換分別變換所述所得第一全息圖像和所述第二全息圖像；計算所述所得第一全息圖像和所述第二全息圖像的相干函數(shù)；采用傅立葉逆變換來變換所述相干函數(shù)；對所述所得已變換相干函數(shù)執(zhí)行幅度運算；根據(jù)所述幅度運算計算置信值；以及根據(jù)所述置信值來確定所述第一全息圖像與所述第二全息圖像之間的對應的可接受性。
10.如權利要求9所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一全息圖像和所述第二全息圖像。
11.如權利要求9所述的方法，其特征在于，計算所述置信值的步驟采用至少一個所標識相干峰值。
12.如權利要求9所述的方法，其特征在于，計算所述置信值的步驟還包括確定第一相干峰值與第二峰值之間的強度的差異。
13.一種用于登記全息圖像的方法，包括提供第一全息圖像和第二相應全息圖像；采用傅立葉變換分別變換所述第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行邊帶提取運算；采用帶通濾波器分別對所述所得第一全息圖像和所述第二全息圖像濾波；計算所述所得第一全息圖像和所述第二全息圖像的相干函數(shù)；采用傅立葉逆變換來變換所述相干函數(shù)；對所述所得已變換相干函數(shù)執(zhí)行幅度運算；根據(jù)所述幅度運算計算置信值；以及根據(jù)所述置信值來確定所述第一全息圖像與所述第二全息圖像之間的對應的可接受性。
14.如權利要求13所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一全息圖像和所述第二全息圖像。
15.如權利要求13所述的方法，其特征在于，計算所述置信值的步驟采用至少一個所標識相干峰值。
16.如權利要求13所述的方法，其特征在于，計算所述置信值的步驟還包括確定第一相干峰值與第二峰值之間的強度的差異。
17.一種用于登記全息圖像的方法，包括提供第一全息圖像和第二相應全息圖像；采用傅立葉變換分別變換所述第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行邊帶提取運算；采用帶通濾波器分別對所述所得第一全息圖像和所述第二全息圖像濾波；計算所述所得第一全息圖像和所述第二全息圖像的所述共軛乘積；采用傅立葉逆變換來變換所述共軛乘積；對所述所得已變換共軛乘積執(zhí)行幅度運算；根據(jù)所述幅度運算計算置信值；以及根據(jù)所述置信值來確定所述第一全息圖像與所述第二全息圖像之間的對應的可接受性。
18.如權利要求17所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一全息圖像和所述第二全息圖像。
19.如權利要求17所述的方法，其特征在于，計算所述置信值的步驟采用至少一個所標識相干峰值。
20.如權利要求17所述的方法，其特征在于，計算所述置信值的步驟還包括確定第一相干峰值與第二峰值之間的強度的差異。
21.一種用于登記全息圖像的方法，包括提供第一全息圖像和第二相應全息圖像；采用傅立葉變換分別變換所述第一全息圖像和所述第二全息圖像；對所述所得第一全息圖像和所述第二全息圖像分別執(zhí)行邊帶提取運算；采用帶通濾波器分別對所述所得第一全息圖像和所述第二全息圖像濾波；計算所述所得第一全息圖像和所述第二全息圖像的所述共軛乘積；采用傅立葉逆變換來變換所述共軛乘積；對所述所得已變換共軛乘積執(zhí)行幅度運算；以及對所述所得幅度圖像執(zhí)行整數(shù)平移和子像素建模運算。
22.如權利要求21所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述第一全息圖像和所述第二全息圖像。
23.一種用于在數(shù)字全息成像系統(tǒng)中登記測試全息圖像和參考全息圖像的方法，包括從所述測試圖像提供測試邊帶以及從所述參考圖像提供參考邊帶；采用帶通濾波器分別對所述測試邊帶和所述參考邊帶濾波；計算所述所得測試邊帶和參考邊帶的所述共軛乘積；采用傅立葉逆變換來變換所述共軛乘積；對所述所得已變換共軛乘積執(zhí)行幅度運算；以及對所述所得幅度圖像執(zhí)行整數(shù)平移和子像素建模運算。
24.如權利要求23所述的方法，其特征在于還包括采用數(shù)字全息成像系統(tǒng)來提供所述測試全息圖像和所述參考全息圖像。
25.一種用于比較相應全息圖像的方法，包括獲取第一全息圖像；獲取與所述第一全息圖像對應的第二全息圖像；比較所述第一全息圖像和所述第二全息圖像，并獲取第一差值圖像描述；獲取與所述第二全息圖像對應的第三全息圖像；比較所述第二全息圖像和所述第三全息圖像，并獲取第二差值圖像描述；以及比較所述第一差值圖像和所述第二差值圖像描述。
26.如權利要求25所述的方法，其特征在于還包括在所述頻域中比較所述第一全息圖像、所述第二全息圖像和所述第三全息圖像。
27.如權利要求25所述的方法，其特征在于還包括在所述空間域中比較所述第一全息圖像、所述第二全息圖像和所述第三全息圖像。
28.一種用于產(chǎn)生第一復合圖像與第二相應復合圖像之間的差異的方法，包括將所述第一復合圖像和所述第二復合圖像轉(zhuǎn)換為幅度表示；以及計算所述所得幅度表示之間的差異的幅度。
29.一種用于產(chǎn)生第一復合圖像與相應的第二復合圖像之間的相位差的方法，包括將所述第一復合圖像和所述第二復合圖像轉(zhuǎn)換為第一相位圖像和第二相位圖像；以及計算所述第一相位圖像與所述第二相位圖像之間的有效相位差。
30.一種用于產(chǎn)生第一復合圖像與第二相應復合圖像之間的差異的方法，包括在所述復數(shù)域中將所述第一復合圖像與所述第二復合圖像相減；以及計算所述所得復數(shù)差值的幅度。
31.一種用于在數(shù)字全息成像系統(tǒng)中確定差值圖像之間的公共差值的方法，包括對第一差值圖像和第二差值圖像確定閾；以及將所述確定閾的圖像之一移位所選量，使得所述兩個差值圖像的所述公共差值由所述移位確定閾圖像和未移位確定閾差值圖像的邏輯“與”來表示。
32.一種用于在數(shù)字全息成像系統(tǒng)中確定差值圖像之間的公共差值的方法，包括將所述差值圖像之一移位所選量；對所述移位差值圖像確定閾；以及通過執(zhí)行所述移位未確定閾圖像和移位確定閾圖像的邏輯“與”，來計算所述公共差值。
33.一種用于在數(shù)字全息成像系統(tǒng)中確定兩個相應差值圖像之間的公共差值的方法，包括將所述第一差值圖像移位所選量；將所述移位圖像與所述第二圖像組合；以及對所述組合圖像確定閾。
全文摘要
在數(shù)字全息成像系統(tǒng)中，可逐個像素地比較流式全息圖，用于全息圖生成之后的缺陷檢測。具有反饋置信的自動圖像匹配、登記和比較方法允許運行實晶片檢驗、畫面匹配細化、旋轉(zhuǎn)晶片校準以及差值圖像的登記和比較。
文檔編號G06T7/00GK1695166SQ03824976
公開日2005年11月9日 申請日期2003年9月12日 優(yōu)先權日2002年9月12日
發(fā)明者X·L·戴, A·M·埃爾－克哈沙布, M·亨特, C·T·托馬斯, E·弗爾克爾, M·舒爾茨 申請人:恩萊因公司