機器視覺檢查系統(tǒng)和進行高速對焦高度測量操作的方法
【專利摘要】本發(fā)明涉及一種包括照明源和攝像系統(tǒng)的機器視覺檢查系統(tǒng)和用于進行高速對焦高度測量操作的方法。所述方法包括以下步驟：將工件放置在所述機器視覺檢查系統(tǒng)的視場內；確定對焦高度測量操作所用的關注區(qū)域；使所述照明源進行工作，以利用頻閃照明對所述工件進行照明；在所述工件附近的沿著Z高度方向的多個位置上，定期對所述攝像系統(tǒng)的焦點位置進行調制；收集圖像棧，其中所述圖像棧的各圖像與頻閃照明的實例相對應，所述頻閃照明的實例與同所述圖像棧內的適當Z高度相對應的調制后的焦點位置的相位一致；以及確定所述關注區(qū)域的至少一部分的Z高度測量值。
【專利說明】機器視覺檢查系統(tǒng)和進行高速對焦高度測量操作的方法
【技術領域】
[0001] 本發(fā)明通常涉及機器視覺檢查系統(tǒng)，并且更特別地涉及根據(jù)對焦操作的高度測 量。
【背景技術】
[0002] 可以利用精密機器視覺檢查系統(tǒng)（或簡稱為"視覺系統(tǒng)"）來獲得被檢查對象的精 密尺寸測量并且檢查各種其它對象特征。這種系統(tǒng)可以包括計算機、照相機和光學系統(tǒng)、以 及在多個方向上可移動以使得能夠進行工件檢查的精密臺?？梢员碚鳛橥ㄓ?離線"精密視 覺系統(tǒng)的一個示例性現(xiàn)有技術是可商購獲得的QUICKVISION?系列的基于PC的視覺系 統(tǒng)和可購自位于伊利諾伊州奧羅拉的美國三豐公司（MAC)的QVPAK?軟件。例如，在2003 年 1 月出版的QVPAK3DCNCVisionMeasuringMachineUser'sGuide和 1996 年 9 月出版的 QVPAK3DCNCVisionMeasuringMachineOperationGuide中大體描述了QUICKVISION?. 系列的視覺系統(tǒng)和QVPAK?軟件的特征和操作，這些均通過引用全部包含于此。這類系 統(tǒng)能夠使用顯微鏡型光學系統(tǒng)并且使臺移動從而以各種倍率提供小的或相對較大的工件 的檢查圖像。
[0003] 諸如QUICKVISION?系統(tǒng)等的通用精密機器視覺檢查系統(tǒng)通常也是可編程的以提 供自動化視頻檢查。這些系統(tǒng)通常包括GUI特征和預定義的圖像分析"視頻工具"，以使得 "非專家"操作員可以進行操作和編程。例如，通過引用全部包含于此的美國專利6, 542, 180 教導了使用包括各種視頻工具的使用的自動化視頻檢查的視覺系統(tǒng)。一種已知類型的視頻 工具是"多點工具"或"多點自動調焦工具"視頻工具。這種工具提供了針對工具的關注區(qū) 域內的所定義X-Y坐標處的多個子區(qū)域的由諸如利用自動調焦方法所確定的"最佳焦點" 位置所推導出的（沿著照相機系統(tǒng)的光軸和調焦軸的）Z高度測量值或坐標?？梢詫⒁唤M這 樣的X、Y、Z坐標稱為點云數(shù)據(jù)或簡稱為點云。通常，根據(jù)現(xiàn)有技術的自動調焦方法和/或 工具，照相機在沿著Z軸（調焦軸）的位置的范圍內移動，并且拍攝各位置處的圖像（稱為 圖像棧（imagestack))。對于各所拍攝圖像，基于該圖像并且與拍攝到該圖像時照相機沿 著Z軸的相應位置有關地，針對各子區(qū)域來計算焦點指標（focusmetric)。這樣得到各子 區(qū)域的焦點曲線數(shù)據(jù)（還可簡稱為"焦點曲線"或"自動調焦曲線"）。可以通過使曲線擬合 焦點曲線數(shù)據(jù)并且估計擬合曲線的峰值，來求出焦點曲線的與沿著z軸的最佳焦點位置相 對應的峰值。這些自動調焦方法的變形是本領域內眾所周知的。例如，在ISISTechnical ReportSeries,Vol. 17,November2000 中的Jan-MarkGeusebroek和ArnoldSmeulders所 發(fā)表的"RobustAutofocusinginMicroscopy"中論述了與上述相似的一種已知的自動調 焦方法。在美國專利5, 790, 710中描述了另一已知的自動調焦方法和設備，在此通過引用 包含其全部內容。
[0004] 包括特定檢查事件序列（即，如何獲取各圖像和如何分析/檢查各所獲取圖像） 的機器控制指令通常被存儲為特定工件配置所特有的"零件程序"或"工件程序"。例如，零 件程序定義如何獲取各圖像，諸如相對于工件如何定位照相機、以何種照明水平、以何種倍 率水平等。此外，零件程序例如通過使用諸如自動調焦視頻工具等的一個或多個視頻工具 來定義如何分析/檢查所獲取圖像。
[0005] 可以手動地使用視頻工具（或簡稱為"工具"）和其它圖形用戶界面特征來實現(xiàn)手 動檢查和/或機器控制操作（采用"手動模式"）。還可以在學習模式期間記錄這些視頻工 具的設置參數(shù)和操作，從而創(chuàng)建自動檢查程序或"零件程序"。視頻工具例如可以包括邊緣 /邊界檢測工具、自動調焦工具、形狀或模式匹配工具和尺寸測量工具等。
[0006] 在各種應用中，期望進行高速自動調焦操作以便于在靜止型或不停移動型檢查系 統(tǒng)中進行高速3D測量。激光三角測量技術可以提供2000:1的范圍-分辨率比，但采用這 種技術的一般系統(tǒng)對于Z高度測量的分辨率的下限為4ym并且無法提供與示例性機器視 覺檢查系統(tǒng)相當?shù)臋M向分辨率。傳統(tǒng)的機器視覺檢查系統(tǒng)中的自動調焦操作的速度受到照 相機在Z高度位置的范圍內的運動所限制。需要利用用于收集圖像棧的替代方法的改進型 自動調焦操作來高速測量Z高度位置。
【發(fā)明內容】
[0007] -種用于在機器視覺檢查系統(tǒng)中進行高速的對焦高度測量操作的方法，所述機器 視覺檢查系統(tǒng)包括照明源和包含照相機系統(tǒng)的攝像系統(tǒng)，所述方法包括以下步驟：將工件 放置在所述機器視覺檢查系統(tǒng)的視場內；確定對焦高度測量操作所用的關注區(qū)域；使所述 照明源進行工作，以利用頻閃照明對所述工件進行照明；在所述工件附近的沿著Z高度方 向的多個位置上，定期對所述攝像系統(tǒng)的焦點位置進行調制；收集包括聚焦于各Z高度的 各圖像的圖像棧，其中使用頻閃照明的實例來對所述圖像棧的各圖像進行曝光，所述頻閃 照明的實例被定時成與同所述圖像棧內的Z高度相對應的定期調制后的焦點位置的相位 一致；以及基于分析所述圖像棧來確定所述關注區(qū)域的至少一個部分的Z高度測量值，以 確定與所述關注區(qū)域的所述至少一個部分的最佳焦點位置相對應的Z高度。
[0008] -種機器視覺檢查系統(tǒng)，其能夠被配置為收集工件在多個Z高度處的圖像的棧， 從而基于關注區(qū)域的多個子區(qū)域的最佳對焦高度來測量Z高度，所述機器視覺檢查系統(tǒng)包 括：攝像系統(tǒng)，其包括可變焦距透鏡，所述可變焦距透鏡能夠以電子方式進行控制以改變所 述攝像系統(tǒng)的焦點位置；以及照明源，其能夠被配置為在所述攝像系統(tǒng)的視場內利用頻閃 照明對所述工件進行照明，其中，所述機器視覺檢查系統(tǒng)包括控制部，所述控制部能夠被配 置為進行以下操作：在所述工件附近的沿著Z高度方向的多個位置上，定期對所述可變焦 距透鏡的焦點位置進行調制；以及收集包括聚焦于各Z高度的各圖像的圖像棧，其中所述 圖像棧的各圖像與頻閃照明的實例相對應，所述頻閃照明的實例被定時成與同所述圖像棧 內的Z高度相對應的定期調制后的焦點位置的相位一致；以及所述機器視覺檢查系統(tǒng)能夠 被配置為進行以下操作：確定所述視場內的對焦高度測量操作所用的關注區(qū)域；以及基于 分析所述圖像棧來確定所述關注區(qū)域的至少一個部分的Z高度測量值，以確定與所述關注 區(qū)域的所述至少一個部分的最佳焦點位置相對應的Z高度。
【專利附圖】
【附圖說明】
[0009] 通過參考以下結合附圖所進行的詳細說明，將更加容易地解釋和更好地理解本發(fā) 明的前述方面以及許多隨之而來的優(yōu)點，其中：
[0010] 圖1是示出通用精密機器視覺檢查系統(tǒng)的各種典型組件的圖；
[0011] 圖2是與圖1的精密機器視覺檢查系統(tǒng)相似并且包括這里所公開的特征的機器視 覺檢查系統(tǒng)的控制系統(tǒng)部和視覺組件部的框圖；
[0012] 圖3示出可以適用于機器視覺檢查系統(tǒng)并且根據(jù)這里所公開的原理進行工作的 攝像系統(tǒng)的示意圖；
[0013]圖4是包括第一照相機系統(tǒng)和第二照相機系統(tǒng)的攝像系統(tǒng)的一部分的示意圖；
[0014] 圖5A是示出照明部的光脈沖的時序圖；
[0015] 圖5B是示出電子卷簾快門在與各調焦R0I的大小相對應的一組像素間的掃描持 續(xù)時間的時序圖；
[0016] 圖6是不出如下標繪圖的圖表，其中該標繪圖描繪了與利用適用于圖4、5A和5B 的實施例所公開的原理的示例性機器視覺檢查系統(tǒng)所收集到的146個圖像的圖像棧內的 利用圖像棧編號排序后的圖像相對應的光脈沖的時間；
[0017] 圖7是示出如下標繪圖的圖表，其中該標繪圖使根據(jù)圖4、5A、5B和6的實施例所 配置的機器視覺檢查系統(tǒng)的攝像系統(tǒng)中的可變焦距透鏡的光功率與146個圖像的圖像棧 內的圖像棧編號相關；
[0018] 圖8是示出如下標繪圖的圖表，其中該標繪圖描繪了與利用適用于圖4、5A、5B、6 和7所公開的原理的示例性機器視覺檢查系統(tǒng)所收集到的146個圖像的圖像棧內的圖像棧 編號相對應的Z高度；
[0019] 圖9是包括照相機系統(tǒng)的攝像系統(tǒng)的一部分的示意圖；以及
[0020] 圖10是示出用于在機器視覺檢查系統(tǒng)中進行高速自動調焦操作的方法的流程 圖。
【具體實施方式】
[0021] 圖1是根據(jù)這里所述的方法可使用的一個示例性機器視覺檢查系統(tǒng)10的框圖。該 機器視覺檢查系統(tǒng)10包括視覺測量機12,其中該視覺測量機12被可操作地連接以與控制 計算機系統(tǒng)14交換數(shù)據(jù)和控制信號。控制計算機系統(tǒng)14被進一步可操作地連接以與監(jiān)視 器或顯示器16、打印機18、操縱桿22、鍵盤24和鼠標26交換數(shù)據(jù)和控制信號。監(jiān)視器或 顯示器16可以顯示適合控制和/或編程機器視覺檢查系統(tǒng)10的操作的用戶界面。應當理 解，在各實施例中，計算機系統(tǒng)14、顯示器16、操縱桿22、鍵盤24和鼠標26中的任意或所有 的功能可以替換成觸摸屏平板電腦等，以及/或者觸摸屏平板電腦等可以冗余地提供計算 機系統(tǒng)14、顯示器16、操縱桿22、鍵盤24和鼠標26中的任意或所有的功能。
[0022] 本領域技術人員應當理解，控制計算機系統(tǒng)14通?？梢园ㄈ魏斡嬎阆到y(tǒng)或裝 置。合適的計算系統(tǒng)或裝置可以包括個人計算機、服務器計算機、小型計算機、大型計算機 和包括前述任一的分布式計算環(huán)境等。這些計算系統(tǒng)或裝置可以包括執(zhí)行軟件以進行這里 所述的功能的一個或多個處理器。處理器包括可編程通用或專用微處理器、可編程控制器、 專用集成電路（ASIC)或可編程邏輯裝置（PLD)等、或者這些裝置的組合?？梢詫④浖鎯?在諸如隨機存取存儲器（RAM)、只讀存儲器（ROM)或閃速存儲器等、或者這些組件的組合等 的存儲器中。還可以將軟件存儲在諸如基于磁性或光學的盤、閃速存儲器裝置或用于存儲 數(shù)據(jù)的任何其它類型的非易失性存儲介質等的一個或多個存儲裝置中。軟件可以包括包含 用于進行特定任務或實現(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件和數(shù)據(jù)結構等的一個 或多個程序模塊。在分布式計算環(huán)境中，可以采用有線或無線配置在多個計算系統(tǒng)或裝置 中組合或分配程序模塊的功能并且經(jīng)由服務調用來訪問該功能。
[0023] 視覺測量機12包括可動工件臺32和可包括變焦透鏡或可更換透鏡的光學成像系 統(tǒng)34。變焦透鏡或可更換透鏡通常為光學成像系統(tǒng)34所提供的圖像提供各種倍率。機器視 覺檢查系統(tǒng)10大體上相當于以上論述的QUICKVISION?系列的視覺系統(tǒng)和QVPAK? 軟件、以及類似的最新型可商購獲得的精密機器視覺檢查系統(tǒng)。在共同受讓的美國專利 7, 454, 053、7, 324, 682、8, 111，905和8, 111，938中也描述了機器視覺檢查系統(tǒng)10,其中這 些專利各自通過引用全部包含于此。
[0024] 圖2是與圖1的機器視覺檢查系統(tǒng)相似并且包括如這里所述的特征的機器視覺檢 查系統(tǒng)100的控制系統(tǒng)部120和視覺組件部200的框圖。如以下將更詳細地說明，利用控 制系統(tǒng)部120來控制視覺組件部200。視覺組件部200包括光學組件部205、光源220、230 和240以及具有中央透明部212的工件臺210。工件臺210沿著X軸和Y軸可控制地移動， 其中X軸和Y軸存在于與可以定位工件20的臺的表面大體平行的面內。光學組件部205 包括照相機系統(tǒng)260、可更換物鏡250,并且可以包括具有透鏡286和288的轉臺透鏡組件 280。作為轉臺透鏡組件的替代，可以包括固定或手動可更換倍率改變透鏡或變焦透鏡結構 等。
[0025] 通過使用可控馬達294,光學組件部205沿著與X軸和Y軸大體垂直的Z軸可控制 地移動，其中該可控馬達294驅動致動器以使光學組件部205沿著Z軸移動以改變工件20 的圖像的焦點?？煽伛R達294經(jīng)由信號線296連接至輸入/輸出接口 130。
[0026] 將使用機器視覺檢查系統(tǒng)100要攝像的工件20或保持多個工件20的托盤或夾具 放置在工件臺210上。工件臺210可被控制為相對于光學組件部205移動，以使得可更換 物鏡250在工件20上的位置之間以及/或者在多個工件20之間移動。臺燈220、同軸燈 230和表面燈240 (例如，環(huán)形燈）中的一個或多個可以分別發(fā)射源光222、232和/或242， 以對工件20進行照明。光源230可以沿著包括鏡290的路徑發(fā)射光232。該源光被反射或 透射作為工件光255,并且攝像所用的工件光穿過可更換物鏡250和轉臺透鏡組件280并且 被照相機系統(tǒng)260收集。將照相機系統(tǒng)260所拍攝到的工件20的圖像經(jīng)由信號線262輸 出至控制系統(tǒng)部120。光源220、230和240可以分別經(jīng)由信號線或總線221、231和241連 接至控制系統(tǒng)部120。為了改變圖像倍率，控制系統(tǒng)部120可以經(jīng)由信號線或總線281使轉 臺透鏡組件280沿著軸284轉動，以選擇轉臺透鏡。
[0027] 如圖2所示，在各種典型實施例中，控制系統(tǒng)部120包括控制器125、輸入/輸出接 口 130、存儲器140、工件程序生成器和執(zhí)行器170、以及電源部190。這些組件各自以及以 下所述的附加組件可以經(jīng)由一個或多個數(shù)據(jù)/控制總線和/或應用程序編程接口、或者通 過各元件之間的直接連接來互連。
[0028] 輸入/輸出接口 130包括攝像控制接口 131、運動控制接口 132、照明控制接口 133 和透鏡控制接口 134。運動控制接口 132可以包括位置控制元件132a和速度/加速度控制 元件132b，盡管這些元件可以進行合并和/或不進行區(qū)分。照明控制接口 133包括照明控 制元件133a、133n和133f1，其中這些照明控制元件133a、133n和133f1例如在可應用的情 況下，針對機器視覺檢查系統(tǒng)100的各種相應光源，來對選擇、功率、接通/斷開開關和選通 脈沖定時進行控制。
[0029] 存儲器140可以包括圖像文件存儲器部141、邊緣檢測存儲器部140ed、可具有一 個或多個零件程序等的工件程序存儲器部142、以及視頻工具部143。視頻工具部143包括： 視頻工具部143a和其它視頻工具部（例如，143n)，用于針對各相應視頻工具，來確定GUI、 圖像處理操作等；以及關注區(qū)域（R0I)生成器143roi，用于支持用以限定視頻工具部143 所包括的各種視頻工具中可操作的各種R0I的自動、半自動和/或手動操作。該視頻工具 部還包括自動調焦視頻工具143af，其中該自動調焦視頻工具143af用于針對對焦高度測 量操作確定⑶I、圖像處理操作等。自動調焦視頻工具143af?附加地包括高速對焦高度工具 143hs，其中可以利用該高速對焦高度工具143hs、使用圖3所述的硬件根據(jù)針對圖3?9所 述的操作來高速測量對焦高度。在一些實施例中，高速對焦高度工具143hs可以是可根據(jù) 自動調焦視頻工具所用的傳統(tǒng)方法進行工作的自動調焦視頻工具143af?的特殊模式。在一 些實施例中，自動調焦視頻工具143af的操作可以僅包括高速對焦高度工具143hs的操作。 在本發(fā)明的上下文中并且如本領域普通技術人員已知，術語"視頻工具"通常是指機器視覺 用戶在無需創(chuàng)建視頻工具中所包括的逐步操作序列或采用廣義的基于文本的編程語言等 的情況下、經(jīng)由相對簡單的用戶界面（例如，圖形用戶界面、可編輯參數(shù)窗口和菜單等）就 可以實現(xiàn)的一組相對復雜的自動或編程操作。例如，視頻工具可以包括通過調整用于管理 這些操作和計算的一些變量或參數(shù)來在特定實例中應用并定制的一組復雜預先編程的圖 像處理操作和計算。除基礎（underlying)操作和計算以外，視頻工具還包括使得用戶能夠 針對視頻工具的特定實例來調整這些參數(shù)的用戶界面。例如，許多機器視覺視頻工具使得 用戶能夠使用鼠標通過簡單的"手柄拖動"操作來配置圖形關注區(qū)域（R0I)指示符，從而限 定通過視頻工具的特定實例的圖像處理操作要分析的圖像子集的位置參數(shù)。應當注意，在 隱含地包括基礎操作的情況下，有時將可見用戶界面特征稱為視頻工具。
[0030] 臺燈220、同軸燈230和230'以及表面燈240的信號線或總線221、231和241分 別全部連接至輸入/輸出接口 130。來自照相機系統(tǒng)260的信號線262和來自可控馬達294 的信號線296連接至輸入/輸出接口 130。除輸送圖像數(shù)據(jù)外，信號線262還可以輸送來自 控制器125的用于啟動圖像獲取的信號。
[0031] 一個或多個顯示裝置136 (例如，圖1的顯示器16)和一個或多個輸入裝置138 (例 如，圖1的操縱桿22、鍵盤24和鼠標26)也可以連接至輸入/輸出接口 130。可以使用顯 示裝置136和輸入裝置138來進行以下操作：顯示可以包括可用于進行檢查操作以及/或 者創(chuàng)建和/或修改零件程序的各種圖形用戶界面（GUI)特征的用戶界面；查看照相機系統(tǒng) 260所拍攝到的圖像；以及/或者直接控制視覺系統(tǒng)組件部200。顯示裝置136可以顯示與 自動調焦視頻工具143af?相關聯(lián)的用戶界面特征。
[0032] 在各種典型實施例中，在用戶利用機器視覺檢查系統(tǒng)100創(chuàng)建工件20的零件程 序時，用戶通過以學習模式操作機器視覺檢查系統(tǒng)100來生成零件程序指令以提供期望的 圖像獲取訓練序列。例如，訓練序列可以包括：在視場（F0V)中定位代表工件的特定工件 特征；設置光水平；調焦或自動調焦；獲取圖像；以及提供應用于圖像的檢查訓練序列（例 如，在該工件特征上使用視頻工具其中之一的實例）。使學習模式工作，以使得這些序列被 捕獲或記錄并轉換成相應的零件程序指令。這些指令在執(zhí)行零件程序的情況下，將使機器 視覺檢查系統(tǒng)再現(xiàn)訓練后的圖像獲取，并使檢查操作在與創(chuàng)建零件程序時所使用的代表工 件相匹配的運行模式工件上自動檢查該特定工件特征（即，相應位置的相應特征）。
[0033] 圖3示出可適用于機器視覺檢查系統(tǒng)并根據(jù)這里所公開的原理進行工作的攝像 系統(tǒng)300的示意圖。攝像系統(tǒng)300被配置為收集圖像棧以基于該圖像棧中的最佳對焦圖像 來測量Z高度。攝像系統(tǒng)300包括光源330、物鏡350、中繼透鏡351、中繼透鏡352、可變焦 距透鏡370、鏡筒透鏡386和照相機系統(tǒng)360,其中該光源330可被配置為在攝像系統(tǒng)300 的視場內利用頻閃照明對工件進行照明。
[0034] 在工作中，光源330被配置為將源光332沿著包括鏡390的路徑發(fā)射至工件320的 表面，物鏡350被配置為接收聚焦于工件320附近的焦平面F的工件光332,并且將工件光 355輸出至中繼透鏡351。中繼透鏡351被配置為接收工件光355并將該工件光355輸出 至中繼透鏡352。中繼透鏡352被配置為接收工件光355并將該工件光355輸出至可變焦 距透鏡370。中繼透鏡351和中繼透鏡352共同提供物鏡350和可變焦距透鏡370之間的 4f?光學中繼器，從而針對各Z高度提供恒定的倍率?？勺兘咕嗤哥R370被配置為接收工件 光355并將該工件光355輸出至鏡筒透鏡386?？勺兘咕嗤哥R370是以電子方式可控制的， 以改變攝像系統(tǒng)的焦點位置并收集包括聚焦于各Z高度的各圖像的圖像棧，其中該圖像棧 的各圖像與頻閃照明的實例相對應，該頻閃照明的實例被定時成與同圖像棧內的Z高度相 對應的定期調制后的焦點位置的相位一致。
[0035] 在各種實施例中，適用于這里所公開的原理的機器視覺檢查系統(tǒng)可被配置為針對 對焦高度測量操作確定視場內的關注區(qū)域，并且基于分析圖像棧來針對該關注區(qū)域的至少 一部分確定Z高度測量值，以確定與針對該關注區(qū)域的至少一部分的最佳焦點位置相對應 的Z高度。焦平面F的位置可以在由焦平面F1和焦平面F2限定的范圍R內移動。在各種 實施例中，機器視覺檢查系統(tǒng)包括控制系統(tǒng)（例如，控制系統(tǒng)200)，其中該控制系統(tǒng)被配置 為控制可變焦距透鏡370以定期對攝像系統(tǒng)300的焦點位置進行調制。在一些實施例中， 可變焦距透鏡370可以以至少20kHz的速率對焦點位置進行調制。在一些實施例中，范圍R 可以大至300ym?？勺兘咕嗤哥R370的優(yōu)點在于：該可變焦距透鏡370不要求對物鏡350 和工件320之間的距離進行調整。這樣使得能夠在收集基于最佳對焦高度來測量工件320 的一部分的Z高度所用的圖像棧時實現(xiàn)較高速度，其中該速度主要受照相機系統(tǒng)360的幀 頻所限制。
[0036] 在一些實施例中，可變焦距透鏡370是可調聲學梯度折射率的折射透鏡。可調聲 學梯度折射率的折射透鏡是在流體介質中使用聲波來對焦點位置進行調制并且可以以幾 百kHz的頻率定期對焦距范圍進行掃描的高速可變焦距透鏡。根據(jù)通過引用全部包含于 此的文章 "High-speedvarifocalimagingwithatunableacousticgradientindexof refractionlens"（OpticsLetters,Vol. 33,No. 18, 2008 年 9 月 15 日）"的教導，可以理解 這種透鏡。
[0037] 在一些實施例中，照相機系統(tǒng)360可以包括具有全局快門的傳感器、即同時對各 像素進行曝光的傳感器。這種實施例的優(yōu)點在于：提供了在不會使攝像系統(tǒng)300的任意部 分或工件運動的情況下測量圖像棧的能力。
[0038] 在一些實施例中，照相機系統(tǒng)360可以包括具有電子卷簾快門（ERS)系統(tǒng)的傳感 器。例如，該照相機系統(tǒng)可以包括與電子卷簾快門（ERS)系統(tǒng)相連接的使用SXGA分辨率的 黑白CMOS傳感器（例如，從位于加利福尼亞州的AptinaImagingofSanJose可得的型號MT9M001)。棧中的圖像的最大數(shù)量受到CMOS傳感器的垂直分辨率相對于確定對比度指標 所使用的像素陣列的寬度的比率所限制。例如，利用SXGA分辨率的CMOS傳感器的分辨率 為1280X1024個像素。因而，對于使用7X7像素的子區(qū)域的調焦操作，這將各棧的圖像的 數(shù)量限制為146個圖像。諸如2592X1944HD+傳感器等的更高分辨率傳感器使得能夠針對 146個圖像的圖像棧實現(xiàn)更寬的子區(qū)域、例如13X13的子區(qū)域。可選地，利用2592X1944 分辨率的更高分辨率傳感器可以將7X7像素的子區(qū)域用于278個圖像的圖像棧。將參考 圖4來進一步詳細說明這些實施例。
[0039] 在一些實施例中，可以以正弦方式驅動可變焦距透鏡370,以使得以正弦方式對可 變焦距透鏡370的光功率進行調制。在典型實施例中，可以將可調聲學梯度折射率的折射 透鏡配置成高達400kHz的焦點掃描速率。棧中的圖像的最大數(shù)量受到對可變焦距透鏡370 進行調制的時間段和與各次圖像曝光相關聯(lián)的光脈沖持續(xù)時間的時間長度所限制。對于焦 點調制時間段為13. 9ys且光脈沖持續(xù)時間為50ns的情況，這樣將各棧的圖像數(shù)量限制為 275。諸如Aptina等的圖像檢測器的垂直線掃描頻率的量級為kHz。例如，來自Aptina的 型號MT9M001可被配置成線掃描頻率為37. 5kHz(基于1280個像素間的48MHz的數(shù)據(jù)掃描 速率）。這些檢測器必須被配置成頻率小于可變焦距透鏡370的調制頻率。
[0040] 在一些實施例中，攝像系統(tǒng)300可以包括可選的分束器361、可選的鏡筒透鏡386' 和可選的第二照相機系統(tǒng)360'。在工作中，分束器361被配置為對工件光355進行分割并 將工件光355'輸出至鏡筒透鏡386'。鏡筒透鏡386'被配置為將工件光355'輸出至照相 機360'，從而提供機器視覺檢查系統(tǒng)的視場的附加圖像。圖4示出這種系統(tǒng)的詳細結構。
[0041] 圖4是包括第一照相機系統(tǒng)460和第二照相機系統(tǒng)460'的攝像系統(tǒng)400的一部 分的示意圖，其中該第一照相機系統(tǒng)460和第二照相機系統(tǒng)460'可以與圖3的照相機系統(tǒng) 360和可選的照相機系統(tǒng)360'相似。圖4所示的實施例適合于相對于工件的移動視場的 對焦高度測量。第一照相機系統(tǒng)460和第二照相機系統(tǒng)460'被配置為：隨著工件的移動， 使視場以速度SY在與各照相機系統(tǒng)的像素定位方向平行的方向上移動，并且收集圖像棧的 圖像。第一照相機系統(tǒng)460包括成像陣列410A，并且第二照相機系統(tǒng)460'包括成像陣列 410B，其中成像陣列410A和成像陣列410B各自配置有電子卷簾快門系統(tǒng)并且其分辨率為 X方向上的1280個像素XY方向上的1024個像素。各電子卷簾快門系統(tǒng)被配置為沿著Y 方向對成像陣列410A和成像陣列410B進行掃描從而收集圖像棧。
[0042] 盡管在圖4中成像陣列410A和成像陣列410B并置，但應當理解，這是為了示意性 示出這兩者相對于攝像系統(tǒng)300的視場的圖像在Y方向上的Y偏移AY。以與圖3中針對 第一照相機系統(tǒng)360和第二照相機系統(tǒng)360'所示的方式類似的方式，成像陣列410A和成 像陣列410B實際上位于單獨的光束路徑中。圖4所示的實施例包括兩個照相機系統(tǒng)。然 而，根據(jù)相似原理所配置的實施例可以包括兩個以上的照相機系統(tǒng)。在這些實施例中，偏移 AY等于確定最佳對焦高度所使用的子區(qū)域的寬度。照相機系統(tǒng)的數(shù)量可以縮小棧位置之 間的Y間距。在典型實施例中，攝像系統(tǒng)包括七個成像陣列，并且各成像陣列被配置為對以 交錯方式彼此偏移了至少等于確定最佳對焦高度所使用的子區(qū)域的寬度的偏移AY的光 進行成像。因而，對于利用7X7像素的子區(qū)域的調焦操作，AY等于七個像素的寬度。
[0043] 在使用電子卷簾快門系統(tǒng)對移動工件進行焦點測量操作的情況下，成像陣列410A 和410B所收集到的圖像棧包括與編號為PSA1^PPSBN的像素條相對應的子圖像而不是使用 整個像素陣列的圖像。像素條PSAN和PSBN各自的寬度是與確定焦點指標所使用的子區(qū)域 相同的像素數(shù)。例如，在圖4所示的典型實施例中，像素條為七個像素寬并且 確定焦點指標所使用的子區(qū)域是7X7個像素。因而成像陣列410A和成像陣列410B所收 集到的圖像棧包括作為7X1280個像素的146個圖像。各圖像與Z高度ZN相對應，即可變 焦距透鏡在與時間tN相對應的調制相位中聚焦于各Z高度。
[0044] 在圖4所示的典型實施例中，攝像系統(tǒng)400包括兩個成像陣列。然而，在各種實施 例中，根據(jù)相似原理所配置的攝像系統(tǒng)可以具有僅一個成像陣列或兩個以上的成像陣列。 多個成像陣列改善了Y方向上的測量量。例如，使用參考圖4所述的相同參數(shù)，包括一個 成像陣列的照相機系統(tǒng)的測量量可以為1. 331X0. 007X0. 292mm3,并且包括（在Y方向上 分開了七個像素的）兩個成像陣列的攝像系統(tǒng)的測量量可以為1. 331X0. 014X0. 292mm3。 包括（在Y方向上錯開了七個像素的）N個成像陣列的攝像系統(tǒng)的測量量可以為 1.331X(0. 007*N)X0. 292mm3。多個成像陣列還可以改善Y方向上的測量間距。在一個典 型實施例中，可以使工件相對于攝像系統(tǒng)300的視場在Y方向上以速度SY移動，其中該速度 SY最小為5mm/s且最大為39mm/s。因而，使用針對圖4所述的相同參數(shù)，包括一個成像陣列 的照相機系統(tǒng)的測量間距可以為〇. 132mm?1. 057mm，并且包括（在Y方向上分開了七個像 素的）兩個成像陣列的攝像系統(tǒng)的測量間距可以為〇.〇67mm?0.53mm。包括（在Y方向上 錯開了七個像素的）N個成像陣列的攝像系統(tǒng)的測量間距可以為0? 132/Nmm?1.057/Nmm。 使用針對圖4所述的相同參數(shù)所配置的機器視覺檢查系統(tǒng)所提供的X方向、Y方向和Z方向 上的測量分辨率可以分別為〇. 〇〇lmm、〇. 〇〇2mm和0. 002mm。相比之下，諸如Micro-Epsilon Scancontrol2800-10等的示例性激光三角測量系統(tǒng)所提供的X方向和Z方向上的分辨率 可以分別為〇. 040_和0. 004_。典型實施例的Y分辨率更為粗略。然而，對于SY為5_/ s?39mm/s的情況，該2800-10系統(tǒng)所提供的Y方向上的測量間距至少為0. 015mm。
[0045] 圖5A是示出照明部330的光脈沖的時序圖。圖5B是示出電子卷簾快門在與各調 焦R0I的大小相對應的一組像素間的掃描持續(xù)時間的時序圖。照明部330針對圖像棧的各 次圖像曝光提供頻閃照明。以與攝像系統(tǒng)的定期調制后的焦點位置相匹配的頻率來驅動該 頻閃照明。在表現(xiàn)圖5A和5B的特征的典型實施例中，以正弦形式對可變焦距透鏡370進 行調制。利用每第N個脈沖之間的（例如，時間、?時間&的）持續(xù)時間A^\來對光脈 沖進行定時。在照相機系統(tǒng)360包括電子卷簾快門的實施例中，該電子卷簾快門在持續(xù)時 間AERS內對像素陣列中與調焦R0I大小的子區(qū)域相等的部分進行掃描。對光脈沖進行定 時以與可變焦距透鏡370的調制的相位（Ks 一致，由此圖像棧中的各整個圖像與適當?shù)膶?焦高度相匹配。因而持續(xù)時間ALP是持續(xù)時間AERS和各光脈沖的相位（tNS的總和。對 于以72kHz的頻率進行調制的可變焦距透鏡和以30幀/秒進行工作的成像陣列，146個圖 像的圖像棧與可變焦距透鏡的2, 400個周期相對應。
[0046] 圖6是示出標繪圖610的圖表600，其中該標繪圖610描繪了與利用適用于圖4、5A 和5B的實施例所公開的原理的示例性機器視覺檢查系統(tǒng)所收集到的146個圖像的圖像棧 內的利用圖像棧編號排序后的圖像相對應的光脈沖的時間。在圖6所示的典型實施例中， 持續(xù)時間AERS為186. 667微秒。在可變焦距透鏡370的周期內，各個相位（tNS以〇. 〇91微 秒的步長遞增。對各脈沖進行定時以與ERS周期的中間值+各相位（Ks 一致，即，以從ERS 開始掃描各像素條起延遲了 93. 333微秒+各相位（tNS的狀態(tài)對這些脈沖進行定時。
[0047] 圖7是示出標繪圖710的圖表700,其中該標繪圖710使根據(jù)圖4、5A、5B和6的實 施例所配置的機器視覺檢查系統(tǒng)的攝像系統(tǒng)中的可變焦距透鏡的光功率與146個圖像的 圖像棧內的圖像棧編號相關。在表現(xiàn)圖7的特征的實施例中，以正弦形式對可變焦距透鏡 進行調制。如標繪圖710所示，攝像系統(tǒng)的光功率相對于利用橫軸的棧編號所表示的圖像 棧中的圖像的順序以正弦方式改變。光功率在值+〇. 17IIT1?-0. 17IIT1之間改變。
[0048] 圖8是示出標繪圖810的圖表800,其中該標繪圖810描繪了與利用適用于圖4、 5A、5B、6和7所公開的原理的示例性機器視覺檢查系統(tǒng)收集到的146個圖像的圖像棧內的 圖像棧編號相對應的Z高度。對表現(xiàn)標繪圖810的特征的各圖像進行定時以匹配與通過可 變焦距透鏡370的調制得到的適當Z高度相對應的可變焦距透鏡的調制的相位。在表現(xiàn)圖 8的特征的實施例中，圖像棧與290ym的Z高度范圍相對應。
[0049] 圖9是包括照相機系統(tǒng)960的攝像系統(tǒng)900的一部分的示意圖。照相機系統(tǒng)960 包括作為一維線傳感器的成像陣列910,而不是二維成像陣列。除成像陣列910以外，攝像 系統(tǒng)900可以與圖3所不的攝像系統(tǒng)300相似。如圖4所不的攝像系統(tǒng)400那樣，攝像系 統(tǒng)900適合以速度SY相對于工件移動的視場。二維成像陣列對圖3所示的范圍R設置下 限值。對于二維陣列，范圍R受頻閃光的最小持續(xù)時間和成像陣列的行數(shù)所限制。然而，一 維陣列僅受頻閃光的持續(xù)時間所限制。
[0050] 可能適合成像陣列910的示例性傳感器是包括寬度為2048個像素且線速 率為140kHz的陣列的從位于加拿大安大略省滑鐵盧的TeledyneDalsa得到的型號 P4-CM-02K10D-00-R。該傳感器包括可以進行合計或者彼此獨立地使用的兩條線的像素。還 可利用具有一條線的像素的相似傳感器，并且這些相似傳感器適合圖9所示的實施例。
[0051] 在一些典型實施例中，廉價光源的光脈沖持續(xù)時間可以為50ns并且其焦點調制 速率可以為72kHz，其中該焦點調制速率能夠進行278次定時遞增以收集圖像棧。這種實施 例的范圍R可以約為攝像系統(tǒng)900的焦深的100倍。在一些典型實施例中，高級光源的光 脈沖持續(xù)時間可以為2ns并且其焦點調制速率可以為72kHz，其中該焦點調制速率能夠進 行6, 950次定時遞增以收集圖像棧。這種實施例的范圍R可以約為攝像系統(tǒng)900的焦深的 2, 500 倍。
[0052] 應當理解，具有線速率140kHz或更高線速率280kHz的一維成像陣列能夠通過以 72kHz進行工作的一般可調聲學梯度折射率的折射透鏡的一個周期來收集圖像棧。利用針 對圖9所述的相同參數(shù)的具有以與Sy = 33mm/秒的攝像系統(tǒng)300可比較的速度移動的視場 的機器視覺檢查系統(tǒng)可以提供的X方向、Y方向和Z方向上的測量分辨率分別為0. 001mm、 0. 010mm和 0? 002mm。
[0053] 圖10是示出用于在機器視覺檢查系統(tǒng)中進行高速對焦操作的方法的流程圖 1000。該機器視覺檢查系統(tǒng)包括照明源和攝像系統(tǒng)，其中該攝像系統(tǒng)包括可變焦距透鏡和 照相機系統(tǒng)。
[0054] 在塊1010中，將工件放置在機器視覺檢查系統(tǒng)的視場內。
[0055] 在塊1020中，確定對焦高度測量操作所用的關注區(qū)域。
[0056] 在塊1030中，使照明源進行工作以利用頻閃照明對工件進行照明。
[0057] 在塊1040中，在工件附近的沿著Z高度方向的多個位置上，定期對攝像系統(tǒng)的焦 點位置進行調制。
[0058] 在塊1050中，收集包括聚焦于各Z高度的各圖像的圖像棧，其中使用頻閃照明的 實例來對圖像棧的各圖像進行曝光，其中該頻閃照明的實例被定時成與同圖像棧內的Z高 度相對應的定期調制后的焦點位置的相位一致。
[0059] 在塊1060中，基于分析圖像棧來確定關注區(qū)域的至少一部分的Z高度測量值，以 確定與該關注區(qū)域的該至少一部分的最佳焦點位置相對應的Z高度。在一些實施例中，該 關注區(qū)域的該至少一部分可以是關注區(qū)域的子區(qū)域。在一些實施例中，該關注區(qū)域的該至 少一部分可以是關注區(qū)域整體。在一些實施例中，針對關注區(qū)域的至少一部分確定Z高度 測量值可以包括：針對關注區(qū)域的多個子區(qū)域確定Z高度測量值。
[0060] 應當理解，根據(jù)這里所公開的原理所配置的機器視覺檢查系統(tǒng)的實施例相對于基 于激光三角測量的系統(tǒng)提供了特定優(yōu)勢。例如，這些系統(tǒng)沒有產(chǎn)生激光散斑，因而沒有產(chǎn)生 眼睛安全隱患。（例如，在圖3所示的實施例中）經(jīng)由透鏡可以進行測量，這意味著不存在 潛在的障礙或陰影。此外，諸如照明源、CMOS成像陣列和所需的支持電子器件等的組件是 廉價的。
[0061] 盡管已經(jīng)例示和說明了本發(fā)明的各實施例，但本領域技術人員基于本公開內容將 明白所例示和說明的特征配置和操作序列的多種變形。因而，應當理解，可以在沒有背離本 發(fā)明的精神和范圍的情況下在本發(fā)明中進行各種改變。
【權利要求】
1. 一種用于在機器視覺檢查系統(tǒng)中進行高速的對焦高度測量操作的方法，所述機器視 覺檢查系統(tǒng)包括照明源和包含照相機系統(tǒng)的攝像系統(tǒng)，所述方法包括以下步驟： 將工件放置在所述機器視覺檢查系統(tǒng)的視場內； 確定對焦高度測量操作所用的關注區(qū)域； 使所述照明源進行工作，以利用頻閃照明對所述工件進行照明； 在所述工件附近的沿著Z高度方向的多個位置上，定期對所述攝像系統(tǒng)的焦點位置進 行調制； 收集包括聚焦于各Z高度的各圖像的圖像棧，其中使用頻閃照明的實例來對所述圖像 棧的各圖像進行曝光，所述頻閃照明的實例被定時成與同所述圖像棧內的Z高度相對應的 定期調制后的焦點位置的相位一致；以及 基于分析所述圖像棧來確定所述關注區(qū)域的至少一個部分的Z高度測量值，以確定與 所述關注區(qū)域的所述至少一個部分的最佳焦點位置相對應的Z高度。
2. 根據(jù)權利要求1所述的方法，其中，所述攝像系統(tǒng)包括可變焦距透鏡，并且定期對所 述攝像系統(tǒng)的焦點位置進行調制的步驟包括：對所述可變焦距透鏡的焦點位置進行調制。
3. 根據(jù)權利要求2所述的方法，其中，所述可變焦距透鏡是可調聲學梯度折射率的折 射透鏡。
4. 根據(jù)權利要求2所述的方法，其中，定期對所述攝像系統(tǒng)的焦點位置進行調制的步 驟包括：以至少10kHz的速率對焦點位置進行調制。
5. 根據(jù)權利要求2所述的方法，其中，對所述可變焦距透鏡的焦點位置進行調制的步 驟包括：對焦點位置進行正弦調制。
6. 根據(jù)權利要求1所述的方法，其中，利用頻閃照明對所述工件進行照明的步驟包括： 以與所述攝像系統(tǒng)的定期調制后的焦點位置相匹配的頻率來驅動所述頻閃照明，并且添加 被定時成與Z高度相對應的相位偏移。
7. 根據(jù)權利要求1所述的方法，其中，還包括以下步驟： 使所述視場沿著與所述照相機系統(tǒng)的像素定位方向平行的運動方向相對于所述工件 進行移動，以及隨著所述視場的移動來收集所述圖像棧的圖像， 其中，所述攝像系統(tǒng)包括具有電子卷簾快門的照相機系統(tǒng)，并且所述圖像棧的各圖像 是像素陣列中的、沿著所述運動方向的寬度與所述關注區(qū)域的所述至少一個部分相等的 條。
8. 根據(jù)權利要求7所述的方法，其中，所述攝像系統(tǒng)包括包含成像陣列的多個照相機 系統(tǒng)，所述成像陣列用于接收以交錯方式彼此偏移了如下距離的圖像光，其中該距離至少 等于確定最佳對焦高度所使用的所述關注區(qū)域的所述至少一個部分的寬度。
9. 根據(jù)權利要求1所述的方法，其中，所述關注區(qū)域的所述至少一個部分是所述關注 區(qū)域的子區(qū)域。
10. 根據(jù)權利要求1所述的方法，其中，所述關注區(qū)域的所述至少一個部分是所述關注 區(qū)域整體。
11. 根據(jù)權利要求1所述的方法，其中，確定所述關注區(qū)域的至少一個部分的Z高度測 量值的步驟包括：確定所述關注區(qū)域的多個子區(qū)域的Z高度測量值。
12. -種機器視覺檢查系統(tǒng)，其能夠被配置為收集工件在多個Z高度處的圖像的棧， 從而基于關注區(qū)域的多個子區(qū)域的最佳對焦高度來測量Z高度，所述機器視覺檢查系統(tǒng)包 括： 攝像系統(tǒng)，其包括可變焦距透鏡，所述可變焦距透鏡能夠以電子方式進行控制以改變 所述攝像系統(tǒng)的焦點位置；以及 照明源，其能夠被配置為在所述攝像系統(tǒng)的視場內利用頻閃照明對所述工件進行照 明， 其中，所述機器視覺檢查系統(tǒng)包括控制部，所述控制部能夠被配置為進行以下操作： 在所述工件附近的沿著Z高度方向的多個位置上，定期對所述可變焦距透鏡的焦點位 置進行調制；以及 收集包括聚焦于各Z高度的各圖像的圖像棧，其中所述圖像棧的各圖像與頻閃照明的 實例相對應，所述頻閃照明的實例被定時成與同所述圖像棧內的Z高度相對應的定期調制 后的焦點位置的相位一致；以及 所述機器視覺檢查系統(tǒng)能夠被配置為進行以下操作： 確定所述視場內的對焦高度測量操作所用的關注區(qū)域；以及 基于分析所述圖像棧來確定所述關注區(qū)域的至少一個部分的Z高度測量值，以確定與 所述關注區(qū)域的所述至少一個部分的最佳焦點位置相對應的Z高度。
13. 根據(jù)權利要求12所述的機器視覺檢查系統(tǒng)，其中，所述攝像系統(tǒng)包括可調聲學梯 度折射率的折射透鏡，所述可調聲學梯度折射率的折射透鏡能夠被配置為對所述攝像系統(tǒng) 的焦點位置進行調制。
14. 根據(jù)權利要求12所述的機器視覺檢查系統(tǒng)，其中，所述攝像系統(tǒng)包括照相機系統(tǒng)， 所述照相機系統(tǒng)包括全局快門系統(tǒng)。
15. 根據(jù)權利要求14所述的機器視覺檢查系統(tǒng)，其中，還包括對焦高度視頻工具，其 中，在所述工件附近的多個位置上定期對所述攝像系統(tǒng)的焦點位置進行調制并且收集圖像 棧的操作能夠作為所述對焦高度視頻工具的可選高速模式來選擇。
16. 根據(jù)權利要求12所述的機器視覺檢查系統(tǒng)，其中，所述攝像系統(tǒng)包括至少一個照 相機系統(tǒng)，所述至少一個照相機系統(tǒng)包括具有電子卷簾快門系統(tǒng)的成像陣列。
17. 根據(jù)權利要求16所述的機器視覺檢查系統(tǒng)，其中， 所述攝像系統(tǒng)包括多個照相機系統(tǒng)，所述多個照相機系統(tǒng)各自包括具有電子卷簾快門 系統(tǒng)的成像陣列；以及 各所述成像陣列以交錯方式被配置為接收彼此偏移了如下距離的圖像光，其中該距離 與確定最佳焦點位置所使用的所述關注區(qū)域的所述至少一個部分的寬度相等。
18. 根據(jù)權利要求12所述的機器視覺檢查系統(tǒng)，其中，照相機系統(tǒng)包括作為一維線傳 感器的成像陣列。
【文檔編號】G01B11/02GK104236463SQ201410265860
【公開日】2014年12月24日 申請日期:2014年6月13日 優(yōu)先權日:2013年6月13日
【發(fā)明者】P·格拉德尼克 申請人:株式會社三豐