圖像處理裝置、圖像處理方法及程序的制作方法
【專利摘要】提供一種在使用了計測對象物的形狀特征的圖案匹配中，能夠允許該計測對象物的局部形狀變形的圖像處理裝置。模型由從模型圖像提取的邊緣上的多個第一位置和各第一位置的邊緣的變化方向規(guī)定。圖像處理裝置（100）計算與模型圖像邊緣上的第一位置對應(yīng)的輸入圖像的第二位置邊緣的變化方向。圖像處理裝置（100）接受與邊緣的變化方向的容許值相關(guān)的指示。圖像處理裝置（100）根據(jù)所接受的指示、第一位置邊緣的變化方向以及第二位置邊緣的變化方向，計算第一位置和對應(yīng)于該第一位置的第二位置之間的類似度。圖像處理裝置（100）根據(jù)在多個第二位置計算出的類似度判斷輸入圖像的特定區(qū)域是否與模型類似。
【專利說明】圖像處理裝置、圖像處理方法及程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及從輸入圖像檢索與事先登錄的模型類似的區(qū)域的圖像處理裝置、圖像 處理方法及程序。

【背景技術(shù)】
[0002] 以往，在FA (Factory Automation :工業(yè)自動化）領(lǐng)域等中，針對拍攝了計測對象 物(下面，也稱為"工件"）的輸入圖像，采用基于事先登錄圖案(下面，也稱為"模型"）的檢 索處理(下面，也稱為"圖案匹配處理")。通過這種圖案匹配處理，能夠檢測工件上顯現(xiàn)的損 傷、灰塵等缺陷，或能夠搜索出與模型類似的工件上的區(qū)域。
[0003] 作為這種圖案匹配處理的方法，已知有：在輸入圖像中提取濃淡值(亮度）發(fā)生變 化的部分(下面，也稱為"邊緣(部分)")，并根據(jù)表示邊緣變化方向的值(下面，也稱為"邊緣 代碼"或者"EC (Edge Code)")進(jìn)行圖案匹配的方法。例如，參照日本特開2002-230549號 公報(專利文獻(xiàn)1)。
[0004] 另外，該專利文獻(xiàn)1公開了基于評分（score)累計值的閾值處理所進(jìn)行的圖案匹 配處理。具體而言，在該圖案匹配處理中，用像素單位計算出表示模型數(shù)據(jù)中的各像素與對 應(yīng)像素之間的邊緣代碼的一致程度的評分并將其累計值作為類似度，在輸入圖像中掃描模 型數(shù)據(jù)并求出類似度的最大值，根據(jù)該最大值是否超過規(guī)定閾值來判斷輸入圖像中是否存 在與模型匹配的區(qū)域。
[0005] 通過使用這種邊緣代碼，即使拍攝輸入圖像時有影響(例如，影子的反射及照明不 均勻)，也能夠準(zhǔn)確地搜索與模型一致的區(qū)域。
[0006] 而且，以往，根據(jù)與模型一致的區(qū)域的搜索結(jié)果，來計算模型與計測對象物整體的 一致程度。另外，以往，根據(jù)該計算出的一致程度和事先規(guī)定的閾值來判斷計測對象物的優(yōu) 劣。
[0007] 現(xiàn)有技術(shù)文獻(xiàn)
[0008] 專利文獻(xiàn)
[0009] 專利文獻(xiàn)1 :特開2002-230549號公報


【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的課題
[0011] 但是，以往的技術(shù)中會出現(xiàn)如下問題：當(dāng)針對希望允許計測對象物局部形狀的變 形這一要求，一旦降低類似度(評分的累計值）的閾值時，則錯誤地允許形狀與模型不一致 的對象物的危險性增大。
[0012] 本申請發(fā)明是鑒于上述問題而提出的，其目的在于，提供一種在采用計測對象物 的形狀特征的圖案匹配中，能夠允許該對象物的局部形狀的變形的圖像處理裝置、圖像處 理方法及程序。
[0013] 用于解決課題的手段
[0014] 根據(jù)本發(fā)明的一個方面，圖像處理裝置從輸入圖像檢索與事先登錄的模型類似的 區(qū)域。模型由從模型圖像提取的邊緣上的多個第一位置和各個所述第一位置的邊緣的變化 方向來規(guī)定。圖像處理裝置具有：第一計算單元，其計算與第一位置對應(yīng)的輸入圖像的第 二位置的邊緣的變化方向；接受單元，其接受與邊緣的變化方向的容許值相關(guān)的指示；第 二計算單元，其根據(jù)所接受的指示、第一位置的邊緣的變化方向、第二位置的邊緣的變化方 向，計算第一位置和對應(yīng)于該第一位置的第二位置之間的類似度；以及第一判斷單元，其根 據(jù)在多個第二位置計算出的類似度，判斷輸入圖像的特定區(qū)域是否與模型類似。
[0015] 優(yōu)選地，對圖像處理裝置的接受單元而言，作為所述指示，接受用于指定下述多個 數(shù)據(jù)中的任意一個的指示，所述多個數(shù)據(jù)是在表示兩個邊緣的變化方向的不同的信息和該 兩個邊緣的類似度之間建立了關(guān)聯(lián)的數(shù)據(jù)。
[0016] 優(yōu)選地，圖像處理裝置還具有事先存儲了多個數(shù)據(jù)的存儲單元。
[0017] 優(yōu)選地，多個數(shù)據(jù)的每一個以兩個邊緣的變化方向的角度差越大兩個邊緣的一致 程度越小的方式，在角度差和類似度之間建立關(guān)聯(lián)。類似度對角度差的關(guān)聯(lián)在多個數(shù)據(jù)間 各不相同。圖像處理裝置還具有第三計算單元，其針對每一個第二位置計算第一位置的邊 緣的變化方向和對應(yīng)于該第一位置的第二位置的邊緣的變化方向之間的角度差。第二計算 單元根據(jù)所指定的數(shù)據(jù)和計算出的角度差，計算第一位置和對應(yīng)于該第一位置的第二位置 之間類似度。
[0018] 優(yōu)選地，圖像處理裝置還具有第二判斷單元，該第二判斷單元針對每一個第一位 置判斷與第一位置對應(yīng)的第二位置是否屬于輸入圖像的邊緣區(qū)域。在通過第二判斷單元判 斷與第一位置對應(yīng)的第二位置為屬于輸入圖像的邊緣區(qū)域時，第一計算單元計算與第一位 置對應(yīng)的第二位置的邊緣的變化方向。
[0019] 優(yōu)選地，圖像處理裝置還具有：第三判斷單元，其根據(jù)第一位置和對應(yīng)于該第一位 置的第二位置之間的類似度，判斷該第一位置與該第二位置是否類似；以及顯示控制單元， 其以互不相同的顯示方式，與輸入圖像對應(yīng)地在顯示器上顯示與第一位置類似的第二位置 和不與第一位置類似的第二位置。
[0020] 優(yōu)選地，圖像處理裝置還具有：第二判斷單元，其針對每個第一位置判斷與第一位 置對應(yīng)的第二位置是否屬于所述輸入圖像的邊緣區(qū)域；以及顯示控制單元，其以互不相同 的顯示方式，與輸入圖像對應(yīng)地在顯示器上顯示屬于輸入圖像的邊緣區(qū)域的第二位置和不 屬于輸入圖像的邊緣區(qū)域的第二位置。
[0021] 優(yōu)選地，上述顯示方式為顏色。
[0022] 優(yōu)選地，各個第一位置是通過對模型圖像的邊緣上的點進(jìn)行采樣而得到的位置。
[0023] 根據(jù)本發(fā)明的其他方面，提供一種圖像處理方法，用于從輸入圖像檢索與事先登 錄的模型類似的區(qū)域。模型由從模型圖像提取的邊緣上的多個第一位置和各個第一位置的 邊緣的變化方向來規(guī)定。圖像處理方法包括：計算邊緣變化方向的步驟，其計算與第一位置 對應(yīng)的輸入圖像的第二位置的邊緣的變化方向；指示接受步驟，其接受與邊緣的變化方向 的容許值相關(guān)的指示；類似度計算步驟，其根據(jù)所接受的指示、第一位置的邊緣的變化方向 和第二位置的邊緣的變化方向，計算第一位置和對應(yīng)于該第一位置的第二位置之間的類似 度；以及判斷步驟，其根據(jù)多個第二位置計算出的類似度，判斷輸入圖像的特定區(qū)域是否與 模型類似。
[0024] 本發(fā)明又一其他方面，提供一種程序，其控制從輸入圖像檢索與事先登錄的模型 類似的區(qū)域的圖像處理裝置。模型由從模型圖像提取的邊緣上的多個第一位置和各個第一 位置的邊緣的變化方向來規(guī)定。程序使圖像處理裝置的處理器執(zhí)行如下步驟：計算邊緣變 化方向的步驟，其計算與第一位置對應(yīng)的輸入圖像的第二位置的邊緣的變化方向；指示接 受步驟，其接受與邊緣的變化方向的容許值相關(guān)的指示；類似度計算步驟，其根據(jù)所接受的 指示、第一位置的邊緣的變化方向和第二位置的邊緣的變化方向，計算第一位置和對應(yīng)于 該第一位置的第二位置之間的類似度；以及判斷步驟，其根據(jù)多個第二位置中計算出的類 似度，判斷輸入圖像的特定區(qū)域是否與模型類似。
[0025] 發(fā)明的效果
[0026] 根據(jù)本發(fā)明，能夠在采用計測對象物的形狀特征的圖案匹配中，允許該對象物的 局部形狀的變形。

【專利附圖】

【附圖說明】
[0027] 圖1是表示包括圖像處理裝置的視覺傳感器系統(tǒng)的整體結(jié)構(gòu)的概略圖。
[0028] 圖2是圖像處理裝置的概略結(jié)構(gòu)圖。
[0029] 圖3是用于說明模型登錄處理中處理流程的流程圖。
[0030] 圖4是表示通過模型登錄處理的各個處理而生成的圖像的圖。
[0031] 圖5是用于說明計測處理的全部流程的流程圖。
[0032] 圖6是表示通過計測處理的處理而生成的圖像的圖。
[0033] 圖7是用于說明圖5的步驟S106的搜索處理的處理流程的流程圖。
[0034] 圖8是用于說明采樣點、對應(yīng)點、邊緣的變化方法和角度差的圖。
[0035] 圖9是表示CPU計算一致程度時利用的數(shù)據(jù)的圖。
[0036] 圖10是用于說明模型圖像和輸入圖像之間的不同的圖。
[0037] 圖11是用于說明輸入圖像中與模型一致的部分及與模型不一致的部分的圖。
[0038] 圖12是用于說明輸入圖像中與模型一致的部分及與模型不一致的部分的圖。
[0039] 圖13是用于說明圖像處理裝置的功能結(jié)構(gòu)的框圖。
[0040] 圖14是表示在設(shè)定模式下圖像處理裝置提供的用戶接口畫面的一個例子的圖。
[0041] 圖15是表示在計測模式下圖像處理裝置提供的用戶接口畫面的一個例子的圖。
[0042] 圖16是表示從圖15轉(zhuǎn)變后的用戶接口畫面的一個例子的圖。
[0043] 圖17是表示在計測模式下圖像處理裝置提供的用戶接口畫面的其他例子的圖。
[0044] 圖18是表示從圖17轉(zhuǎn)變的用戶接口畫面的一個例子的圖。
[0045] 圖19是用于說明邊緣代碼及邊緣代碼圖像的計算處理的圖。
[0046] 附圖標(biāo)記的說明
[0047] 1視覺傳感器系統(tǒng)
[0048] 2 工件
[0049] 4光電傳感器
[0050] 4a受光部
[0051] 4b投光部
[0052] 5 PLC
[0053] 6搬送機(jī)構(gòu)
[0054] 8拍攝裝置
[0055] 100圖像處理裝置
[0056] 102顯示器
[0057] 104 鼠標(biāo)
[0058] 110 CPU
[0059] 112主存儲器
[0060] 114 硬盤
[0061] 116攝像機(jī)接口
[0062] 116a圖像緩存
[0063] 120顯示控制器
[0064] 124 通信接口
[0065] 250、1501、1701 圖像顯示區(qū)
[0066] 252全部顯示區(qū)
[0067] 260計測條件設(shè)定區(qū)
[0068] 270判斷條件設(shè)定區(qū)
[0069] 310模型圖像
[0070] 351、351a、351b、351c、351d 采樣點
[0071] 320、520邊緣提取圖像
[0072] 330細(xì)線化邊緣圖像
[0073] 34〇、52〇 邊緣圖像
[0074] 350 模型
[0075] 510輸入圖像
[0076] 551a、551b、551c 對應(yīng)點
[0077] 900 框
[0078] 1010 控制部
[0079] 1020 存儲部
[0080] 1101 接受部
[0081] 1102邊緣提取部
[0082] 1103位置判斷部
[0083] 1104方向判斷部
[0084] 1105角度差計算部
[0085] 1106 -致程度計算部
[0086] 1107 特定部
[0087] 1108優(yōu)劣判斷部
[0088] 1109顯示控制部
[0089] 1400、1500、1600、1700 用戶接口畫面

【具體實施方式】
[0090] 在本發(fā)明的實施方式中，參照附圖進(jìn)行詳細(xì)說明。此外，針對圖中的相同或相當(dāng)?shù)?部分，標(biāo)注相同的附圖標(biāo)記，并不重復(fù)進(jìn)行說明。
[0091] 〈A.系統(tǒng)結(jié)構(gòu)〉
[0092] 圖1是表示包括本發(fā)明的實施方式的圖像處理裝置100的視覺傳感器系統(tǒng)1的整 體結(jié)構(gòu)的概略圖。
[0093] 參照圖1，視覺傳感器系統(tǒng)1安裝在生產(chǎn)線等中，使用事先登錄的模型(其中，如后 述使用"邊緣代碼圖像"）對工件2執(zhí)行圖案匹配處理。
[0094] 在視覺傳感器系統(tǒng)1中，工件2由傳送帶等搬送機(jī)構(gòu)6搬運(yùn)，并由拍攝裝置8在規(guī) 定的時間點拍攝所搬運(yùn)的工件2。作為一個例子，拍攝裝置8除了包括透鏡等光學(xué)系統(tǒng)，還 包括 CCD(Coupled Charged Device:電荷稱合兀件)或 CMOS(Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化物半導(dǎo)體）傳感器等劃分多像素的拍攝元件。此外，還可以 設(shè)置照明機(jī)構(gòu)，對由拍攝裝置8拍攝的工件2照射光。
[0095] 拍攝裝置8拍攝而得到的圖像(下面，也稱作"輸入圖像"）被傳輸至圖像處理裝置 100。圖像處理裝置100對從該拍攝裝置8接受的輸入圖像執(zhí)行圖案匹配處理，并將其結(jié)果 顯示在所連接的顯示器102上，或?qū)⑵浣Y(jié)果輸出至外部裝置。
[0096] 由配置在搬送機(jī)構(gòu)6兩端的光電傳感器4來檢測工件2 (是否）已到達(dá)拍攝裝置8 的視場內(nèi)。具體而言，光電傳感器4包括配置在同一光軸上的受光部4a和投光部4b，由受 光部4a檢測出從投光部4b出射的光被工件2遮擋，從而檢測出工件2的到達(dá)。該光電傳 感器4的觸發(fā)信號向PLC (Programmable Logic Controller :可編程序邏輯控制器）5輸 出。
[0097] PLC5從光電傳感器4等接受觸發(fā)信號，并且對搬送機(jī)構(gòu)6進(jìn)行控制。
[0098] 圖像處理裝置100具有：計測模式，用于對工件2執(zhí)行各種圖像處理；設(shè)定模式， 用于進(jìn)行后述的模型登錄處理等。這些模式能夠由用戶通過操作鼠標(biāo)104等進(jìn)行切換。
[0099] 就圖像處理裝置100而言，典型的是具有通用結(jié)構(gòu)的計算機(jī)，通過執(zhí)行預(yù)先安裝 的程序(指令代碼)，從而提供后述的各種功能。就這樣的程序而言，典型的以裝在存儲卡 106等中的狀態(tài)流通。
[0100] 在使用這樣的通用的計算機(jī)的情況下，除了安裝用于提供本實施方式的功能的應(yīng) 用程序之外，還可以安裝有用于提供計算機(jī)基本功能的0S(0perating System :操作系統(tǒng))。 此時，本實施方式的程序可以是在作為0S的一部分而提供的程序模塊中，按規(guī)定排列方式 在規(guī)定時間點（時機(jī))調(diào)用所需的模塊，從而執(zhí)行處理的程序。即，本實施方式的程序本身也 可以不包含上述的模塊，而是與0S聯(lián)動執(zhí)行處理。作為本實施方式的程序。也可以是這樣 一部分不含模塊的形式。
[0101] 進(jìn)而，本實施方式的程序也可以嵌入其它程序的一部分中來提供。此時，在程序本 身中，也不含有上述那樣組合的其它程序所包含的模塊，而是與該其它程序聯(lián)動而執(zhí)行處 理。即，作為本實施方式的程序，也可以是這樣嵌入其它程序的形式。此外，將通過執(zhí)行程 序而提供的功能的一部分或全部，也可以安裝為專用的硬件電路。
[0102] 圖2是本發(fā)明的實施方式的圖像處理裝置100的概略示意圖。參照圖2,圖像處理 裝置100包括：作為計算處理部的CPU (Central Processing Unit :中央處理器)110、作為 存儲部的主存儲器112以及硬盤114、攝像機(jī)接口 116、輸入接口 118、顯示控制器120、PLC 接口 122、通信接口 124、數(shù)據(jù)讀寫器126。這些各部件通過總線128而連接，能夠相互進(jìn)行 數(shù)據(jù)通信。
[0103] CPU110將存儲在硬盤114中的程序(代碼)展開在主存儲器112中，按規(guī)定順序執(zhí) 行這些程序，從而實施各種計算。主存儲器112典型的是DRAM (Dynamic Random Access Memory :動態(tài)隨機(jī)存取存儲器）等的易失性的存儲裝置，除了保存從硬盤114讀取的程序之 夕卜，還保存由拍攝裝置8取得的圖像數(shù)據(jù)、工件數(shù)據(jù)、與模型相關(guān)的信息等。進(jìn)而，硬盤114 也可以存儲各種設(shè)定值等。此外，也可以在硬盤114的基礎(chǔ)上，或者取代硬盤114,而采用閃 存器等的半導(dǎo)體存儲裝置。
[0104] 攝像機(jī)接口 116是CPU110與拍攝裝置8之間的數(shù)據(jù)傳送中介。即，攝像機(jī)接口 116與拍攝裝置8相連接，該拍攝裝置8用于拍攝工件2而生成圖像數(shù)據(jù)。更具體而言，攝 像機(jī)接口 116能夠連接一個以上的拍攝裝置8,并且具有圖像緩存116a，該圖像緩存116a 用于暫時蓄積存儲來自拍攝裝置8的圖像數(shù)據(jù)。并且，如果圖像緩存116a中蓄積了規(guī)定幀 數(shù)的圖像數(shù)據(jù)，則攝像機(jī)接口 116將所蓄積的數(shù)據(jù)傳送至主存儲器112。另外，攝像機(jī)接口 116按照CPU110產(chǎn)生的內(nèi)部指令，對拍攝裝置8發(fā)出拍攝指令。
[0105] 輸入接口 118是CPU110與鼠標(biāo)104、鍵盤、觸摸板等的輸入部之間的數(shù)據(jù)傳送的中 介。即，輸入接口 118接受用戶操作輸入部而發(fā)出的操作指令。
[0106] 顯示控制器120與作為顯示裝置的典型例子的顯示器102相連接，通知用戶 CPU110的圖像處理結(jié)果等。即，顯示控制器120與顯示器102連接，控制該顯示器102上的 顯不。
[0107] PLC接口 122是CPU110與PLC5之間的數(shù)據(jù)傳送的中介。更具體而言，PLC接口 122將由PLC5控制的生產(chǎn)線的狀態(tài)信息、工件信息等傳送至CPU110。
[0108] 通信接口 124是CPU110與控制臺（或者，個人計算機(jī)、服務(wù)器裝置）等之間的數(shù)據(jù) 傳送的中介。通信接口 124典型的由以太網(wǎng)（注冊商標(biāo))、USB (Universal Serial Bus:通 用串行總線）等構(gòu)成。此外，如后述，可以取代將存儲在存儲卡106中的程序安裝到圖像處 理裝置100的方式，而通過通信接口 124將從配信服務(wù)器等下載的程序安裝到圖像處理裝 置100中。
[0109] 數(shù)據(jù)讀寫器126是CPU110與作為存儲介質(zhì)的存儲卡106之間的數(shù)據(jù)傳送的中介。 艮P，在存儲卡106中存儲了由圖像處理裝置100執(zhí)行的程序等的狀態(tài)下流通，數(shù)據(jù)讀寫器 126從該存儲卡106讀取程序。另外，數(shù)據(jù)讀寫器126響應(yīng)于CPU110的內(nèi)部指令，將由拍攝 裝置8取得的圖像數(shù)據(jù)和/或圖像處理裝置100中的處理結(jié)果等寫入存儲卡106。此外，存 儲卡106由CF (Compact Flash :快閃存儲）卡、SD (Secure Digital :安全數(shù)字）卡等的通 用的半導(dǎo)體存儲設(shè)備、軟盤（Flexible Disk)等的磁存儲介質(zhì)、O)-R0M(Compact Disk Read Only Memory :只讀光盤）等的光學(xué)存儲介質(zhì)等構(gòu)成。
[0110] 另外，圖像處理裝置1〇〇也可以根據(jù)需要而與打印機(jī)等的其它輸出裝置連接。
[0111] 〈B.模型登錄處理〉
[0112] 圖3是用于說明模型登錄處理的處理流程的流程圖。即，圖3是表示用于生成模 型的處理流程的流程圖。
[0113] 參照圖3,在步驟S2中，圖像處理裝置100的CPU110獲取拍攝裝置8拍攝應(yīng)作為 基準(zhǔn)的工件2而得到的模型圖像。在步驟S4中，CPU110從模型圖像提取邊緣，生成邊緣提 取圖像。即，CPU110針對模型圖像的全部像素，通過公知的過濾處理計算邊緣的強(qiáng)度，并作 為邊緣點提取該邊緣強(qiáng)度超過規(guī)定閾值的像素。另外，針對提取的全部邊緣點，CPU110通 過專利文獻(xiàn)1所示的方法來計算表示邊緣的變化方向的邊緣代碼。
[0114] 在本實施方式中，作為表示邊緣變化方向的值的一個例子，作為邊緣代碼(邊緣方 向/邊緣角度)計算邊緣的切線方向。圖19是用于說明本發(fā)明的實施方式的邊緣代碼及邊 緣代碼圖像的計算處理的圖。特別是，圖19 (a)顯示了計算各邊緣點的邊緣代碼的方法， 圖19 (b)顯示了邊緣代碼圖像的數(shù)據(jù)結(jié)構(gòu)的一個例子。
[0115] 針對如圖19 (a)所示的圖像，考慮在B方向上掃描而進(jìn)行邊緣提取處理。此外， 在邊緣提取處理中，對于B方向存在的各個像素，根據(jù)該像素的濃淡值及其周邊像素的濃 淡值檢測邊緣強(qiáng)度，提取相對于B方向的邊緣強(qiáng)度的分布圖的極大值作為邊緣。
[0116] 在圖19 (a)所示的例子中，作為邊緣EDG的一部分，提取具有坐標(biāo)位置E (x，y)的 邊緣點。并且，根據(jù)所提取的坐標(biāo)位置E (x，y)的周邊像素的濃淡值等，判斷邊緣EDG向哪 個方向連續(xù)。簡單講，計算出構(gòu)成邊緣EDG的坐標(biāo)位置E(x，y)的邊緣點的切線矢量C。作 為邊緣代碼，計算該切線矢量C與基準(zhǔn)矢量（圖19 (a)所示例子中為B方向)所形成的角度 Ec (x，y)。此外，可以將該角度Ec (x，y)的有效范圍定義為0°?360° (或者，-180°? 180° )，也可以將該角度Ec (x，y)的有效范圍定義為0°?180°。在后者的情況下，為切 線矢量C與基準(zhǔn)矢量所形成的角度差的絕對值。
[0117] 此外，作為替代方法，也可以計算所提取的邊緣中濃淡的變化方向，以作為邊緣代 碼。在該情況下，與圖19 (a)所示切線矢量C相垂直的方向為邊緣代碼。
[0118] 在步驟S6中，CPU110將提取的邊緣細(xì)線化，生成細(xì)線化邊緣圖像。詳細(xì)地說，針 對提取的全部邊緣，CPU110以僅留下比該邊緣的兩個鄰接的邊緣強(qiáng)度更大的邊緣的方式， 將邊緣提取圖像細(xì)線化，從而生成細(xì)線化邊緣圖像。
[0119] 在步驟S8中，CUP110連接細(xì)線化處理后的邊緣。具體而言，CPU110連接相鄰邊緣 中邊緣的變化方向的角度差在一定值以內(nèi)的邊緣，從而將邊緣分組。
[0120] 在步驟S10中，CPU110針對所連接的邊緣進(jìn)行噪音消除處理，從而生成消除噪音 后的邊緣圖像。具體而言，CPU110從通過連接獲得的多個組中消除構(gòu)成邊緣的數(shù)不足五個 的組，從而生成消除噪音后的邊緣圖像。
[0121] 在步驟S12中，CPU110對消除噪音后的邊緣圖像進(jìn)行采樣處理。具體而言，CPU110 針對未被消除的多個組，等間隔地配置模型點，從而生成模型。
[0122] 生成的模型至少由已提取的邊緣上的多個位置和各個該位置的邊緣的變化方向 來規(guī)定。作為一個例子，模型至少由通過等間隔地對所提取的邊緣上的點進(jìn)行采樣而得到 的多個采樣點（采樣位置）和各個采樣點的邊緣的變化方向來規(guī)定。此外，所生成的模型存 儲在主存儲器112中。
[0123] 圖4是表示通過模型登錄處理的各個處理而生成的圖像的圖。下面，針對圖4所 示各圖像A?E，對應(yīng)圖3的各個步驟進(jìn)行說明。
[0124] 參照圖4,圖像A表示通過拍攝工件2而得到的模型圖像310。即，圖像A表示通 過圖3中的步驟S2的處理而得到的圖像。模型圖像310包括與在工件2表面描繪的十字 形標(biāo)記對應(yīng)的區(qū)域311。圖像B是用于說明邊緣提取圖像320的圖像。即，圖像B表示通過 圖3的步驟S4的處理而得到的圖像。邊緣提取圖像320包括作為邊緣點集合的邊緣區(qū)域 321。
[0125] 圖像C表示細(xì)線化邊緣圖像330。即，圖像C表示通過圖3的步驟S6的處理后得 到的圖像。圖像D是用于說明消除噪音后的邊緣圖像340的圖像。S卩，圖像D表示通過圖 3的步驟S10的處理而得到的圖像。
[0126] 圖像E是用于說明根據(jù)模型圖像310生成的模型350的圖像。即，圖像E示意地 表示通過圖3的步驟S12的處理而得到的數(shù)據(jù)。模型350包括多個采樣點351。此外，為了 方便說明，將多個采樣點351中的一部分即四個采樣點分別稱作采樣點351a、351b、351c、 351d。
[0127] 〈C.計測處理〉
[0128] 在圖案匹配處理中，不僅以一致程度，還以不一致程度、差異程度或者距離等概念 來計算類似的程度(類似度)。下面，作為類似度的一個例子，對使用一致程度的結(jié)構(gòu)進(jìn)行說 明。此外，一致程度是表示作為比較對象的兩個事物之間沒有不同點的程度。
[0129] 圖像處理裝置100在模型登錄處理結(jié)束后進(jìn)行處理，以在作為計測對象的工件的 圖像(輸入圖像）中確定與所登錄的模型一致的區(qū)域。
[0130] (cl.全部處理的流程）
[0131] 圖5是用于說明計測處理的全部流程的流程圖。參照圖5,在步驟S102中，CPU110 獲取由拍攝裝置8拍攝作為計測對象的工件而得到的圖像(輸入圖像)。在步驟S104中， CPU110從輸入圖像提取邊緣，生成邊緣提取圖像。另外，計算生成的邊緣提取圖像的各個邊 緣點的邊緣代碼。在步驟S106中，CPU110從輸入圖像搜索(檢索)與模型一致的區(qū)域，從而 在輸入圖像中確定與模型一致的區(qū)域。
[0132] 在步驟S108中，CPU110根據(jù)搜索結(jié)果，計算模型與輸入圖像的一致程度。在步驟 S110中，CPU110在顯示器102上輸出基于搜索處理的結(jié)果。關(guān)于步驟S106的搜索處理的 詳細(xì)內(nèi)容，在后面進(jìn)行敘述（圖7)。
[0133] 此外，對拍攝計測對象工件2得到的輸入圖像，不進(jìn)行細(xì)線化處理及消除噪音處 理。
[0134] 圖6是表示通過計測處理中的處理而生成的圖像的圖。下面，對圖6所示各個圖 像A?C，對應(yīng)圖5的步驟進(jìn)行說明。
[0135] 參照圖6,圖像A是表示拍攝計測對象工件2而得到的輸入圖像510的圖。即，圖 像A表示通過圖5的步驟S102的處理而得到的圖像。輸入圖像510包括與在工件2表面 描繪的十字形標(biāo)記對應(yīng)的圖像511。另外，圖像B是用于說明作為計測對象的工件2的邊緣 提取圖像520的圖像。即，圖像B表示通過圖5的步驟S104的處理而得到的圖像。邊緣提 取圖像520包括作為邊緣點集合的邊緣區(qū)域521。
[0136] (c2.搜索處理）
[0137] 圖7是用于說明圖5的步驟S106的搜索處理的處理流程的流程圖。參照圖7,在 步驟S602中，CPU110針對每個采樣點351進(jìn)行判斷，判斷與采樣點351對應(yīng)的對應(yīng)點是否 屬于從輸入圖像510提取的邊緣提取區(qū)域521。此外，關(guān)于對應(yīng)點，在后面進(jìn)行敘述（圖8)。
[0138] 在步驟S606中，CPU110針對每個對應(yīng)點計算角度差，所述角度差是采樣點351的 邊緣代碼和對應(yīng)于該采樣點351的邊緣提取圖像520上的對應(yīng)點的邊緣代碼之間的角度 差。
[0139] 在步驟S608中，CPU110根據(jù)事先選擇的數(shù)據(jù)與上述計算出的角度差，計算采樣 點351和對應(yīng)于該采樣點351的對應(yīng)點之間的一致程度(部分一致程度)。在步驟S610中， CPU110根據(jù)多個對應(yīng)點的上述計算出的一致程度，在輸入圖像510 (正確地說，在邊緣提取 圖像520)中確定與模型350 -致的部分。
[0140] 圖8是用于說明采樣點、對應(yīng)點、邊緣的變化方法和角度差的圖。參照圖8,（a)是 模型350的示意圖。如上所述，模型350至少由多個采樣點351和各個采樣點的邊緣代碼 規(guī)定。另外，圖8 (a)的各個箭頭表示各個采樣點的邊緣代碼。
[0141] 圖8 (b)是表示邊緣提取圖像520上的邊緣區(qū)域521的對應(yīng)點與該對應(yīng)點的邊緣 的變化方向的圖。多個對應(yīng)點中的對應(yīng)點551a是與多個采樣點351中的采樣點351a對應(yīng) 的點。同樣，對應(yīng)點551b是與采樣點351b對應(yīng)的點。對應(yīng)點551c是與采樣點351c對應(yīng) 的點。不存在與采樣點351d對應(yīng)的邊緣點。
[0142] 另外，圖像B的各個箭頭表示對應(yīng)點的邊緣的變化方向。
[0143] 如上所述，CPU110計算采樣點351的邊緣的變化方向和對應(yīng)于該采樣點的對應(yīng)點 的邊緣的變化方向之間的角度差。舉個具體的例子，CPU110計算采樣點351a的邊緣的變化 方向和對應(yīng)于采樣點351a的對應(yīng)點551a的邊緣的變化方向之間的角度差。此外，CPU110 僅針對對應(yīng)點屬于邊緣區(qū)域的采樣點351計算上述角度差。
[0144] 圖9是表示CPU110計算一致程度時所使用的數(shù)據(jù)D9的圖。即，圖9是表示在圖 7的步驟S608的部分一致程度的計算處理中使用的數(shù)據(jù)的圖。
[0145] 參照圖9,在數(shù)據(jù)D9中，表示一個采樣點351與一個對應(yīng)點之間的一致程度的評 分，與三種允許變形級別（高、中、低）的每一個及角度差(具體為角度差的范圍）一一對應(yīng)。 詳細(xì)而言，數(shù)據(jù)D9包括多個數(shù)據(jù)D91、D92、D93而構(gòu)成。在多個數(shù)據(jù)D91、D92、D93的每一 個中，表示兩個邊緣的變化方向的不同的信息和該兩個邊緣的類似度之間建立起關(guān)聯(lián)。
[0146] 例如，表示允許變形級別為"高"的數(shù)據(jù)D91中，以兩個邊緣的變化方向的角度差 越大，該兩個邊緣的一致程度就越小的方式，在角度差與一致程度之間建立關(guān)聯(lián)。
[0147] 另外，允許變形級別表示"中"的數(shù)據(jù)D92中，兩個邊緣的變化方向的角度差越大， 該兩個邊緣的一致程度越小，并且，一致程度相對于角度差的關(guān)聯(lián)，與數(shù)據(jù)D91不同。更 詳細(xì)而言，數(shù)據(jù)D92的多個范圍（10°以上小于20°、20°以上小于30°、30°以上小于 40°、40°以上小于60° )中，評分設(shè)定得比數(shù)據(jù)D91的評分低。即，表示：與數(shù)據(jù)D91相 t匕，數(shù)據(jù)D92對對象物的局部形狀變化的允許程度更嚴(yán)格。
[0148] 另外，在允許變形級別為"低"的數(shù)據(jù)D93中，兩個邊緣的變化方向的角度差越大， 該兩個邊緣的一致程度就越小，并且，一致程度相對于角度差的關(guān)聯(lián)，與數(shù)據(jù)D91、D92不 同。更詳細(xì)而言，數(shù)據(jù)D93的多個范圍（10°以上小于20°、20°以上小于30°、30°以上 小于40°、40°以上小于60° )中，評分設(shè)定得比數(shù)據(jù)D91、92的評分低。即，表示：與數(shù)據(jù) D92相比，數(shù)據(jù)D93對對象物的局部形狀變化的允許程度更嚴(yán)格。
[0149] 此外，圖9所示數(shù)據(jù)D9是一個例子，表示數(shù)據(jù)的形式及一致程度的評分值并不僅 限于此。例如，也可以不像數(shù)據(jù)D9那樣事先存儲與角度差對應(yīng)的評分，而是接受角度差閾 值的輸入，僅在計測出的邊緣代碼與模型的邊緣代碼之間的角度差小于該閾值時，評分為1 并一直增加在計測對象整體的一致程度上。
[0150] 另外，圖像處理裝置100也可以使用事先規(guī)定的計算式生成數(shù)據(jù)D9 (D91、D92、 D93)。在該情況下，圖像處理裝置100只要事先存儲該計算式以替代數(shù)據(jù)D9即可。
[0151] 另外，圖像處理裝置100的CPU110根據(jù)來自用戶的指示，讀出數(shù)據(jù)D91、D92、D93 中的一個數(shù)據(jù)，將該讀出的數(shù)據(jù)用于下面兩個一致程度的計算。
[0152] (I)邊緣的變化方向的一致程度
[0153] 對閾值Thl (例如，評分=50)以上的采樣點351和對應(yīng)于該采樣點的對應(yīng)點， CPU110將其視為采樣點351的邊緣的變化方向和對應(yīng)于該采樣點的對應(yīng)點的邊緣的變化 方向一致。
[0154] 例如，當(dāng)采樣點351的邊緣的變化方向和對應(yīng)于該采樣點的對應(yīng)點的邊緣的變化 方向之間的角度差為25°時，若用戶選擇了允許變形級別"高"，則評分為50。因此，閾值 Thl以上，判斷為兩點的邊緣的變化方向一致。另一方面，當(dāng)角度差為25°且用戶選擇允許 變形級別"中"時，評分為40。因此，小于閾值Thl，判斷為兩點的邊緣的變化方向不一致。 如此，即使角度差相同，根據(jù)所使用的數(shù)據(jù)不同判斷結(jié)果也不同。
[0155] 當(dāng)基于采樣點351的邊緣的變化方向和對應(yīng)于該采樣點的對應(yīng)點的邊緣的變化 方向之間的角度差的評分達(dá)到閾值Thl以上時，圖像處理裝置100判斷采樣點351和對應(yīng) 于該采樣點351的對應(yīng)點一致。即，這種情況下，圖像處理裝置100判斷在采樣點351的附 近(包括采樣點的局部線段)，模型(模型圖像）和輸入圖像一致。另外，雖然詳細(xì)內(nèi)容后述， CPU110根據(jù)邊緣的變化方向的一致與否，變換表示計測結(jié)果的圖像的顯示方式。此外，在此 判斷為一致的對象是方向。
[0156] (II)計測對象整體的一致程度
[0157] CPU110使用上述評分進(jìn)一步計算計測對象整體的一致程度。CPU110針對每個采 樣點351，利用所選擇的允許變形級別的數(shù)據(jù)D9來求評分。CPU110還計算評分的平均值。 此外，當(dāng)與采樣點351對應(yīng)的對應(yīng)點不屬于從輸入圖像510提取的邊緣提取區(qū)域521時，將 該采樣點351評分為0。
[0158] 在上述平均值為事先規(guī)定的閾值Th2 (例如，90)以上的情況下，CPU110判斷模型 與作為計測對象的工件2-致。另一方面，在上述平均值小于閾值Th2 (例如，90)的情況 下，CPU110判斷模型與作為計測對象的工件2不一致。舉例說明如下。此外，圖像處理裝 置100將評分的平均值用作計測對象整體的一致程度。
[0159] 設(shè)定采樣點的數(shù)量為100個，對應(yīng)點的數(shù)量為96個。另外，設(shè)定角度差在0°以 上且小于10°的數(shù)據(jù)為60個、角度差在10°以上且小于20°的數(shù)據(jù)為30個、角度差在 20°以上且小于30°的數(shù)據(jù)為6個。在該情況下，若選擇允許變形級別"高"，則平均值為 (100X60+90X30+50X6 + 0X (100-96)) +100=90。另外，若選擇允許變形級別"中"，則 平均值為（100X60+70X 30+40X6+0X (100-96)) +100=83.4。
[0160] 因此，在選擇允許變形級別"高"的情況下，CPU110判斷模型與作為計測對象的工 件2 -致。另一方面，在選擇允許變形級別"中"的情況下，CPU110判斷模型與作為計測對 象的工件2不一致。
[0161] (c3.顯示處理）
[0162] 圖10是用于說明模型圖像310與輸入圖像510的不同的圖。參照圖10,圖像A表 示拍攝工件2得到的模型圖像310和圖4的邊緣圖像340的邊緣部分3401。圖像B表示 拍攝作為計測對象的工件2得到的輸入圖像510。與圖像A相比，圖像B中，工件在區(qū)域P1 中發(fā)生了變形。另外，區(qū)域P2中工件的一部分有缺損。
[0163] 下面，說明在這種情況下，圖像處理裝置100顯示在顯示器102上的圖像。此外， 對實際顯示在顯示器102上的用戶接口，將在后面進(jìn)行敘述（圖14?圖18)。
[0164] 圖11是用于說明輸入圖像510中與模型350-致的部分及不一致的部分的圖。具 體而言，圖11表示在用戶選擇根據(jù)圖9說明的允許變形級別"低"時的圖像。
[0165] 參照圖11，圖像處理裝置100在顯示器102上顯示圖像1100,所述圖像1100是在 輸入圖像510上重疊線圖像540而成，所述輸入圖像510是包括與工件2對應(yīng)的圖像511的 圖像，所述線圖像540由連接相鄰對應(yīng)點之間的線段構(gòu)成。圖像處理裝置100在顯示線圖 像540時，以互不相同的方式在顯示器102上顯示與模型350 -致的部分和與模型350不 一致的部分。更準(zhǔn)確地說，圖像處理裝置100在顯示線圖像540時，以互不相同的方式在顯 示器102上顯示連接與采樣點351 -致的對應(yīng)點之間(相鄰對應(yīng)點之間)的線段和連接與采 樣點351不一致的對應(yīng)點之間(相鄰對應(yīng)點之間）的線段。
[0166] 另外，關(guān)于與模型350不一致的部分，圖像處理裝置100還以互不相同的方式在顯 示器102上顯示不屬于邊緣區(qū)域的部分（S卩，連接不屬于邊緣區(qū)域的對應(yīng)點之間的線段）和 屬于邊緣區(qū)域的部分（即，連接屬于邊緣區(qū)域的對應(yīng)點之間的線段)。
[0167] 作為一個例子，圖像處理裝置100以互不相同的顏色在顯示器102上顯示線圖像 540中與模型350 -致的部分和與模型350不一致的部分541?545。另外，關(guān)于與模型 350不一致的部分541?545,圖像處理裝置100還以互不相同的顏色在顯示器102上顯示 對應(yīng)點不屬于邊緣區(qū)域的部分541、542和對應(yīng)點屬于邊緣區(qū)域的部分543、544、545。
[0168] 舉具體例子來講，圖像處理裝置100用第一顏色(例如，綠色)顯示與模型350 -致 的部分，用第二顏色(例如，紅色）顯示對應(yīng)點不屬于邊緣區(qū)域的部分541、542,用第三顏色 (例如，黃色）顯示對應(yīng)點屬于邊緣區(qū)域的部分543、544、545。此外，框900是表示計測對象 區(qū)域的線。
[0169] 圖12是用于說明輸入圖像510中與模型350-致的部分及不一致的部分的圖。具 體而言，圖12表示在用戶選擇了根據(jù)圖9說明的允許變形級別"高"時的圖像。
[0170] 參照圖12,圖像處理裝置100在顯示器102上顯示圖像1200,所述圖像1200是在 輸入圖像510上重疊線圖像540而成的圖像，所述輸入圖像510包括與工件2對應(yīng)的圖像 511。此時，正如在圖11中已說明的那樣，圖像處理裝置100以互不相同的方式在顯示器 102上顯不輸入圖像510中與模型350 -致的部分和與模型350不一致的部分。另外，關(guān)于 與模型350不一致的部分，圖像處理裝置100進(jìn)一步以互不相同的方式在顯示器102上顯 示對應(yīng)點不屬于邊緣區(qū)域的部分和對應(yīng)點屬于邊緣區(qū)域的部分。
[0171] 作為一個例子，圖像處理裝置100以互不相同的顏色在顯示器102上顯示線圖像 540中與模型350 -致的部分和與模型350不一致的部分542。另外，關(guān)于與模型350不一 致的部分，圖像處理裝置100進(jìn)一步以互不相同的顏色在顯示器102上顯示對應(yīng)點不屬于 邊緣區(qū)域的部分542和對應(yīng)點屬于邊緣區(qū)域的部分。
[0172] 舉具體例子來講，圖像處理裝置100用第一顏色(例如，綠色)顯示與模型350 -致 的部分，用第二顏色(例如，紅色)顯示對應(yīng)點不屬于邊緣區(qū)域的部分542。在圖12中，因為 選擇了允許變形級別"高"，所以與模型350不一致的部分中，不存在對應(yīng)點屬于邊緣區(qū)域 的部分。即，在圖12中，不存在圖11中用第三顏色(例如，黃色）表示的顯示。
[0173] 如此地，在與采樣點351對應(yīng)的對應(yīng)點屬于邊緣區(qū)域的情況下，圖像處理裝置100 根據(jù)該采樣點351中邊緣的變化方向與該對應(yīng)點中邊緣的變化方向是否一致，來變化表示 計測結(jié)果的圖像的顯示方式。即，作為一個例子，圖像處理裝置100以對應(yīng)點屬于邊緣區(qū)域 為條件，用綠色來顯示邊緣的變化方向一致的部分，用黃色來顯示邊緣方向不一致的部分。 進(jìn)一步，圖像處理裝置1〇〇用紅色顯示對應(yīng)點不屬于邊緣區(qū)域的部分。
[0174] 〈D.功能結(jié)構(gòu)〉
[0175] 圖13是用于說明圖像處理裝置100的功能結(jié)構(gòu)的框圖。參照圖13,圖像處理裝置 100具有控制部1010和存儲部1020。控制部1010具有接受部1101、角度差計算部1105、 一致程度計算部1106、部分判斷部1107、整體判斷部1108和顯示控制部1109。邊緣提取部 1102具有位置判斷部1103和方向計算部1104。
[0176] 存儲部1020內(nèi)事先存儲有模型、數(shù)據(jù)D9、閾值Thl和閾值Th2。
[0177] 接受部1101接受與邊緣的變化方向的容許值相關(guān)的指示。典型地，接受部1101 通過鼠標(biāo)104等輸入裝置，接受從三種允許變形級別中選擇一種允許變形級別的指令。艮P， 接受用于指定數(shù)據(jù)D91、數(shù)據(jù)D92及數(shù)據(jù)D93中的任意一個的指示。而且，接受部1101接受 用戶發(fā)出的用于選擇顯示在顯示器102上的用戶接口的指示。該指示被傳送至顯示控制部 1109。
[0178] 邊緣提取部1102提取輸入圖像510的邊緣。更具體而言，提取包含在輸入圖像510 中的與工件2對應(yīng)的圖像511的邊緣。另外，作為提取邊緣的一個環(huán)節(jié)，位置判斷部1103 針對每個采樣點351判斷與采樣點351對應(yīng)的對應(yīng)點是否屬于上述提取的邊緣區(qū)域，方向 計算部1104計算上述對應(yīng)點的邊緣的變化方向。
[0179] 角度差計算部1105針對每個對應(yīng)點，計算采樣點351的邊緣的變化方向和對應(yīng)于 該采樣點351的對應(yīng)點的邊緣的變化方向之間的角度差。
[0180] 一致程度計算部1106根據(jù)所選擇的數(shù)據(jù)(例如，數(shù)據(jù)D91)、采樣點351的邊緣的變 化方向以及與該采樣點351對應(yīng)的對應(yīng)點的邊緣的變化方向，計算采樣點351和對應(yīng)于該 采樣點351的對應(yīng)點之間的一致程度(部分一致程度)。具體而言，一致程度計算部1106根 據(jù)所選擇的數(shù)據(jù)(例如，數(shù)據(jù)D91)和上述計算出的角度差，計算表示采樣點351和對應(yīng)于該 采樣點351的對應(yīng)點之間的一致程度的評分。一致程度計算部1106將計算出的評分傳送 給部分判斷部1107和整體判斷部1108。
[0181] 部分判斷部1107根據(jù)采樣點351和對應(yīng)于該采樣點351的對應(yīng)點之間的一致程 度，判斷該采樣點351與該對應(yīng)點是否一致。詳細(xì)而言，部分判斷部1107根據(jù)多個對應(yīng)點 中的上述計算出的評分(一致程度）及閾值Thl，判斷采樣點351和對應(yīng)于該采樣點351的 對應(yīng)點是否一致。更詳細(xì)而言，部分判斷部1107判斷對應(yīng)的對應(yīng)點屬于輸入圖像510的邊 緣區(qū)域的采樣點351和對應(yīng)于該采樣點的對應(yīng)點是否一致。
[0182] 具體而言，當(dāng)上述計算出的評分為閾值Thl以上時，部分判斷部1107判斷采樣點 351和對應(yīng)于該采樣點351的對應(yīng)點一致。另外，當(dāng)上述計算出的評分小于閾值Thl時，部 分判斷部1107判斷為采樣點351和對應(yīng)于該采樣點351的對應(yīng)點不一致。
[0183] 整體判斷部1108根據(jù)在多個對應(yīng)點計算出的評分，判斷輸入圖像510的特定區(qū)域 (即，輸入圖像510中作為圖案匹配處理的對象的一部分區(qū)域(典型地，為提取的矩形區(qū)域)） 是否與模型350 -致。具體而言，判斷部1108根據(jù)多個對應(yīng)點計算出的一致程度和閾值 Th2,判斷輸入圖像510的特定區(qū)域是否與模型350 -致。更具體而言，整體判斷部1108根 據(jù)多個對應(yīng)點的上述計算出的評分的平均值(計測對象整體的一致程度）和閾值Th2,判斷 輸入圖像510是否與模型350 -致。即，整體判斷部1108判斷作為計測對象的工件2的優(yōu) 劣。此外，判斷優(yōu)劣的方法已在上面進(jìn)行了敘述，所以在此不再重復(fù)說明。
[0184] 顯示控制部1109以互不相同的顯示方式并與輸入圖像510對應(yīng)地在顯示器102 上顯示多個對應(yīng)點中與采樣點351 -致的對應(yīng)點（下面，也稱為"一致點"）和與該采樣點 351不一致的對應(yīng)點（下面，也稱為"不一致點")。例如，顯示控制部1109將不一致點和一 致點以互不相同的顏色顯示在顯示器102上。此外，在此所說的不一致點包括判斷為不屬 于邊緣區(qū)域的對應(yīng)點以及雖判斷為屬于邊緣區(qū)域但上述計算出的評分小于閾值Thl的對 應(yīng)點。更詳細(xì)而言，顯示控制部1109以互不相同的顯示方式并與輸入圖像510對應(yīng)地在顯 示器102上顯示判斷為屬于邊緣區(qū)域的多個對應(yīng)點中與采樣點351 -致的對應(yīng)點和與該采 樣點351不一致的對應(yīng)點。
[0185] 另外，根據(jù)屬于和不屬于輸入圖像510的邊緣區(qū)域的情況，顯示控制部1109以不 同的顯示方式在顯示器102上顯示對應(yīng)點。例如，顯示控制部1109以互不相同的顏色在顯 示器102上顯示屬于邊緣區(qū)域的對應(yīng)點和不屬于邊緣區(qū)域?qū)?yīng)點。
[0186] B卩，顯示控制部1109以互不相同的顯示方式(例如，不同的顏色）在顯示器102上 顯示多個對應(yīng)點中的（i) 一致點（屬于輸入圖像510的邊緣區(qū)域，且邊緣的變化方向一致 (評分為閾值Thl以上）的對應(yīng)點）；（ii)不一致點中不屬于輸入圖像510邊緣區(qū)域的對應(yīng) 點；以及（iii)不一致點中屬于輸入圖像510的邊緣區(qū)域但邊緣的變化方向不一致(評分小 于閾值Thl)的對應(yīng)點。
[0187] 而且，如圖11及圖12所示，顯示控制部1109在顯示輸入圖像510的狀態(tài)下，顯示 由連接相鄰的對應(yīng)點之間的線段構(gòu)成的線圖像540。
[0188] 如此地，顯示控制部1109將對應(yīng)點附近的顯示方式設(shè)定為與該對應(yīng)點的顯示方 式對應(yīng)的顯示方式。例如，顯示控制部1109用第一顏色(例如，綠色）在顯示器102上顯示 上述一致點及其附近。另外，顯示控制部1109用第二顏色(例如，紅色）顯示上述不一致點 中不屬于輸入圖像510的邊緣區(qū)域的對應(yīng)點及該對應(yīng)點的附近。而且，顯示控制部1109用 第三顏色(例如，黃色）顯示不一致點中屬于輸入圖像510的邊緣區(qū)域但邊緣的變化方向不 一致的對應(yīng)點以及該對應(yīng)點的附近。
[0189] 另外，顯示控制部1109在顯示器102上顯示由整體判斷部1108判斷的優(yōu)劣判斷 結(jié)果等各種信息（圖14?圖18)。
[0190] 〈E.用戶接口〉
[0191] 根據(jù)圖14?圖18說明關(guān)于圖像處理裝置100顯示在顯示器102上的用戶接口。
[0192] (el.設(shè)定模式）
[0193] 圖14是表示圖像處理裝置100在設(shè)定模式下提供的用戶接口畫面的一個例子的 圖。圖14表示用戶在設(shè)定圖案匹配處理所需要的各種設(shè)定值(計測條件）時的用戶接口畫 面 1400。
[0194] 在圖14所示用戶接口畫面1400中，以可選擇的方式顯示有模型登錄標(biāo)簽202、區(qū) 域設(shè)定標(biāo)簽206、檢測點標(biāo)簽208、基準(zhǔn)設(shè)定標(biāo)簽210、計測參數(shù)標(biāo)簽212和輸出參數(shù)標(biāo)簽 214。此外，圖14所示用戶接口畫面1400表示選擇了計測參數(shù)標(biāo)簽212的狀態(tài)。另外，用 戶接口畫面1400包括計測條件設(shè)定區(qū)260、判斷條件設(shè)定區(qū)270、圖像顯示區(qū)250和全部顯 示區(qū)252。
[0195] 計測條件設(shè)定區(qū)260包括進(jìn)行邊緣提取處理時的邊緣級別(邊緣強(qiáng)度)的設(shè)定框和 用于設(shè)定允許變形級別的設(shè)定框。通過改變邊緣級別，可改變邊緣的區(qū)域。具體而言，通過 提高邊緣級別，邊緣提取圖像320的邊緣寬度變細(xì)。通過降低邊緣級別，邊緣提取圖像320 的邊緣寬度變寬。此外，提高邊緣級別意味著提高邊緣強(qiáng)度的閾值。
[0196] 用戶通過改變允許變形級別，可決定利用圖9所示數(shù)據(jù)D9所包含的數(shù)據(jù)D91、D92、 D93中的哪個數(shù)據(jù)。例如，當(dāng)選擇允許變形級別"低"時，則會利用數(shù)據(jù)D93。
[0197] 在判斷條件設(shè)定區(qū)270中接受判斷條件，所述判斷條件用于設(shè)定通過本實施方式 的圖案匹配處理而得到的計測結(jié)果中的有效部分。
[0198] S卩，輸入至計測坐標(biāo)X的數(shù)值輸入框的數(shù)值范圍(坐標(biāo)范圍)，用作計測坐標(biāo)的X成 分的判斷條件。另外，輸入至計測坐標(biāo)Y的數(shù)值輸入框的數(shù)值范圍(坐標(biāo)范圍)，用作計測坐 標(biāo)的y成分的判斷條件。另外，輸入至計測角度的數(shù)值輸入框的數(shù)值范圍(角度范圍)，則用 作計測結(jié)果的角度成分的判斷條件。
[0199] 而且，輸入至相關(guān)值的數(shù)值輸入框的數(shù)值范圍，則用作各個計測坐標(biāo)的相關(guān)值的 判斷條件。另外，輸入至檢測數(shù)量的數(shù)值輸入框的數(shù)值范圍，則用作執(zhí)行一次圖案匹配處理 所輸出的最大檢測數(shù)量的條件。
[0200] 此外，在圖14所示用戶接口畫面1400中，在圖像顯示區(qū)250顯示邊緣提取圖像 320。此外，圖像顯示區(qū)250顯示的圖像并不限定于邊緣提取圖像320。另外，在全部顯示區(qū) 252中顯示能夠在圖像顯示區(qū)250顯示的全部圖像。
[0201] (e2.計測模式）
[0202] (I)允許變形級別"低"的情況下的用戶接口
[0203] 圖15是表示圖像處理裝置100在計測模式下提供的用戶接口畫面的一個例子的 圖。具體而言，圖15是表示設(shè)定允許變形級別"低"時的用戶接口畫面1500的圖。
[0204] 參照圖15,用戶接口畫面1500表示針對在拍攝裝置8的視場內(nèi)有多個工件的情況 下生成的圖像數(shù)據(jù)，通過進(jìn)行如上所述的圖案匹配處理而得到的計測結(jié)果。
[0205] 若對輸入圖像進(jìn)行基于事先登錄的模型的圖案匹配處理，圖像處理裝置100則在 圖像顯示區(qū)1501顯示圖11的圖像1100。另外，圖像處理裝置100在顯示器102上顯示表 示計測結(jié)果的數(shù)值(符號1502)。而且，圖像處理裝置100也在畫面右上方區(qū)域顯示基于計 測結(jié)果的工件2的優(yōu)劣判斷結(jié)果(顯示為0K或者NG)。圖15的例子中，因為相關(guān)值為閾值 Th2 (=90)以上，所以顯示為"0K"。
[0206] 圖16是表不從圖15轉(zhuǎn)變后的用戶接口畫面的一個例子的圖。具體而言，圖16表 示在圖15的狀態(tài)下，根據(jù)用戶的操作在畫面右下方的子圖像編號中選擇了"圖像3"后的用 戶接口畫面1600。
[0207] 若選擇了圖像3,則圖像處理裝置100在顯示器102上顯示針對圖像1100重疊了 作為計測對象的工件2的邊緣提取圖像520 (圖6的圖像B)的用戶接口畫面1600。
[0208] (II)允許變形級別"高"的情況下的用戶接口
[0209] 圖17是表示在計測模式下圖像處理裝置100提供的用戶接口畫面的其他例子的 圖。具體而言，圖17是表示將允許變形級別設(shè)定為"高"的情況下的用戶接口畫面1700的 圖。
[0210] 參照圖17,與圖15的用戶接口畫面1500同樣地，用戶接口畫面1700表示針對在 拍攝裝置8的視場內(nèi)有多個工件的情況下生成的圖像數(shù)據(jù)，通過進(jìn)行如上所述的圖案匹配 處理而得到的計測結(jié)果。
[0211] 若對輸入圖像進(jìn)行了基于事先登錄的模型的圖案匹配處理，圖像處理裝置100則 在圖像顯示區(qū)1701顯示圖12的圖像1200。另外，圖像處理裝置100在顯示器102上顯示 表示計測結(jié)果的數(shù)值(符號1702)。而且，圖像處理裝置100也在畫面右上方的區(qū)域顯示基 于計測結(jié)果的工件2的優(yōu)劣判斷結(jié)果(顯示為0K或者NG)。在圖17的例子中，因為相關(guān)值 為閾值Th2 (=90)以上，所以顯示為"0K"。
[0212] 圖18是表示從圖17轉(zhuǎn)變后的用戶接口畫面的一個例子的圖。具體而言，圖18表 示在圖17的狀態(tài)下，根據(jù)用戶的操作在畫面右下方的子圖像編號中選擇了"圖像3"后的用 戶接口畫面。
[0213] 若選擇了圖像3,則圖像處理裝置100在顯示器102上顯示針對圖像1200重疊了 作為計測對象的工件2的邊緣提取圖像520的用戶接口畫面。
[0214] 〈F.優(yōu)點〉
[0215] 根據(jù)圖像處理裝置100,無需改變邊緣級別（參照圖14)及計測對象(工件2)的優(yōu) 劣判斷閾值Th2,就能夠改變模型和計測對象整體的一致程度。即，如上所述，用戶通過改 變允許變形級別，能夠?qū)σ粋€計測對象改變計測對象整體的一致程度(評分的平均值，相關(guān) 值)。這樣，根據(jù)圖像處理裝置100,能夠在使用了計測對象物(工件2)的形狀特征的圖案匹 配中，允許該對象物的局部形狀的變形。
[0216] 另外，顯示控制部1109以互不相同的顯示方式(例如，不同的顏色）在顯示器102 上顯示一致點及該一致點附近、不一致點及該不一致點附近，從而用戶能夠容易地辨別模 型和輸入圖像之間的不一致部分。詳細(xì)來說，用戶能夠容易地把握作為計測對象的工件2 中存在問題的部分。特別是，關(guān)于不一致點的顯示，顯示控制部1109以互不相同的顯示方 式(例如，不同的顏色)在顯示器102上顯示不屬于輸入圖像510的邊緣區(qū)域的對應(yīng)點，以及 雖屬于輸入圖像510的邊緣區(qū)域但邊緣的變化方向不一致的對應(yīng)點，從而，用戶能夠容易 判斷因何種原因而產(chǎn)生了不一致。
[0217] 〈G.變形例〉
[0218] 在上述內(nèi)容中，作為互不相同的顯示方式，以不同的顏色為例進(jìn)行了說明，但并不 僅限于此。例如，也可以將圖像處理裝置100構(gòu)成為：用一種顏色(例如，綠色）顯示一致點 及該一致點附近、不一致點及該不一致點附近，并且，以互不相同的線形、線寬或者濃度等 來顯示。而且，在這種構(gòu)成的情況下，優(yōu)選將圖像處理裝置100構(gòu)成為：關(guān)于不一致點的顯 示，用互不相同的線形、線寬或者濃度等顯示不屬于輸入圖像510的邊緣區(qū)域的對應(yīng)點和 雖屬于輸入圖像510的邊緣區(qū)域但邊緣的變化方向不一致的對應(yīng)點。
[0219] 另外，可以根據(jù)對應(yīng)點的評分來變化顏色的濃度。具體而言，當(dāng)以互不相同的顏 色顯示一致點及該一致點附近、不一致點及該不一致點附近時，也可以將圖像處理裝置100 構(gòu)成為：關(guān)于屬于輸入圖像510的邊緣區(qū)域但邊緣的變化方向不一致的對應(yīng)點及該對應(yīng)點 的附近，使評分越低的部分(采樣點及其附近)顏色的濃度越高。根據(jù)該構(gòu)成，用戶能夠容易 地把握作為計測對象的工件2中發(fā)生規(guī)定以上的變形的部分的該變形的程度。
[0220] 本次公開的實施方式皆為例示，并非限制本發(fā)明。本發(fā)明的范圍并不限于上述說 明，而是由權(quán)利要求書的范圍示出，并包括與權(quán)利要求的范圍同等的意義及其范圍內(nèi)進(jìn)行 的全部變更。
【權(quán)利要求】
1. 一種圖像處理裝置，從輸入圖像檢索與事先登錄的模型類似的區(qū)域，其特征在于， 所述模型由從模型圖像提取的邊緣上的多個第一位置和各個所述第一位置的邊緣的 變化方向規(guī)定， 所述圖像處理裝置具有： 第一計算單元，該第一計算單元計算與所述第一位置對應(yīng)的所述輸入圖像的第二位置 的邊緣的變化方向； 接受單元，該接受單元接受與邊緣的變化方向的容許值相關(guān)的指示； 第二計算單元，該第二計算單元根據(jù)所述接受的指示、所述第一位置的邊緣的變化方 向和所述第二位置的邊緣的變化方向，計算所述第一位置和對應(yīng)于該第一位置的所述第二 位置之間的類似度；以及 第一判斷單元，該第一判斷單元根據(jù)在多個所述第二位置的所述計算出的類似度，判 斷所述輸入圖像的特定區(qū)域是否與所述模型類似。
2. 如權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述接受單元作為所述指示接受用于指定多個數(shù)據(jù)中的任意一個的指示，所述多個數(shù) 據(jù)是表示兩個邊緣的變化方向的不同的信息和該兩個邊緣的類似度之間建立了關(guān)聯(lián)的數(shù) 據(jù)。
3. 如權(quán)利要求2所述的圖像處理裝置，其特征在于， 還具有事先存儲了所述多個數(shù)據(jù)的存儲單元。
4. 如權(quán)利要求2或3所述的圖像處理裝置，其特征在于， 所述多個數(shù)據(jù)的每一個中，以兩個邊緣的變化方向的角度差越大所述兩個邊緣的一致 程度越小的方式，在所述角度差和所述類似度之間建立關(guān)聯(lián)， 所述類似度對所述角度差的關(guān)聯(lián)在所述多個數(shù)據(jù)間各不相同， 所述圖像處理裝置還具有： 第三計算單元，該第三計算單元針對每一個所述第二位置，計算所述第一位置的邊緣 的變化方向和對應(yīng)于該第一位置的所述第二位置的邊緣的變化方向之間的角度差， 所述第二計算單元根據(jù)所述指定的數(shù)據(jù)和所述計算出的角度差，計算所述第一位置和 對應(yīng)于該第一位置的所述第二位置之間的所述類似度。
5. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 還具有第二判斷單元，該第二判斷單元針對每一個所述第一位置，判斷與所述第一位 置對應(yīng)的第二位置是否屬于所述輸入圖像的邊緣區(qū)域， 在通過所述第二判斷單元判斷與所述第一位置對應(yīng)的第二位置是屬于所述輸入圖像 的邊緣區(qū)域時，所述第一計算單元計算與所述第一位置對應(yīng)的第二位置的邊緣的變化方 向。
6. 如權(quán)利要求1至5中任意一項所述的圖像處理裝置，其特征在于， 還具有： 第三判斷單元，該第三判斷單元根據(jù)所述第一位置和對應(yīng)于該第一位置的所述第二位 置之間的所述類似度，判斷該第一位置與該第二位置是否類似；以及 顯示控制單元，該顯示控制單元以互不相同的顯示方式并與所述輸入圖像對應(yīng)地在顯 示器上顯示與所述第一位置類似的第二位置和不與所述第一位置類似的第二位置。
7. 如權(quán)利要求1至5中任意一項所述的圖像處理裝置，其特征在于， 還具有： 第二判斷單元，該第二判斷單元針對每個所述第一位置，判斷與所述第一位置對應(yīng)的 第二位置是否屬于所述輸入圖像的邊緣區(qū)域；以及 顯示控制單元，該顯示控制單元以互不相同的顯示方式并與所述輸入圖像對應(yīng)地在顯 示器上顯示屬于所述輸入圖像的邊緣區(qū)域的第二位置和不屬于所述輸入圖像的邊緣區(qū)域 的第二位置。
8. 如權(quán)利要求6或7所述的圖像處理裝置，其特征在于， 所述顯示方式為顏色。
9. 如權(quán)利要求1至8中任意一項所述的圖像處理裝置，其特征在于， 各個所述第一位置是通過對所述模型圖像的邊緣上的點進(jìn)行采樣而得到的位置。
10. -種圖像處理方法，從輸入圖像檢索與事先登錄的模型類似的區(qū)域，其特征在于， 所述模型由從模型圖像提取的邊緣上的多個第一位置和各個所述第一位置的邊緣的 變化方向規(guī)定， 所述圖像處理方法包括： 計算邊緣變化方向的步驟，計算與所述第一位置對應(yīng)的所述輸入圖像的第二位置的邊 緣的變化方向； 指示接受步驟，接受與邊緣的變化方向的容許值相關(guān)的指示； 類似度計算步驟，根據(jù)所述接受的指示、所述第一位置的邊緣的變化方向和所述第二 位置的邊緣的變化方向，計算所述第一位置和對應(yīng)于該第一位置的所述第二位置之間的類 似度；以及 判斷步驟，根據(jù)在多個所述第二位置的所述計算出的類似度，判斷所述輸入圖像的特 定區(qū)域是否與所述模型類似。
11. 一種程序，用于控制從輸入圖像檢索與事先登錄的模型類似的區(qū)域的圖像處理裝 置，其特征在于， 所述模型由從模型圖像提取的邊緣上的多個第一位置和各個所述第一位置的邊緣的 變化方向規(guī)定， 所述程序使所述圖像處理裝置的處理器執(zhí)行如下步驟： 計算邊緣變化方向的步驟，計算與所述第一位置對應(yīng)的所述輸入圖像的第二位置的邊 緣的變化方向； 指示接受步驟，接受與邊緣的變化方向的容許值相關(guān)的指示； 類似度計算步驟，根據(jù)所述接受的指示、所述第一位置的邊緣的變化方向和所述第二 位置的邊緣的變化方向，計算所述第一位置和對應(yīng)于該第一位置的所述第二位置之間的類 似度；以及 判斷步驟，根據(jù)在多個所述第二位置的所述計算出的類似度，判斷所述輸入圖像的特 定區(qū)域是否與所述模型類似。
【文檔編號】G06T7/00GK104103069SQ201410138793
【公開日】2014年10月15日 申請日期:2014年4月8日 優(yōu)先權(quán)日:2013年4月5日
【發(fā)明者】加藤豊, 木內(nèi)豊 申請人:歐姆龍株式會社