圖像處理裝置、系統(tǒng)、圖像處理方法及圖像處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對形狀可變的物體也能夠進行位置識別的圖像處理裝置、圖像處理方法、圖像處理程序及具有該圖像處理裝置的系統(tǒng)。
【背景技術(shù)】
[0002]在FA(Factory Automat1n，工廠自動化)領(lǐng)域中，對工件等檢測對象進行拍攝，并執(zhí)行對其大小及位置等進行測量的處理、搜索與預先登記的模型圖像一致的位置或區(qū)域的處理等。
[0003]例如，日本特開2013-156094號公報(專利文獻I)公開了如下技術(shù)，即:即使是在檢查對象存在個體差異的情況或檢查對象的位置、方向不一定的情況下，也能夠適應地自動設定檢查區(qū)域，并進行高精度的檢查的技術(shù)。
[0004]專利文獻1:日本特開2013-156094號公報
[0005]作為如上述的圖像處理的應用，拍攝檢測對象以確定其存在的位置或區(qū)域，并且對以確定的位置或區(qū)域為基準任意設定的位置或區(qū)域，施加某種操作(例如，工件的握持、對工件的各種加工)O在如這樣的應用中，預先登記檢測對象的特征量及應該對該檢測對象進行操作的位置或區(qū)域的信息作為模型信息。
[0006]但是，在有些情況下，也會將可能產(chǎn)生與作為模型信息登記的形狀不同的形狀的物體作為檢測對象。例如，假設有如下的工件，即:形狀取決于前工序的溫度、濕度等環(huán)境條件而決定的工件或由柔性的材質(zhì)構(gòu)成，受外力(例如，重力)的影響形狀很容易地變化的工件。

【發(fā)明內(nèi)容】

[0007]期望提出對可能變形為與作為模型信息登記的形狀不同的形狀的檢測對象也能夠恰當決定應施加操作的位置的方法。
[0008]本發(fā)明的一個技術(shù)方案的圖像處理裝置具有:存儲單元，其保持模型信息，該模型信息中包括表示檢測對象上的多個特征點的信息，對應關(guān)系決定單元，其提取作為二維圖像或三維圖像的輸入圖像上所包含的多個特征點，并且決定所提取的多個特征點與所述模型信息中的多個特征點之間的對應關(guān)系，位置推定單元，其基于所述對應關(guān)系，推定與對所述檢測對象設定的一個或多個第一位置相對應的所述輸入圖像上的一個或多個第二位置；所述一個或多個第一位置包含于點、線或區(qū)域中。
[0009]優(yōu)選地，所述對應關(guān)系決定單元對所述模型信息中的各特征點與從所述輸入圖像上提取的各特征點分別建立一一對應的對應關(guān)系，并且決定表示如下的二個集合之間的所述對應關(guān)系的函數(shù)，這二個集合是指，分別由相互建立了對應關(guān)系的所述模型信息中的多個特征點和從所述輸入圖像上提取的多個特征點組成的二個集合。
[0010]本發(fā)明的另一個技術(shù)方案的系統(tǒng)具有:圖像處理裝置，根據(jù)來自所述圖像處理裝置的輸出進行動作的機器人；所述圖像處理裝置具有:存儲單元，其保持模型信息，該模型信息中包括表示檢測對象上的多個特征點的信息，對應關(guān)系決定單元，其提取作為二維圖像或三維圖像的輸入圖像上所包含的多個特征點，并且決定所提取的多個特征點與所述模型信息中的多個特征點之間的對應關(guān)系，位置推定單元，其基于所述對應關(guān)系，推定與對所述檢測對象設定的一個或多個第一位置相對應的所述輸入圖像上的一個或多個第二位置；所述一個或多個第一位置包含于點、線或區(qū)域中。
[0011]本發(fā)明的又一個技術(shù)方案的圖像處理方法包括:取得模型信息的步驟，取得持模型信息，該模型信息中包括表示檢測對象上的多個特征點的信息，決定對應關(guān)系的步驟，提取作為二維圖像或三維圖像的輸入圖像上所包含的多個特征點，并且決定所提取的多個特征點與所述模型信息中的多個特征點之間的對應關(guān)系，推定第二位置的步驟，基于所述對應關(guān)系，推定與對所述檢測對象設定的一個或多個第一位置相對應的所述輸入圖像上的一個或多個第二位置；所述一個或多個第一位置包含于點、線或區(qū)域中。
[0012]本發(fā)明的再一個技術(shù)方案提供一種利用計算機執(zhí)行的圖像處理程序。所述圖像處理程序使所述計算機執(zhí)行以下步驟:取得模型信息的步驟，取得持模型信息，該模型信息中包括表示檢測對象上的多個特征點的信息，決定對應關(guān)系的步驟，提取作為二維圖像或三維圖像的輸入圖像上所包含的多個特征點，并且決定所提取的多個特征點與所述模型信息中的多個特征點之間的對應關(guān)系，推定第二位置的步驟，基于所述對應關(guān)系，推定與對所述檢測對象設定的一個或多個第一位置相對應的所述輸入圖像上的一個或多個第二位置；所述一個或多個第一位置包含于點、線或區(qū)域中。
[0013]若根據(jù)本發(fā)明，對可能變形為與作為模型信息登記的形狀不同的形狀的檢測對象，也能夠適當?shù)貨Q定應該施加操作的位置。
【附圖說明】
[0014]圖1為示出具有本實施方式的圖像處理裝置的系統(tǒng)的結(jié)構(gòu)的示意圖。
[0015]圖2的(a)部分和(b)部分為用于說明本發(fā)明的現(xiàn)有技術(shù)及其課題的圖。
[0016]圖3的(a)部分和(b)部分為示出本實施方式的圖像處理裝置所處理的模型圖像及輸入圖像的一個例子的圖。
[0017]圖4為示出對圖3所示的模型圖像及輸入圖像決定的對應關(guān)系的一個例子的圖。
[0018]圖5為示出顯示特征點的顯示例的圖，該特征點用來決定表示本實施方式的圖像處理裝置所提供的對應關(guān)系的函數(shù)。
[0019]圖6為示出本實施方式的圖像處理裝置的硬件結(jié)構(gòu)的示意圖。
[0020]圖7為示出本實施方式的圖像處理裝置的功能結(jié)構(gòu)的示意圖。
[0021]圖8為示出本實施方式的圖像處理裝置所執(zhí)行的處理順序的流程圖。
[0022]圖9為用于說明本實施方式的圖像處理裝置的檢測點的推定處理的變形例的圖。
[0023]圖10為示出本實施方式的顯示圖像處理裝置的檢測點的推定處理結(jié)果的畫面例的圖。
[0024]其中，附圖標記說明如下:
[0025]I系統(tǒng)，8攝像部，10傳送帶，100圖像處理裝置，102顯示部，104內(nèi)部總線，106存儲卡，HO處理器，112主存儲器，114硬盤，116圖像處理程序，120攝像頭接口，122機器人接口，124網(wǎng)絡接口，126存儲卡接口，150特征量提取模塊，152模型信息生成模塊，154對應關(guān)系決定模塊，156檢測點推定模塊，158移動指令生成模塊，160數(shù)據(jù)保存部，162模型信息，164檢測點設定，200機器人控制器，300機器人，W工件。
【具體實施方式】
[0026]參照附圖，詳細說明本發(fā)明的實施方式。此外，對圖中的同一或等同的部分，標記上同一附圖標記，不再重復其說明。
[0027]< A.系統(tǒng)的結(jié)構(gòu)>
[0028]本實施方式的圖像處理裝置雖然能夠適用于各種應用，但是作為一個例子，對如下的應用進行說明，即:基于通過拍攝工件得到的信息來確定該工件存在的位置、線或區(qū)域，并且使機器人在以所確定的位置、線或區(qū)域為基準任意設定的位置、線或區(qū)域?qū)ぜ┘幽撤N操作的應用。也可以將工件存在的“線段”或“區(qū)域”及施加操作的“線段”或“區(qū)域”看作是多個位置的集合。以下，雖然為了便于說明，主要對確定或檢測“位置”(即，一個坐標值)的處理進行說明，但是并不僅限于此，也能夠確定或檢測多個坐標值的集合“線段”或“區(qū)域”。S卩，關(guān)注的一個或多個位置包含于點、線或區(qū)域中。以如這樣的點、線或區(qū)域為單位進行搜索處理。
[0029]在本說明書中，“輸入圖像”可以包含二維圖像及三維圖像。雖然為了便于說明，主要以二維圖像為例子進行說明，但是很明顯對于三維圖像也能夠應用同樣的主要部分。即，通過根據(jù)輸入圖像的種類，適當?shù)卦O定推定如后述的對應關(guān)系的方法，就能夠使用同樣的處理。換言之，雖然在二維圖像中，通常情況下在平面上配置點，但是在三維圖像中，通常情況下在曲面上配置點。此外，在對三維圖像進行顯示的情況下，也可以進行二維渲染處理。特別地，在應用于如后述的機器人的情況下，優(yōu)選以三維圖像作為輸入圖像。
[0030]圖1為示出具有本實施方式的圖像處理裝置100的系統(tǒng)I的結(jié)構(gòu)的示意圖。參照圖1，系統(tǒng)I主要具有:圖像處理裝置100、機器人控制器200及機器人300。系統(tǒng)I使用攝像部8拍攝傳送帶10上的局部區(qū)域，并且通過處理由攝像得到的該圖像(以下也稱為“輸入圖像”)，進而確定在傳送帶10上搬運的檢測對象(以下也稱為“工件W”)的位置，再基于所確定的位置的信息來在預先設定的位置握持工件W，并向傳送帶10外移動工件W。
[0031]更加具體地，圖像處理裝置100對來自攝像部8的輸入圖像執(zhí)行如以下詳述的圖像處理，并將基于該圖像處理的執(zhí)行結(jié)果得到的位置信息(或，移動指令)輸出給機器人控制器200。機器人控制器200通過按照來自圖像處理裝置100的信息賦予驅(qū)動指令，來驅(qū)動機器人300ο通常情況下，機器人300在每一個可動軸都具有伺服馬達，機器人控制器200輸出對每一個軸計算的相當于移動量的數(shù)量的脈沖的脈沖信號。
[0032]如后所述，預先登記有機器人300應握持工件W的工件W上的位置。更加具體地，在圖像處理裝置100中，除了作為握持對象的工件W的形狀的信息以外，還要預先登記有應對工件W施加某種操作的位置。即使是在工件W變化為與作為模型信息登記的形狀不同的形狀的情況下，圖像處理裝置100也能夠確定工件W上的應握持的位置。
[0033]如圖1所示，除了握持工件W的系統(tǒng)以外，還能夠應用于如進行對工件的操作、加工的系統(tǒng)。例如，若預先登記有與工件相關(guān)的切斷位置、鉆孔位置、研磨