圖像處理方法和圖像捕捉裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及用于通過使用相機(camera)來捕捉物體的圖像的方法和裝置。更具體地說，本發(fā)明涉及用于捕捉相對于相機移動的物體的圖像的技術。
【背景技術】
[0002]在使用機器人的產(chǎn)品自動裝配線中，其中機器人握持已被提供的部件并且將已由機器人握持的部件安裝到工件上的操作被重復。在所提供的部件未被嚴格定位的情況下，有時可以在用于握持部件的處理中執(zhí)行通過使用相機對部件的位置和朝向的測量。
[0003]該測量被執(zhí)行以使已由機器人握持的部件的相對于機器人的位置和朝向盡可能地接近目標位置和目標朝向。換言之，作為目標值的“機器人握持部件的預定方式”和作為實際測量值的“機器人握持部件的實際方式”被相互比較，并且在目標值與實際測量值之間存在差異的情況下，機器人執(zhí)行用于使實際測量值與目標值相同的處理。該處理被執(zhí)行以實現(xiàn)在機器人已經(jīng)握持部件之后將要執(zhí)行的處理中由機器人執(zhí)行裝配的精度的提高。
[0004]示例性具體方法如下:機器人握持部件，然后將部件運輸?shù)较鄼C前面的位置，并且在那之后停止其操作。部件的靜止圖像被相機捕捉，并且所捕捉的靜止圖像經(jīng)歷圖像處理，以使得部件相對于機器人的位置和朝向被識別出。機器人基于識別結果來執(zhí)行用于改變其朝向的處理和用于改變部件被握持的方式的處理，以使得部件的位置和朝向被改變?yōu)樵谄渲锌梢詧?zhí)行將部件安裝在工件上的處理的范圍內。在那之后，裝配操作被執(zhí)行。
[0005]近年來，已經(jīng)存在在使用由相機獲得的視覺信息的同時通過使用機器人以良好效率自動裝配產(chǎn)品的需求。因此，為了實現(xiàn)每小時生產(chǎn)率的進一步提高，盡可能多地降低在圖像捕捉期間發(fā)生的由機器人的減速、中斷、致動和加速引起的部件運輸所花時間的增加是有效的。最后，希望在不使機器人停止運輸部件的情況下在部件在相機前面移動的同時捕捉部件的圖像(該方法在下文中將被稱作用于捕捉移動物體的圖像的方法)。
[0006]在用于捕捉移動物體的圖像的方法中，先前已經(jīng)存儲的物體的樣本圖像(目標值)和在物體正在移動時捕捉的物體的圖像(實際測量值)被相互比較，并且根據(jù)這些值之間的相似度來識別將要測量的物體。
[0007]為了以高識別精度執(zhí)行對移動物體的圖像捕捉，圖像處理算法被確定，并且在實際測量中，需要以類似于已被存儲作為目標值的物體的樣本圖像中的分辨率的分辨率在物體正在移動時捕捉物體的圖像以對應于圖像處理算法。
[0008]此外，需要在與已經(jīng)在其下獲取樣本圖像的照明條件盡可能類似的照明條件(諸如影子和環(huán)境光的反射)下捕捉物體的圖像。
[0009]例如，假定如下情況，其中通過利用放置在部件上的標記來測量作為物體的部件的位置和朝向的圖像處理算法被使用。在這種情況下，在實際圖像捕捉中，安裝在工廠內部的熒光燈的光有時可被部件的表面反射，并且眩光有時可被產(chǎn)生。此外，有時可能在標記由于這種眩光的影響而對相機不可見的照明條件下執(zhí)行圖像捕捉，并且有可能部件的位置和朝向將被錯誤地識別。
[0010]在移動物體的這種圖像捕捉的領域中，如在日本專利特開第9-288060號(在下文中被稱作專利文獻I)中描述的，已經(jīng)設計出通過捕捉移動部件的圖像來提取適用于圖像分析的圖像的技術。
[0011]以下技術在專利文獻I中被描述。在專利文獻I中描述的技術中，根據(jù)以有規(guī)律間隔從相機的控制單元發(fā)送的圖像捕捉觸發(fā)信號來連續(xù)地(或者間歇地)捕捉由傳送機在相機前面?zhèn)魉偷奈矬w的多個圖像。在那之后，其中物體與圖像中心之間的距離最小的圖像被選擇作為多個捕捉圖像當中的最佳圖像，然后最佳圖像被輸出。
[0012]在專利文獻I中描述的相機的操作如下:首先，最后捕捉的圖像和在最后捕捉的圖像之前捕捉的圖像被存儲在相機的存儲器中。在這種狀態(tài)下，基于在這兩個圖像中的每一個中計算的物體的位置相對于圖像中心的移位量來選擇以下中的一個:(I)最后捕捉的圖像被確定為最佳圖像，(2)在最后捕捉的圖像之前捕捉的圖像被確定為最佳圖像，以及
(3)確定處理被暫停，并且圖像捕捉操作繼續(xù)。在移位量下降到預定閾值以下的情況下，就是說，在物體足夠接近圖像中心的情況下，(I)被選擇。在最后捕捉的圖像中的移位量大于在最后捕捉的圖像之前捕捉的圖像中的移位量的情況下，就是說，在已經(jīng)走近圖像中心一次的物體已經(jīng)穿過圖像中心并且正在離開圖像中心的方向上移動的情況下，(2)被選擇。在以上兩種情況都不適用的情況下，(3)被選擇。結果，在通過使用在專利文獻I中描述的相關技術來執(zhí)行對移動物體的圖像的捕捉的情況下，可以從由相機捕捉的圖像中取回其中部件的位置與由用戶預先確定的位置(在下文中有時被稱作目標捕捉位置)之間的距離為最小的圖像。
[0013]然而，在專利文獻I中描述的捕捉移動物體的圖像的方法中，在只有部件的位置起參考作用的同時在捕捉的圖像當中選擇要輸出的圖像。因此，在其朝向由于在部件的運輸期間生成的振動等而傾斜的部件的圖像被捕捉的情況下，部件的圖像是在如下條件下捕捉的，在這些條件下部件與相機/照明之間的位置和朝向關系不同于當圖像處理算法被確定時的位置和朝向關系。因此，在與原先假定的那些照明條件不同的照明條件下捕捉的圖像被獲取，并且所獲取的圖像的一部分中的明度(brightness)有可能可以與已經(jīng)假定的明度不同，并且與已經(jīng)假定的區(qū)域不同的區(qū)域的輪廓信息有可能可以被強烈地檢測到。在這種情況下，在圖像處理的處理和識別物體的處理被執(zhí)行的情況下，部件的位置和朝向有可能將被錯誤地識別，這繼而導致自動裝配的故障。

【發(fā)明內容】

[0014]本發(fā)明是鑒于上面的問題而做出的。根據(jù)本發(fā)明的一方面，提供一種用于在與獲取對其預先確定圖像處理算法的圖像的那些照明條件類似的照明條件下捕捉移動部件的圖像的方法。
[0015]根據(jù)本發(fā)明的另一方面，一種圖像處理方法包括:通過由圖像捕捉裝置連續(xù)地捕捉物體的圖像來獲取多個圖像數(shù)據(jù)項；將這多個圖像數(shù)據(jù)項傳輸給運算部；通過使用運算部來運算出圖像特征值，圖像特征值中的每一個與圖像數(shù)據(jù)項中的相應一個的位置信息和照明條件相關信息關聯(lián)；以及輸出從這多個圖像數(shù)據(jù)項中選擇的圖像。在輸出圖像中，位置信息與存儲器中存儲的基準圖像特征值之間的匹配度被比較，運算出的圖像特征值與存儲在存儲器中的并且與照明條件相關信息關聯(lián)的基準圖像特征值之間的匹配度被比較，并且具有與基準圖像特征值相匹配的位置信息和照明條件的圖像被從多個圖像數(shù)據(jù)項中選擇并輸出。
[0016]本發(fā)明的其他特征根據(jù)參考附圖對示例性實施例的以下描述將變得清楚。
【附圖說明】
[0017]圖1是例示出根據(jù)本發(fā)明第一實施例的用于捕捉移動物體的圖像的裝置的框圖。
[0018]圖2是根據(jù)本發(fā)明第一實施例的流程圖。
[0019]圖3是例示出根據(jù)本發(fā)明的第一實施例和第二實施例的圖像數(shù)據(jù)項的示例的示圖。
[0020]圖4是例示出根據(jù)本發(fā)明第一實施例的捕捉圖像的示例的示圖。
[0021]圖5是例示出根據(jù)本發(fā)明第一實施例的二值化圖像的示例的示圖。
[0022]圖6是例示出根據(jù)本發(fā)明第二實施例的用于捕捉移動物體的圖像的裝置的框圖。
[0023]圖7是例示出根據(jù)本發(fā)明第二實施例的捕捉圖像的示例的示圖。
[0024]圖8是例示出根據(jù)本發(fā)明第二實施例的已被轉換為二進制表示的圖像的幀間差的示例的示圖。
【具體實施方式】
[0025]第一實施例
[0026]根據(jù)本發(fā)明第一實施例的用于捕捉移動物體的圖像的裝置將被描述。在以下描述中，根據(jù)本發(fā)明的圖像處理方法的處理將被逐步描述，并且在那之后，將參考對應于第一實施例的示例性實施例來具體描述相機等中包括的個別組件。
[0027]圖1例示出根據(jù)本發(fā)明第一實施例的有時將被稱作圖像捕捉裝置的用于捕捉(移動物體的)圖像的裝置的配置。如在圖1中示出，用于捕捉(移動物體的)圖像的裝置包括相機114和用于握持部件112的機械手113，相機114包括圖像拾取元件101、透鏡102和運算部115。運算部115包括控制器103、圖像輸入接口 104、圖像特征值計算單元106、存儲器107、圖像選擇單元108和圖像輸出接口 109。
[0028]首先，將簡要描述當圖像捕捉裝置通過使用相機114來捕捉在被機械手113握持的同時正在移動的部件112的圖像時的處理的流程，然后將詳細描述每一個組件中的信號和每一個組件的操作。
[0029]首先將描述在執(zhí)行對移動物體的圖像的捕捉之前將要執(zhí)行的初始設置。控制器103通過使用串行外圍接口(SPI)等的通信將其中圖像拾取元件101連續(xù)地(或者間歇地)捕捉圖像的電影記錄模式設置為圖像拾取元件101的工作模式?；趯嶒灐⒃O計值等的以下兩個預定圖像特征值被存儲在控制器103的存儲區(qū)域中。換言之，作為目標捕捉位置的圖像特征值和與該目標捕捉位置處的照明條件相關的圖像特征值被存儲作為基準圖像特征值，并且這些基準圖像特征值被預先輸出到圖像選擇單元108。關于其中將存儲諸如目標捕捉位置和圖像特征值之類的數(shù)據(jù)項的區(qū)域，運算部115的具有存儲功能的特定部分可被任意設置為“存儲器”。
[0030]注意，稍后將描述用于計算與照明條件相關的圖像特征值的方法的細節(jié)。預先指示機械手113以在部件112被機械手113握持的同時部件112橫穿相機114的視場范圍的方式來移動。在其中將臨時存儲圖像數(shù)據(jù)項和圖像特征值的存儲器107中，僅具有亮度(luminance)值為“O”并且圖像特征值為“O”的像素的圖像被存儲作為初始數(shù)據(jù)項。通過執(zhí)行這些操作來完成本實施例中的初始設置。注意，目標捕捉位置和基準圖像特征值不是必須被存儲