圖像處理裝置及圖像處理方法
【專利摘要】本發(fā)明提供圖像處理裝置及圖像處理方法。本發(fā)明提供降低估計(jì)工件的狀態(tài)時(shí)的錯(cuò)誤估計(jì)的結(jié)構(gòu)。所述圖像處理裝置包括：照相機(jī)，其輸入工件的圖像；工件狀態(tài)估計(jì)單元，其基于由所述照相機(jī)輸入的圖像，估計(jì)所述工件的狀態(tài)；發(fā)生可能性存儲(chǔ)單元，其存儲(chǔ)預(yù)先與所述工件的各個(gè)狀態(tài)相關(guān)聯(lián)的發(fā)生可能性；以及可靠度計(jì)算單元，其基于由所述工件狀態(tài)估計(jì)單元估計(jì)的所述工件的狀態(tài)以及與所述工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性，來(lái)針對(duì)所估計(jì)的所述工件的狀態(tài)計(jì)算可靠度。
【專利說(shuō)明】圖像處理裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及當(dāng)拾取(pick)以預(yù)定狀態(tài)(例如不規(guī)則狀態(tài))放置的部件(工件(work))時(shí)使用的技術(shù)。本發(fā)明尤其涉及一種當(dāng)通過(guò)照相機(jī)等拍攝以預(yù)定狀態(tài)放置的工件，根據(jù)拍攝的圖像來(lái)估計(jì)各個(gè)工件的位置和/或姿態(tài)(orientation)，并且拾取工件時(shí)使用的技術(shù)。
【背景技術(shù)】
[0002]研發(fā)了如下技術(shù)，作為通過(guò)照相機(jī)等拍攝以預(yù)定狀態(tài)放置的工件，并根據(jù)拍攝的圖像高速估計(jì)各個(gè)工件的位置和/或姿態(tài)的技術(shù)。
[0003]在日本特開(kāi)2007-245283號(hào)公報(bào)中，當(dāng)估計(jì)工件的姿態(tài)時(shí)，從所限定的多個(gè)穩(wěn)定姿態(tài)中選擇姿態(tài)，由此意圖縮短處理時(shí)間。
[0004]在日本特開(kāi)2010-186219號(hào)公報(bào)中，針對(duì)工件的各個(gè)姿態(tài)計(jì)算穩(wěn)定性，不使用表現(xiàn)具有低穩(wěn)定性的姿態(tài)的模板，由此意圖縮短處理時(shí)間。
[0005]在日本特許第3300092號(hào)公報(bào)中，以概率來(lái)預(yù)測(cè)用于預(yù)先確定工件的位置和/或姿態(tài)的參數(shù)可取的值，指定圖像中的運(yùn)算范圍和參數(shù)空間范圍，由此意圖提高運(yùn)算的效率。
[0006]為了由機(jī)器人從以預(yù)定狀態(tài)(例如不規(guī)則狀態(tài))放置的工件中依次拾取工件，必須精確地估計(jì)工件的位置和/或姿態(tài)。
[0007]日本特開(kāi)2007-245283號(hào)公報(bào)中的技術(shù)將估計(jì)的工件的姿態(tài)限定為與穩(wěn)定姿態(tài)類似。因此，該技術(shù)無(wú)法精確地估計(jì)已經(jīng)很大程度地偏離了所假設(shè)的穩(wěn)定姿態(tài)的工件的姿態(tài)。例如，當(dāng)由于工件互相交疊等原因而使得發(fā)生了很大程度地偏離了穩(wěn)定姿態(tài)的姿態(tài)時(shí)，出現(xiàn)問(wèn)題。此外，日本特開(kāi)2007-245283號(hào)公報(bào)的技術(shù)沒(méi)有針對(duì)各個(gè)穩(wěn)定姿態(tài)考慮發(fā)生該姿態(tài)的可能性(發(fā)生可能性)，因此無(wú)法使用發(fā)生可能性來(lái)降低對(duì)于姿態(tài)的錯(cuò)誤估計(jì)。
[0008]此外，在日本特開(kāi)2010-186219號(hào)公報(bào)中，當(dāng)形成模板時(shí)使用姿態(tài)的穩(wěn)定性，但是該穩(wěn)定性不用于獲得姿態(tài)的精確估計(jì)結(jié)果。因此，沒(méi)有考慮通過(guò)使用針對(duì)姿態(tài)估計(jì)的穩(wěn)定性來(lái)降低姿態(tài)的錯(cuò)誤估計(jì)。
[0009]此外，在日本特許第3300092號(hào)公報(bào)中，以概率來(lái)預(yù)測(cè)用于預(yù)先確定工件的位置和/或姿態(tài)的參數(shù)可取的值，但是沒(méi)有考慮通過(guò)使用預(yù)測(cè)來(lái)降低姿態(tài)的錯(cuò)誤估計(jì)。

【發(fā)明內(nèi)容】

[0010]針對(duì)上述問(wèn)題提出了本發(fā)明，并且本發(fā)明的目標(biāo)在于提供一種當(dāng)估計(jì)工件的狀態(tài)(位置、姿態(tài)等)時(shí)，實(shí)現(xiàn)降低錯(cuò)誤估計(jì)的機(jī)制。
[0011]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。
【專利附圖】

【附圖說(shuō)明】
[0012]圖1是例示根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。[0013]圖2是用于例示本發(fā)明的第一實(shí)施例并且描述代表性姿態(tài)的示意性示圖。
[0014]圖3A、圖3B、圖3C、圖3D和圖3E是例示本發(fā)明的第一實(shí)施例并且例示處于某些代表性姿態(tài)的圖1中的工件的狀態(tài)的示意性示圖。
[0015]圖4A和圖4B是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的照相機(jī)拍攝的圖像的一個(gè)示例的示意性示圖。
[0016]圖5是例示本發(fā)明的第一實(shí)施例并且例示在圖1中的工件狀態(tài)識(shí)別處理單元中執(zhí)行的處理過(guò)程的一個(gè)示例的流程圖。
[0017]圖6是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的工件狀態(tài)識(shí)別處理單元進(jìn)行的位置姿態(tài)的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0018]圖7是例示本發(fā)明的第一實(shí)施例并且例示針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程的一個(gè)示例的流程圖。
[0019]圖8是例示本發(fā)明的第一實(shí)施例并且例示存儲(chǔ)在圖1中的發(fā)生可能性存儲(chǔ)單元中的發(fā)生可能性的一個(gè)示例的示意性示圖。
[0020]圖9A和圖9B是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的工件狀態(tài)估計(jì)單元進(jìn)行的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0021]圖10是例示根據(jù)本發(fā)明的第二實(shí)施例的工件拾取系統(tǒng)的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。
[0022]圖11是例示根據(jù)本發(fā)明的第二實(shí)施例的工件拾取系統(tǒng)中的處理過(guò)程的一個(gè)示例的流程圖。
[0023]圖12是例示本發(fā)明的第二實(shí)施例并且例示由圖10中的工件狀態(tài)估計(jì)單元進(jìn)行的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0024]圖13是例示根據(jù)本發(fā)明的第三實(shí)施例的工件拾取系統(tǒng)的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。
[0025]圖14是例示本發(fā)明的第三實(shí)施例并且例示針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程的一個(gè)示例的流程圖。
[0026]圖15是例示根據(jù)本發(fā)明的第五實(shí)施例的圖像處理裝置的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。
【具體實(shí)施方式】
[0027]下面將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。
[0028](第一實(shí)施例)
[0029]圖1是例示根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置100-1的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。
[0030]圖1示出了工件101。在本實(shí)施例中，以下將描述估計(jì)工件101的位置姿態(tài)的示例。這里，“位置姿態(tài)”可以被理解為“位置和姿態(tài)”。
[0031]示出了托盤102。多個(gè)工件101以不規(guī)則狀態(tài)裝載在托盤102上。然而，在本實(shí)施例中，工件101互相不交疊。在第三實(shí)施例中將描述工件互相交疊的所謂的散裝(以堆積狀態(tài)凌亂地放置多個(gè)工件的狀態(tài))的示例。
[0032]示出了被用作圖像輸入單元的照相機(jī)103。照相機(jī)103被固定地安裝在未示出的系統(tǒng)中的框的上部、或者天花板的下面等，并且能夠?qū)ν斜P102和裝載在托盤102上的多個(gè)工件101的狀態(tài)拍照，以生成圖像(圖像數(shù)據(jù))。
[0033]示出了圖像處理單元104。圖像處理單元104包括如圖1中所示的照相機(jī)控制單元105、工件狀態(tài)估計(jì)單元106、發(fā)生可能性存儲(chǔ)單元109以及可靠度計(jì)算單元110。
[0034]示出了照相機(jī)控制單元105。照相機(jī)控制單元105執(zhí)行控制以取入由照相機(jī)103拍攝的圖像(圖像數(shù)據(jù))。
[0035]示出了工件狀態(tài)估計(jì)單元106。工件狀態(tài)估計(jì)單元106包括如圖1所示的字典數(shù)據(jù)存儲(chǔ)單元107和工件狀態(tài)識(shí)別處理單元108。工件狀態(tài)估計(jì)單元106使照相機(jī)103拍攝的圖像經(jīng)受稍后將描述的預(yù)定處理，并估計(jì)多個(gè)工件101的位置和/或姿態(tài)。
[0036]示出了字典數(shù)據(jù)存儲(chǔ)單元107。字典數(shù)據(jù)存儲(chǔ)單元107將通過(guò)從所有方向拍攝工件101 (就像將工件101包裹到球形上一樣)而獲得的圖像，與姿態(tài)信息(包裹工件101的球體上的拍攝方向，換句話說(shuō)，球體上的緯度和經(jīng)度)相關(guān)聯(lián)，并將相關(guān)聯(lián)的信息存儲(chǔ)作為字典數(shù)據(jù)。但是，實(shí)際上，無(wú)法準(zhǔn)備從所有方向連續(xù)拍攝的圖像，因此，導(dǎo)致將以一定度數(shù)的間隔采樣的代表性姿態(tài)的圖像存儲(chǔ)作為字典數(shù)據(jù)。
[0037]圖2是用于例示本發(fā)明的第一實(shí)施例并且描述代表性姿態(tài)的示意性示圖。
[0038]圖2例示了被稱為網(wǎng)格球頂(geodetic dome)的觀點(diǎn)。在本實(shí)施例中，基本上使用規(guī)則二十面體作為該網(wǎng)格球頂，并且當(dāng)工件101被布置在該中心位置時(shí)從規(guī)則二十面體的各代表點(diǎn)觀看的方向(姿態(tài))被定義為代表性姿態(tài)。這里，例如各個(gè)頂點(diǎn)和各個(gè)面的中心點(diǎn)可以用作代表點(diǎn)。在規(guī)則二十面體中，頂點(diǎn)的數(shù)量是16，面的數(shù)量是20，因此，能夠定義從總共36個(gè)方向觀看的代表性姿態(tài)。此外，還需要針對(duì)各代表性姿態(tài)考慮從各個(gè)方向觀看時(shí)的面內(nèi)旋轉(zhuǎn)。例如，當(dāng)以每18度角的間隔區(qū)分面內(nèi)旋轉(zhuǎn)時(shí)，存在20個(gè)面內(nèi)旋轉(zhuǎn)的姿態(tài)。因此，在這種情況下，存在36X20=720個(gè)姿態(tài)。
[0039]圖3A至圖3E是例示本發(fā)明的第一實(shí)施例并且例示處于幾個(gè)代表性姿態(tài)的圖1中的工件101的狀態(tài)的示意性示圖。
[0040]以不規(guī)則狀態(tài)布置的工件101具有相對(duì)于照相機(jī)103面向任何方向的可能性，并且還具有在與這些方向相對(duì)應(yīng)的面內(nèi)旋轉(zhuǎn)任何角度的可能性。因此，字典數(shù)據(jù)存儲(chǔ)單元107具有從所有方向(在本實(shí)施例中，36個(gè)方向)獲得的圖像作為字典數(shù)據(jù)。能夠通過(guò)使用仿射變換處理而容易地基于代表性姿態(tài)的圖像生成面內(nèi)旋轉(zhuǎn)的工件的圖像，因此，字典數(shù)據(jù)存儲(chǔ)單元107僅存儲(chǔ)從36個(gè)方向拍攝的工件101的圖像即可?？梢栽趯?shí)際處理時(shí)生成進(jìn)行了面內(nèi)旋轉(zhuǎn)的工件的圖像。
[0041]描述將返回到圖1。
[0042]示出了工件狀態(tài)識(shí)別處理單元108。工件狀態(tài)識(shí)別處理單元108從照相機(jī)控制單元105接收?qǐng)D像(圖像數(shù)據(jù))，并執(zhí)行用于估計(jì)圖像中的工件的位置姿態(tài)的處理。
[0043]圖4A和圖4B是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的照相機(jī)103拍攝的圖像的一個(gè)示例的示意性示圖。在圖4A中，拍攝了不規(guī)則布置的多個(gè)工件101。
[0044]這里，將參照?qǐng)D4A、圖4B和圖5描述在工件狀態(tài)識(shí)別處理單元108中執(zhí)行的用于估計(jì)工件101的位置和/或姿態(tài)的技術(shù)。
[0045]工件狀態(tài)識(shí)別處理單元108使用存儲(chǔ)在字典數(shù)據(jù)存儲(chǔ)單元107中的字典數(shù)據(jù)作為模板，并且在使模板掃描圖像(圖4A)的同時(shí)執(zhí)行相關(guān)處理。圖4B中例示了該狀態(tài)。在圖4B中，示出了圖像(圖像數(shù)據(jù))400和特定的字典數(shù)據(jù)(模板)401。
[0046]工件狀態(tài)識(shí)別處理單元108根據(jù)圖5所示的流程圖估計(jì)以預(yù)定狀態(tài)放置的多個(gè)工件101中的各個(gè)的位置和/或姿態(tài)。
[0047]圖5是例示本發(fā)明的第一實(shí)施例并且例示在圖1的工件狀態(tài)識(shí)別處理單元108中執(zhí)行的處理的過(guò)程的一個(gè)示例的流程圖。下面將描述圖5。
[0048]首先，在步驟S501中，工件狀態(tài)識(shí)別處理單元108從字典數(shù)據(jù)存儲(chǔ)單元107獲得與初始姿態(tài)相對(duì)應(yīng)的字典數(shù)據(jù)。
[0049]接著，在步驟S502中，工件狀態(tài)識(shí)別處理單元108將字典數(shù)據(jù)作為模板設(shè)置到初始掃描位置。在本實(shí)施例中，例如，如圖4B中所例示的，模板(401)應(yīng)當(dāng)被設(shè)置在圖像(400 )的左上位置。
[0050]接著，在步驟S503中，工件狀態(tài)識(shí)別處理單元108執(zhí)行當(dāng)前設(shè)置在預(yù)定位置的模板和圖像(圖像數(shù)據(jù))之間的相關(guān)運(yùn)算，并計(jì)算相關(guān)值。在本實(shí)施例中，沒(méi)有特別限定相關(guān)運(yùn)算的技術(shù)，因此可以使用已知技術(shù)。可以通過(guò)例如歸一化相關(guān)運(yùn)算來(lái)計(jì)算相關(guān)值。
[0051]接著，在步驟S504中，工件狀態(tài)識(shí)別處理單元108將模板設(shè)置到圖像中的所有位置，并確定是否計(jì)算了相關(guān)值。
[0052]當(dāng)作為步驟S504中的確定的結(jié)果，確定尚未將模板設(shè)置到圖像中的所有位置時(shí)，處理進(jìn)入到步驟S505。
[0053]當(dāng)處理進(jìn)入到步驟S505時(shí)，工件狀態(tài)識(shí)別處理單元108將模板移動(dòng)至下一個(gè)掃描位置，并更新設(shè)置了模板的位置。之后，過(guò)程切換至步驟S503的處理。
[0054]另一方面，當(dāng)作為步驟S504中的確定的結(jié)果，確定已經(jīng)將模板設(shè)置到圖像中的所有位置時(shí)，處理進(jìn)入到步驟S506。
[0055]當(dāng)處理進(jìn)入到步驟S506時(shí)，工件狀態(tài)識(shí)別處理單元108設(shè)置所有的字典數(shù)據(jù)作為模板，并確定是否計(jì)算了相關(guān)值。
[0056]當(dāng)作為步驟S506中的確定結(jié)果，沒(méi)有將所有字典數(shù)據(jù)設(shè)置為模板時(shí)，處理進(jìn)入到步驟S507。
[0057]當(dāng)處理進(jìn)入到步驟S507時(shí)，工件狀態(tài)識(shí)別處理單元108從字典數(shù)據(jù)存儲(chǔ)單元107獲得與下一個(gè)姿態(tài)相對(duì)應(yīng)的字典數(shù)據(jù)，并更新字典數(shù)據(jù)。在這種情況下，還考慮面內(nèi)旋轉(zhuǎn)來(lái)更新字典數(shù)據(jù)。換句話說(shuō)，可能通過(guò)使存儲(chǔ)在字典數(shù)據(jù)存儲(chǔ)單元107中的字典數(shù)據(jù)(模板)經(jīng)受仿射變換來(lái)轉(zhuǎn)換為新的字典數(shù)據(jù)。例如，當(dāng)如上所述，針對(duì)36個(gè)方向中的各個(gè)來(lái)考慮以每18度角為間隔的面內(nèi)旋轉(zhuǎn)時(shí)，應(yīng)當(dāng)設(shè)置總共720個(gè)字典數(shù)據(jù)作為模板。之后，過(guò)程切換至步驟S502的處理。
[0058]另一方面，當(dāng)作為步驟S506中的確定的結(jié)果，將所有字典數(shù)據(jù)設(shè)置為模板時(shí)，處理進(jìn)入到步驟S508。
[0059]當(dāng)處理進(jìn)入到步驟S508時(shí)，工件狀態(tài)識(shí)別處理單元108將目前為止獲得的相關(guān)值以降序順序排序，并針對(duì)結(jié)果執(zhí)行閾值處理。具體地說(shuō)，在本實(shí)施例中，丟棄小于閾值的相關(guān)值，僅保存大于等于閾值的相關(guān)值。
[0060]工件狀態(tài)識(shí)別處理單元108根據(jù)上述圖5中的步驟S501至S508的處理過(guò)程估計(jì)多個(gè)工件101的位置和姿態(tài)。
[0061]圖6是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的工件狀態(tài)識(shí)別處理單元108進(jìn)行的位置姿態(tài)的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0062]圖6是如下處理的示例，其中，輸出了 η個(gè)位置姿態(tài)的估計(jì)結(jié)果，并且估計(jì)的位置信息(橫向位置和縱向位置)和估計(jì)的姿態(tài)信息(網(wǎng)格球頂上的緯度和經(jīng)度以及該位置處的面內(nèi)旋轉(zhuǎn)角度)均被例示作為估計(jì)結(jié)果。此外，在圖6中，針對(duì)估計(jì)結(jié)果中的各個(gè)示出的分?jǐn)?shù)代表由工件狀態(tài)識(shí)別處理單元108計(jì)算的相關(guān)值。在圖6中，例示了 η個(gè)位置姿態(tài)的估計(jì)結(jié)果，但是該數(shù)量通常不同于工件101的數(shù)量?？紤]到原因是由于拍照中的噪聲、亮度條件等而存在姿態(tài)被估計(jì)失敗的工件(相關(guān)值針對(duì)所有模板都很低的工件)。根據(jù)類似的原因，原因還可能是存在針對(duì)多個(gè)姿態(tài)都輸出高相關(guān)值的工件，或者工件狀態(tài)識(shí)別處理單元108不定期地導(dǎo)致將高的相關(guān)值輸出至不存在工件的位置。
[0063]工件狀態(tài)識(shí)別處理單元108將關(guān)于圖6中所例示的位置姿態(tài)的估計(jì)結(jié)果的信息輸出至可靠度計(jì)算單元110。
[0064]描述將返回至圖1。
[0065]示出了發(fā)生可能性存儲(chǔ)單元109。發(fā)生可能性存儲(chǔ)單元109將與每個(gè)姿態(tài)相關(guān)聯(lián)的發(fā)生可能性存儲(chǔ)于其中?？梢酝ㄟ^(guò)布置工件的反復(fù)實(shí)驗(yàn)來(lái)預(yù)先計(jì)算與每個(gè)姿態(tài)相關(guān)聯(lián)的發(fā)生可能性。由于能夠通過(guò)反復(fù)實(shí)驗(yàn)來(lái)創(chuàng)建與示出發(fā)生該姿態(tài)多么頻繁的發(fā)生頻率相關(guān)的姿態(tài)直方圖，因此能夠基于姿態(tài)直方圖來(lái)計(jì)算發(fā)生可能性。
[0066]下面將參照?qǐng)D7來(lái)描述針對(duì)該發(fā)生可能性的計(jì)算處理的過(guò)程。
[0067]圖7是例示本發(fā)明的第一實(shí)施例并且例示針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程的一個(gè)示例的流程圖。下面將描述圖7。
[0068]首先，在步驟S701中，圖像處理單元104例如將實(shí)驗(yàn)的次數(shù)初始化為“0”，并且同時(shí)將姿態(tài)直方圖中的各個(gè)直方柱(bin)的值初始化為“ O ”。
[0069]接著，在步驟S702中，圖像處理單元104例如通過(guò)使用隨機(jī)數(shù)來(lái)隨機(jī)選擇(確定)姿態(tài)。
[0070]接著，在步驟S703中，具有在步驟S702中選擇的姿態(tài)的工件101被從預(yù)定高度向托盤102丟落。
[0071]當(dāng)丟落到托盤102上的工件101的運(yùn)動(dòng)停止時(shí)，接著在步驟S704中，測(cè)定工件101的姿態(tài)。該姿態(tài)可以由人工目測(cè)。作為另選方案，可以采用使用上述工件狀態(tài)識(shí)別處理單元108并且將例如分?jǐn)?shù)被估計(jì)為最高的姿態(tài)確定為姿態(tài)的測(cè)定方法。
[0072]在結(jié)束了姿態(tài)的測(cè)定之后，接著在步驟S705中，圖像處理單元104例如執(zhí)行對(duì)姿態(tài)直方圖中針對(duì)測(cè)定結(jié)果的姿態(tài)設(shè)置的直方柱中的頻率值加“I”的處理。
[0073]接著，在步驟S706中，圖像處理單元104例如執(zhí)行對(duì)實(shí)驗(yàn)的次數(shù)加“ I ”的處理。
[0074]接著，在步驟S707中，圖像處理單元104例如確定實(shí)驗(yàn)的次數(shù)是否達(dá)到了預(yù)定次數(shù)。
[0075]當(dāng)作為步驟S707中的確定的結(jié)果，實(shí)驗(yàn)的次數(shù)未達(dá)到預(yù)定次數(shù)時(shí)，處理進(jìn)入到步驟 S708。
[0076]當(dāng)處理進(jìn)入到步驟S708時(shí)，移除在步驟S703中丟落到托盤102上的工件101，過(guò)程切換到步驟S702中的處理，并且反復(fù)實(shí)驗(yàn)。在步驟S708中移除托盤102上的工件的原因在于，在本實(shí)施例中，假定工件101以不規(guī)則狀態(tài)裝載在托盤102中，但是工件之間互相不交疊這種情況。[0077]另一方面，當(dāng)作為步驟S707中的確定的結(jié)果，實(shí)驗(yàn)的次數(shù)達(dá)到預(yù)定次數(shù)時(shí)，處理進(jìn)入到步驟S709。
[0078]當(dāng)處理進(jìn)入到步驟S709時(shí)，圖像處理單元104例如將獲得的姿態(tài)直方圖歸一化(將各個(gè)直方柱中的頻率值除以實(shí)驗(yàn)的次數(shù))，以獲得發(fā)生可能性。
[0079]根據(jù)圖7中的步驟S701至S709中的上述處理過(guò)程而獲得的發(fā)生可能性被事先存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元109中。
[0080]圖8是例示本發(fā)明的第一實(shí)施例并且例示存儲(chǔ)在圖1中的發(fā)生可能性存儲(chǔ)單元109中的發(fā)生可能性的一個(gè)示例的示意性示圖。
[0081]在圖8中，在本實(shí)施例中，姿態(tài)應(yīng)當(dāng)是720種類型(36個(gè)方向X每隔18度角的面內(nèi)旋轉(zhuǎn))(m=720)。此外，姿態(tài)的索引與姿態(tài)(換句話說(shuō)，緯度和經(jīng)度、以及面內(nèi)旋轉(zhuǎn))彼此
--對(duì)應(yīng)。
[0082]描述將返回到圖1。
[0083]示出了可靠度計(jì)算單元110?？煽慷扔?jì)算單元110根據(jù)從工件狀態(tài)估計(jì)單元106輸出的關(guān)于位置姿態(tài)的估計(jì)結(jié)果的信息(圖6)以及存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元109中的關(guān)于發(fā)生可能性的信息(圖8)，針對(duì)估計(jì)的位置姿態(tài)計(jì)算可靠度。這里描述的可靠度是如下的指標(biāo):可靠度越高，錯(cuò)誤的估計(jì)越少。因此，被賦予高可靠度的位置姿態(tài)的估計(jì)結(jié)果，導(dǎo)致以高比率表示某一工件的正確的位置姿態(tài)。
[0084]這里，關(guān)于計(jì)算可靠度的方法，考慮以下粗略劃分的兩種情況(第一種情況和第二種情況)，以使得描述清楚。
[0085]第一種情況是:針對(duì)相同的估計(jì)位置，從工件狀態(tài)估計(jì)單元106輸出多個(gè)姿態(tài)，作為估計(jì)結(jié)果。在這種情況下，假定多個(gè)估計(jì)姿態(tài)中的一個(gè)估計(jì)姿態(tài)是工件的真實(shí)姿態(tài)，并且其他的姿態(tài)估計(jì)結(jié)果為錯(cuò)誤的估計(jì)。因此，可靠度計(jì)算的一個(gè)目標(biāo)是對(duì)真實(shí)姿態(tài)的姿態(tài)估計(jì)結(jié)果設(shè)置高的可靠度，而對(duì)錯(cuò)誤的估計(jì)的姿態(tài)估計(jì)結(jié)果設(shè)置低的可靠度。
[0086]第二種情況是:針對(duì)多個(gè)估計(jì)位置中的各個(gè)，從工件狀態(tài)估計(jì)單元106輸出一個(gè)姿態(tài)，作為估計(jì)結(jié)果。在這種情況下，從最開(kāi)始假定存在多個(gè)工件，因此期望存在與多個(gè)工件的真實(shí)姿態(tài)中的各個(gè)相對(duì)應(yīng)的這種姿態(tài)估計(jì)結(jié)果。然而，考慮到估計(jì)結(jié)果實(shí)際上包括錯(cuò)誤估計(jì)的姿態(tài)估計(jì)結(jié)果，并且可靠度計(jì)算的目標(biāo)是對(duì)這種估計(jì)結(jié)果設(shè)置低的可靠度。
[0087]圖9A和圖9B是例示本發(fā)明的第一實(shí)施例并且例示由圖1中的工件狀態(tài)估計(jì)結(jié)果106進(jìn)行的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0088]圖9A例示了在上述第一種情況中，由工件狀態(tài)估計(jì)單元106進(jìn)行的估計(jì)結(jié)果的一個(gè)示例。圖9A例示了如下情況:針對(duì)圖像中的左上位置的工件估計(jì)了 η種姿態(tài)(在圖中省略了其他工件的姿態(tài)估計(jì)結(jié)果)。此外，在圖9Α中，被示出作為分?jǐn)?shù)的S_A1、S_A2、...和S_An以降序排列。在這種情況下，考慮如下方法，對(duì)具有最高發(fā)生可能性的姿態(tài)賦予高可靠度，對(duì)其他姿態(tài)賦予低可靠度。這種考慮基于如下觀點(diǎn):很自然地估計(jì)最容易發(fā)生(具有高發(fā)生可能性)的姿態(tài)發(fā)生。例如，在圖9A的情況中，考慮這種技術(shù):首先通過(guò)參考圖9A所示的表來(lái)研究與估計(jì)的姿態(tài)P_A1至P_An中的各個(gè)相對(duì)應(yīng)的發(fā)生可能性；然后對(duì)具有最高發(fā)生可能性的估計(jì)姿態(tài)(例如，估計(jì)姿態(tài)P_A1)設(shè)置高可靠度，而對(duì)其他估計(jì)姿態(tài)(例如，估計(jì)姿態(tài)P-A2至P-A1)設(shè)置低可靠度。此外，還考慮在不僅考慮發(fā)生可能性還考慮當(dāng)估計(jì)了姿態(tài)時(shí)獲得的分?jǐn)?shù)的情況下來(lái)計(jì)算可靠度。例如，考慮如下這種方法:對(duì)這種分?jǐn)?shù)值包括在預(yù)定數(shù)量的較高順序的分?jǐn)?shù)值中的姿態(tài)估計(jì)結(jié)果中、具有最高發(fā)生可能性的姿態(tài)賦予高可靠度，而對(duì)其他姿態(tài)賦予低可靠度。此外，考慮如下這種方法:針對(duì)分?jǐn)?shù)值設(shè)置預(yù)定閾值，對(duì)分?jǐn)?shù)值超過(guò)閾值的姿態(tài)估計(jì)結(jié)果中、具有最高發(fā)生可能性的姿態(tài)賦予高可靠度，而對(duì)其他姿態(tài)賦予低可靠度。此外，可以采用分?jǐn)?shù)值和發(fā)生可能性的加權(quán)和作為可靠度。在這種情況下，對(duì)于權(quán)重，可以通過(guò)事先不同程度地改變權(quán)重的值來(lái)進(jìn)行實(shí)驗(yàn)，并且采用示出最好的性能的情況的值(可靠度越大，錯(cuò)誤估計(jì)的結(jié)果越低)。
[0089]圖9B例示了在上述第二種情況下，工件狀態(tài)估計(jì)單元106的估計(jì)結(jié)果的一個(gè)示例。圖9B例示了分別針對(duì)圖像中的9個(gè)位置估計(jì)姿態(tài)的情況。(圖9B例示了如下示例:估計(jì)結(jié)果B9是沒(méi)有工件的地方的結(jié)果，但是由于噪聲等原因而發(fā)生了錯(cuò)誤估計(jì)。)在這種情況下，考慮如下這種技術(shù):對(duì)發(fā)生可能性小于某一閾值的姿態(tài)設(shè)置低可靠度，而對(duì)發(fā)生可能性等于或大于該閾值的姿態(tài)設(shè)置高可靠度。這基于如下觀點(diǎn):由于發(fā)生小的發(fā)生可能性的姿態(tài)是稀有情況，因此懷疑估計(jì)結(jié)果(對(duì)該估計(jì)結(jié)果設(shè)置低可靠度)，并且相對(duì)信任被估計(jì)為容易發(fā)生的姿態(tài)(具有高發(fā)生可能性的姿態(tài))的結(jié)果(對(duì)該結(jié)果設(shè)置高可靠度)。例如，在圖9B的情況下，首先，參照?qǐng)D9B中的表研究與估計(jì)的姿態(tài)P_B1至P_B9中的各個(gè)相對(duì)應(yīng)的發(fā)生可能性。作為結(jié)果，例如，當(dāng)估計(jì)的姿態(tài)P_B8和P_B9的發(fā)生可能性小于閾值時(shí)，對(duì)估計(jì)的姿態(tài)P_B1至P_B7設(shè)置高可靠度，對(duì)估計(jì)的姿態(tài)P_B8和P_B9設(shè)置低可靠度。在這種情況下，導(dǎo)致圖9B的圖中的左下部分中存在的工件的位置姿態(tài)沒(méi)有被估計(jì)具有高可靠度。因此，防止了錯(cuò)誤的估計(jì)結(jié)果進(jìn)入到具有高可靠度的估計(jì)結(jié)果中。這種機(jī)制在存在多個(gè)估計(jì)結(jié)果并且需要選擇可能是最小可能性錯(cuò)誤估計(jì)的一個(gè)估計(jì)結(jié)果的情況下(但是將在第二實(shí)施例中描述這種系統(tǒng)的詳情)十分有效。此外，在第二種情況中，還考慮了如下內(nèi)容:以與上述第一種情況中相同的方式，不僅考慮發(fā)生可能性，還考慮當(dāng)估計(jì)姿態(tài)時(shí)獲得的分?jǐn)?shù)來(lái)計(jì)算可靠度。例如，考慮如下這種方法:以發(fā)生可能性的降序順序，對(duì)這種分?jǐn)?shù)值包含在預(yù)定數(shù)量的較高順序分?jǐn)?shù)值中的估計(jì)結(jié)果，賦予高可靠度，而對(duì)其他估計(jì)結(jié)果賦予低可靠度。此外，考慮如下這種方法:針對(duì)分?jǐn)?shù)值設(shè)置預(yù)定閾值，以發(fā)生可能性的降序順序，對(duì)分?jǐn)?shù)值超過(guò)閾值的估計(jì)結(jié)果賦予高可靠度，而對(duì)其他估計(jì)結(jié)果賦予低可靠度。此外，可以以與上述第一種情況中相同的方式，采用分?jǐn)?shù)值和發(fā)生可能性的加權(quán)和作為可靠度。
[0090]此外，還考慮以下情況:針對(duì)要估計(jì)的包括第一種情況和第二種情況中的位置的組合的多個(gè)位置中的各個(gè)，輸出一個(gè)或多個(gè)姿態(tài)作為估計(jì)結(jié)果。在這種情況下，可以使用如下方法:將第一種情況下計(jì)算可靠度的技術(shù)與第二種情況下計(jì)算可靠度的技術(shù)相組合(但是將在第二實(shí)施例中描述這種情況中的詳情)。
[0091]與上述的方式一樣，可靠度計(jì)算單元110計(jì)算可靠度，將可靠度加到姿態(tài)估計(jì)結(jié)果中，并輸出增加了可靠度的估計(jì)結(jié)果。
[0092]接下來(lái)，將描述根據(jù)本實(shí)施例的圖像處理裝置100-1的操作序列。
[0093]首先，照相機(jī)103獲得攝取了工件101的圖像。
[0094]接下來(lái)，工件狀態(tài)估計(jì)單元106估計(jì)多個(gè)工件101的位置姿態(tài)。隨后，可靠度計(jì)算單元110針對(duì)由工件狀態(tài)估計(jì)單元106估計(jì)的多個(gè)工件101的位置姿態(tài)計(jì)算可靠度。
[0095]設(shè)置有可靠度的位置姿態(tài)的估計(jì)結(jié)果被從可靠度計(jì)算單元110輸出。
[0096]以上序列是根據(jù)本實(shí)施例的圖像處理裝置100-1的操作序列。
[0097]根據(jù)本實(shí)施例的圖像處理裝置通過(guò)比較發(fā)生可能性與姿態(tài)估計(jì)結(jié)果來(lái)計(jì)算工件101的位置姿態(tài)的可靠度。例如，當(dāng)作為針對(duì)某一工件101的位置姿態(tài)的估計(jì)結(jié)果獲得的位置姿態(tài)是具有低發(fā)生可能性的位置姿態(tài)時(shí)，圖像處理裝置確定工件101的位置姿態(tài)的估計(jì)結(jié)果可能是錯(cuò)誤的估計(jì)，并執(zhí)行對(duì)估計(jì)結(jié)果設(shè)置低可靠度的處理。此外，圖像處理裝置執(zhí)行通過(guò)使用當(dāng)估計(jì)工件101的位置姿態(tài)時(shí)所賦予的分?jǐn)?shù)(例如，相關(guān)值)，對(duì)具有高的發(fā)生可能性和高的分?jǐn)?shù)的估計(jì)結(jié)果賦予較高可靠度的處理。該處理導(dǎo)致被估計(jì)作為原始被估計(jì)為頻繁發(fā)生的姿態(tài)(具有高發(fā)生可能性的姿態(tài))的姿態(tài)估計(jì)結(jié)果更加值得信任。換句話說(shuō)，與使用當(dāng)估計(jì)工件101的位置姿態(tài)時(shí)獲得的分?jǐn)?shù)值作為該狀態(tài)下的可靠度的操作相比，圖像處理裝置通過(guò)考慮到目前為止獲得的知識(shí)(姿態(tài)是容易發(fā)生的姿態(tài)還是很少發(fā)生的姿態(tài))而計(jì)算姿態(tài)的可靠度，來(lái)提供具有高可靠度的估計(jì)結(jié)果。
[0098](第二實(shí)施例)
[0099]在上述第一實(shí)施例中，描述了如下示例:通過(guò)使用根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置來(lái)估計(jì)工件的位置姿態(tài)。在第二實(shí)施例中，將在下文描述使用估計(jì)結(jié)果的工件拾取系統(tǒng)。
[0100]圖10是例示根據(jù)本發(fā)明的第二實(shí)施例的工件拾取系統(tǒng)1000-1的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。在圖10中，與圖1中所示的結(jié)構(gòu)的相同結(jié)構(gòu)，由相同的附圖標(biāo)記指定。具體地說(shuō)，在圖10中，附圖標(biāo)記101至110代表與圖1中相同的結(jié)構(gòu)，因此省略對(duì)其描述。
[0101]圖10示出了機(jī)器人手臂111。
[0102]手機(jī)構(gòu)112是機(jī)器人手臂111的末端執(zhí)行器。
[0103]機(jī)器人手臂111和手機(jī)構(gòu)112構(gòu)成了基于機(jī)器人控制器114的控制按順序拾取裝載在托盤102上的多個(gè)工件101的工件拾取單元。
[0104]示出了目標(biāo)工件選擇單元113。目標(biāo)工件選擇單元113基于由圖像處理單元104估計(jì)的各個(gè)工件的位置和/或姿態(tài)的信息和可靠度，確定機(jī)器人手臂111和手機(jī)構(gòu)112本次拾取的工件(目標(biāo)工件)。目標(biāo)工件選擇單元113將確定的目標(biāo)工件的位置和姿態(tài)發(fā)送給機(jī)器人控制器114。選擇要拾取的工件的技術(shù)應(yīng)當(dāng)使得在圖像處理單元104估計(jì)位置姿態(tài)時(shí)被賦予了高可靠度的工件被選擇。
[0105]示出了機(jī)器人控制器114。機(jī)器人控制器114控制機(jī)器人手臂111和手機(jī)構(gòu)112，以使得從裝載在托盤102上的多個(gè)工件101中拾取被目標(biāo)工件選擇單元113選擇了的目標(biāo)工件。這里，機(jī)器人控制器114通常包括計(jì)算機(jī)，但是在本實(shí)施例中，不限制結(jié)構(gòu)。
[0106]接下來(lái)，下面將參照?qǐng)D11描述根據(jù)本實(shí)施例的工件拾取系統(tǒng)1000-1中的處理的過(guò)程。
[0107]圖11是例示根據(jù)本發(fā)明的第二實(shí)施例的工件拾取系統(tǒng)1000-1中的處理過(guò)程的一個(gè)示例的流程圖。下面將描述圖11。
[0108]首先，在步驟SllOl中，照相機(jī)103基于照相機(jī)控制單元105的控制拍攝裝載在托盤102上的工件101，并獲得攝取了工件101的圖像(圖像數(shù)據(jù))。然后，圖像處理單元104(照相機(jī)控制單元105)從照相機(jī)103獲得攝取了工件101的圖像(圖像數(shù)據(jù))。
[0109]隨后，在步驟S1102中，工件狀態(tài)估計(jì)單元106根據(jù)在步驟SllOl中獲得的圖像(圖像數(shù)據(jù))，估計(jì)多個(gè)工件101的位置姿態(tài)。
[0110]隨后，在步驟SI 103中，可靠度計(jì)算單元110根據(jù)從工件狀態(tài)估計(jì)單元106輸出的關(guān)于位置姿態(tài)的估計(jì)結(jié)果的信息、以及存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元109中的關(guān)于發(fā)生可能性的信息，針對(duì)所估計(jì)的位置姿態(tài)計(jì)算可靠度。
[0111]接下來(lái)，在步驟SI 104中，目標(biāo)工件選擇單元113基于在步驟SI 103中計(jì)算的可靠度，從估計(jì)了位置姿態(tài)的多個(gè)工件101中選擇本次要拾取的工件(目標(biāo)工件)。
[0112]接下來(lái)，在步驟SI 105中，目標(biāo)工件選擇單元113向機(jī)器人控制器114通知與在步驟SI 104中選擇的目標(biāo)工件相關(guān)的位置姿態(tài)。
[0113]接下來(lái)，在步驟SI 106中，機(jī)器人控制器114控制機(jī)器人手臂111和手機(jī)構(gòu)112，并執(zhí)行從裝載在托盤102上的多個(gè)工件101中拾取目標(biāo)工件的處理。
[0114]接下來(lái)，在步驟S1107中，工件拾取系統(tǒng)1000-1(例如圖像處理裝置或機(jī)器人控制器114)確定是否結(jié)束拾取處理?；谑欠袷叭×祟A(yù)定數(shù)量的工件來(lái)進(jìn)行該確定。
[0115]作為步驟S1107中的確定的結(jié)果，當(dāng)拾取處理未結(jié)束并且拾取處理繼續(xù)時(shí)，處理切換到步驟SllOl中的處理。
[0116]另一方面，作為步驟S1107中的確定的結(jié)果，當(dāng)拾取處理結(jié)束時(shí)，圖11中所示的流程圖的處理結(jié)束。
[0117]順便提及，可以如在第一實(shí)施例中描述的那樣來(lái)計(jì)算圖11中的步驟S1103中的可靠度，但是這里，將描述更普通的情況的操作，其中，針對(duì)多個(gè)估計(jì)位置中的各個(gè)，從工件狀態(tài)估計(jì)單元106輸出一個(gè)或多個(gè)姿態(tài)，作為估計(jì)結(jié)果。
[0118]圖12是例示本發(fā)明的第二實(shí)施例并且例示圖10中的工件狀態(tài)估計(jì)單元106的估計(jì)結(jié)果的一個(gè)示例的示意性示圖。
[0119]圖12例示了針對(duì)圖像中的9個(gè)位置中的各個(gè)估計(jì)一個(gè)或多個(gè)姿態(tài)的情況。(圖12例示了如下示例:估計(jì)結(jié)果C17是不存在工件的地方的結(jié)果，但是由于噪聲等原因發(fā)生了錯(cuò)誤估計(jì)。)在本實(shí)施例中，針對(duì)工件拾取系統(tǒng)1000-1估計(jì)工件的位置姿態(tài)，因此在圖11的步驟S1104中，目標(biāo)工件選擇單元113選擇估計(jì)的位置姿態(tài)沒(méi)有錯(cuò)誤的工件是很重要的。由于目標(biāo)工件選擇單元113基于可靠度選擇目標(biāo)工件，因此，在可靠度計(jì)算單元110中，對(duì)估計(jì)的位置姿態(tài)沒(méi)有錯(cuò)誤的工件賦予高可靠度，是很重要的。在這種情況下，在可靠度計(jì)算單元110中，考慮下面這種方法:對(duì)分?jǐn)?shù)值設(shè)置預(yù)定閾值，以發(fā)生可能性的降序順序、對(duì)分?jǐn)?shù)值超過(guò)閾值的估計(jì)結(jié)果賦予高可靠度，而對(duì)其他估計(jì)結(jié)果賦予低可靠度。在圖12中，例如，估計(jì)總共17種(Cl至C17)位置姿態(tài)，并且對(duì)于17種分?jǐn)?shù)值(S_C1至S_C17)執(zhí)行閾值處理。此時(shí)，假定C1、C5、C6、C15和C16的估計(jì)結(jié)果的分?jǐn)?shù)值超過(guò)閾值(由圖中的箭頭所示)。然后，可靠度計(jì)算單元110研究其發(fā)生可能性，并以發(fā)生可能性的降序順序，對(duì)估計(jì)結(jié)果賦予高可靠度。
[0120]在這種情況下，偶爾相互交替分?jǐn)?shù)值的大小關(guān)系和可靠度的大小關(guān)系。這基于以下觀點(diǎn)。
[0121]首先，考慮分?jǐn)?shù)值大到某種程度的估計(jì)結(jié)果(分?jǐn)?shù)值經(jīng)過(guò)了閾值處理的估計(jì)結(jié)果)相當(dāng)可靠。但是，由于針對(duì)工件拾取系統(tǒng)1000-1執(zhí)行估計(jì)，因此期望可靠度計(jì)算單元從分?jǐn)?shù)值大到某種程度的各估計(jì)結(jié)果中選擇特別確信不是錯(cuò)誤估計(jì)的估計(jì)結(jié)果。在這種情況下，確信選擇被估計(jì)為原始被估計(jì)很可能頻繁發(fā)生的姿態(tài)(具有高發(fā)生可能性的姿態(tài))的姿態(tài)的估計(jì)結(jié)果。換句話說(shuō)，上述方式是如下的觀點(diǎn):當(dāng)選擇具有較高的分?jǐn)?shù)值和較高的發(fā)生可能性(與預(yù)定閾值相比)的估計(jì)結(jié)果，而不選擇具有較高的分?jǐn)?shù)值(與預(yù)定閾值相比)而具有較低的發(fā)生可能性(與預(yù)定閾值相比)的估計(jì)結(jié)果，發(fā)生錯(cuò)誤估計(jì)的可能性更低。
[0122](第三實(shí)施例)
[0123]在上述第一和第二實(shí)施例中，工件101以不規(guī)則狀態(tài)裝載在托盤102上，并且假定工件互相不交疊這種情況。在第三實(shí)施例中，將描述如下這種情況:針對(duì)工件互相交疊的所謂的散裝的工件(以堆積狀態(tài)凌亂地放置多個(gè)工件的狀態(tài))估計(jì)位置姿態(tài)。順便提及，在針對(duì)第三實(shí)施例的以下描述中，將主要描述與第一和第二實(shí)施例中的內(nèi)容不同的內(nèi)容。
[0124]在第三實(shí)施例中，計(jì)算存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元中的發(fā)生可能性的方法，不同于第一實(shí)施例中的情況。在本實(shí)施例中，假定工件101互相交疊，因此，在圖7的處理過(guò)程中省略步驟S708。具體地說(shuō)，在圖7的步驟S707中，確定實(shí)驗(yàn)的次數(shù)是否達(dá)到了預(yù)定次數(shù)。當(dāng)實(shí)驗(yàn)的次數(shù)未達(dá)到預(yù)定次數(shù)時(shí)，過(guò)程切換到步驟S702的處理，并且反復(fù)進(jìn)行實(shí)驗(yàn)。此時(shí)，不移除先前在步驟S703中落入到托盤102上的工件101。當(dāng)作為圖7中的步驟S707中的確定的結(jié)果，實(shí)驗(yàn)的數(shù)量達(dá)到預(yù)定次數(shù)時(shí)，處理進(jìn)入到步驟S709。然后，圖像處理單元104例如歸一化獲得的姿態(tài)直方圖(將各個(gè)直方柱中的頻率值除以實(shí)驗(yàn)的次數(shù))，以獲得發(fā)生可能性。由于該處理過(guò)程，工件101被逐漸散裝，因此能夠計(jì)算處于散裝的狀態(tài)下的工件的發(fā)生可能性。通過(guò)使用由此獲得的發(fā)生可能性，也能夠針對(duì)處于散裝的狀態(tài)下的工件101計(jì)算本發(fā)明中的可靠度。
[0125]此外，還接受使用針對(duì)散裝的工件的各個(gè)數(shù)量(成堆的工件101的數(shù)量)計(jì)算發(fā)生可能性的方法。該方法是如下處理:假定成堆的工件101的最大數(shù)量，并針對(duì)包括最大數(shù)量或更少數(shù)量的工件101的處于散裝的狀態(tài)下的工件中的各個(gè)計(jì)算發(fā)生可能性。例如，當(dāng)假定成堆的工件101的數(shù)量的最大數(shù)量是30個(gè)時(shí)，該方法分別針對(duì)包括I個(gè)工件的堆、包括2個(gè)工件的堆、…以及包括30個(gè)工件的堆，計(jì)算發(fā)生可能性。換句話說(shuō)，計(jì)算30種發(fā)生可能性。
[0126]將參照?qǐng)D13描述使用針對(duì)散裝的工件的各個(gè)數(shù)量計(jì)算的發(fā)生可能性的上述工件拾取系統(tǒng)。
[0127]圖13是例示根據(jù)本發(fā)明的第三實(shí)施例的工件拾取系統(tǒng)1000-2的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。在圖13中，與圖10中類似的結(jié)構(gòu)由相同的附圖標(biāo)記指定。具體地說(shuō)，在圖13中，附圖標(biāo)記101至103、105至108、111至114具有與圖10中相同的結(jié)構(gòu)，因此將省略對(duì)其描述。
[0128]圖13示出了圖像處理單元1301。如圖13所示，圖像處理單元1301包括照相機(jī)控制單元105、工件狀態(tài)估計(jì)單元106、發(fā)生可能性存儲(chǔ)單元1302以及可靠度計(jì)算單元1303。
[0129]示出了發(fā)生可能性存儲(chǔ)單元1302，其與在根據(jù)第二實(shí)施例的工件拾取系統(tǒng)1000-1中的發(fā)生可能性存儲(chǔ)單元109的不同之處，僅僅在于存儲(chǔ)在單元中的發(fā)生可能性的數(shù)量。具體地說(shuō)，第一實(shí)施例和第二實(shí)施例中的發(fā)生可能性存儲(chǔ)單元109 (圖1和圖10)是在其中存儲(chǔ)一個(gè)發(fā)生可能性的單元，但是根據(jù)本實(shí)施例的發(fā)生可能性存儲(chǔ)單元1302應(yīng)當(dāng)在其中存儲(chǔ)成堆的工件101的最大數(shù)量(例如30個(gè))的發(fā)生可能性。
[0130]示出了可靠度計(jì)算單元1303。當(dāng)工件拾取操作開(kāi)始時(shí)，在可靠度計(jì)算單元1303中設(shè)置示出了多少工件散裝在托盤102上的散裝的工件的初始數(shù)量。可靠度計(jì)算單元1303在計(jì)算可靠度時(shí)，通過(guò)使用與構(gòu)成當(dāng)前堆的工件的數(shù)量相對(duì)應(yīng)的發(fā)生可能性來(lái)計(jì)算可靠度。例如，當(dāng)散裝的初始數(shù)量是30個(gè)時(shí)，在針對(duì)可靠度的第一計(jì)算處理中，可靠度計(jì)算單元1303通過(guò)使用包括30個(gè)工件的堆的發(fā)生可能性來(lái)計(jì)算可靠度。在接下來(lái)針對(duì)可靠度的計(jì)算處理中，由于已經(jīng)有一個(gè)工件從堆積的30個(gè)工件中被拾取，因此可靠度計(jì)算單元1303通過(guò)使用包括29個(gè)工件的堆的發(fā)生可能性計(jì)算可靠度?？煽慷扔?jì)算單元1303這樣來(lái)計(jì)算可靠度。
[0131]此外，還接受提供如下機(jī)構(gòu):盡管該機(jī)構(gòu)沒(méi)有例示在圖13中，但是該機(jī)構(gòu)確定機(jī)器人控制器114中的拾取的成功/不成功，并通過(guò)向可靠度計(jì)算單元1303反饋信息來(lái)計(jì)算散裝的工件的當(dāng)前數(shù)量。
[0132]在圖13中例示的工件拾取系統(tǒng)1000-2中，能夠使用與散裝的工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性，并且能夠更可靠地計(jì)算可靠度。具體地說(shuō)，當(dāng)拾取工件101的操作繼續(xù)并且托盤102上的工件101的數(shù)量變少時(shí)，可以預(yù)料到工件101之間以很低的頻率互相交疊，并且發(fā)生可能性接近在第一和第二實(shí)施例中計(jì)算的發(fā)生可能性。相反地，在拾取工件的操作剛開(kāi)始之后，工件101處于散裝的狀態(tài)，并且以很高的頻率互相交疊。因此，可以預(yù)料到發(fā)生可能性與在第一和第二實(shí)施例中計(jì)算的發(fā)生可能性非常不同。因此，充分考慮發(fā)生可能性的狀態(tài)根據(jù)散裝的工件的狀態(tài)而變化，并且因此，考慮使用與散裝的工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性是有效的。
[0133]下面將參照?qǐng)D14描述本實(shí)施例中針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程。
[0134]圖14是例示本發(fā)明的第三實(shí)施例并且例示針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程的一個(gè)示例的流程圖。下面將描述圖14。
[0135]首先，在步驟S1401中，圖像處理單元1301例如將實(shí)驗(yàn)的次數(shù)初始化為“0”，同時(shí)將針對(duì)散裝的工件的各個(gè)數(shù)量準(zhǔn)備的姿態(tài)直方圖中的各個(gè)直方柱的值初始化為“O”。
[0136]接下來(lái)，在步驟S1402中，圖像處理單元1301例如將示出散裝的工件的數(shù)量的計(jì)數(shù)器值初始化為“O”。
[0137]接下來(lái)，在步驟S1403中，圖像處理單元1301例如通過(guò)使用隨機(jī)數(shù)來(lái)隨機(jī)選擇(確定)姿態(tài)。
[0138]接下來(lái)，在步驟S1404中，具有在步驟S1403中選擇的姿態(tài)的工件101被從預(yù)定高度向托盤102丟落。
[0139]當(dāng)被丟落在托盤102上的工件101的運(yùn)動(dòng)停止時(shí)，隨后在步驟S1405中，測(cè)定工件101的姿態(tài)。該姿態(tài)可以由人工目測(cè)。作為選擇，可以采用如下測(cè)定方法:使用在第一實(shí)施例中描述的工件狀態(tài)識(shí)別處理單元108，并且確定例如分?jǐn)?shù)被估計(jì)為最高的姿態(tài)，作為姿態(tài)。
[0140]在姿態(tài)的測(cè)定結(jié)束之后，接下來(lái)在步驟S1406中，圖像處理單元1301例如進(jìn)行對(duì)針對(duì)測(cè)定結(jié)果的姿態(tài)設(shè)置的直方柱中的頻率值加“ I”的處理，該直方柱被認(rèn)為是姿態(tài)直方圖中的與示出散裝的工件的當(dāng)前數(shù)量的計(jì)數(shù)器值相對(duì)應(yīng)的直方柱。
[0141]接下來(lái)，在步驟S1407中，圖像處理單元1301例如執(zhí)行對(duì)示出散裝的工件的數(shù)量的計(jì)數(shù)器值加“I”的處理。
[0142]接下來(lái)，在步驟S1408中，圖像處理單元1301例如確定示出散裝的工件的數(shù)量的計(jì)數(shù)器值是否達(dá)到了預(yù)定值。
[0143]當(dāng)作為步驟S1408中的確定的結(jié)果，示出散裝的工件的數(shù)量的計(jì)數(shù)器值沒(méi)有達(dá)到預(yù)定值時(shí)，過(guò)程切換到步驟S1403的處理，并且反復(fù)進(jìn)行該處理。[0144]另一方面，當(dāng)作為步驟S1408中的確定的結(jié)果，示出散裝的工件的數(shù)量的計(jì)數(shù)器值達(dá)到了預(yù)定值時(shí)，處理進(jìn)入到步驟S1409。
[0145]當(dāng)處理進(jìn)入到步驟S1409時(shí)，圖像處理單元1301例如執(zhí)行對(duì)實(shí)驗(yàn)的次數(shù)加“I”的處理。
[0146]接下來(lái)，在步驟S1410中，圖像處理單元1301例如確定實(shí)驗(yàn)的次數(shù)是否達(dá)到了預(yù)定次數(shù)。
[0147]當(dāng)作為步驟S1410中的確定的結(jié)果，實(shí)驗(yàn)的次數(shù)未達(dá)到預(yù)定次數(shù)時(shí)，過(guò)程切換到步驟S1402的處理，并且反復(fù)進(jìn)行該處理。
[0148]另一方面，當(dāng)作為步驟S1410中的確定的結(jié)果，實(shí)驗(yàn)的次數(shù)達(dá)到了預(yù)定次數(shù)時(shí)，處理進(jìn)入到步驟S1411。
[0149]當(dāng)處理進(jìn)入到步驟S1411時(shí)，圖像處理單元1301例如使獲得的姿態(tài)直方圖中的各個(gè)歸一化(將各個(gè)直方柱中的頻率值除以實(shí)驗(yàn)的次數(shù))，以獲得發(fā)生可能性。
[0150]根據(jù)上述圖14中的步驟S1401至S1411中的處理過(guò)程獲得的發(fā)生可能性，被事先存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元1302中。
[0151](第四實(shí)施例)
[0152]在上述第一至第三實(shí)施例中，示出了圖7或圖14中例示的方法，作為計(jì)算要存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元(圖1和圖10中的109，以及圖13中的1302)中的發(fā)生可能性的技術(shù)，但是，計(jì)算要在本發(fā)明中使用的發(fā)生可能性的技術(shù)不限于此技術(shù)?？梢圆捎脤⒃诒緦?shí)施例中示出的通過(guò)使用仿真來(lái)計(jì)算發(fā)生可能性的技術(shù)。換句話說(shuō)，在第一至第三實(shí)施例中，通過(guò)反復(fù)實(shí)際的實(shí)驗(yàn)來(lái)計(jì)算發(fā)生可能性，但是，本實(shí)施例示出了如下情況的示例:通過(guò)利用工件101的三維幾何模型虛擬進(jìn)行實(shí)驗(yàn)的仿真，來(lái)計(jì)算發(fā)生可能性。
[0153]針對(duì)發(fā)生可能性的計(jì)算處理的過(guò)程的不同之處僅在于實(shí)際實(shí)驗(yàn)還是虛擬實(shí)驗(yàn)，因此，能夠根據(jù)與圖7或圖14中示出的相同的處理過(guò)程來(lái)計(jì)算發(fā)生可能性。然而，在本實(shí)施例中，在仿真中丟落工件101，因此基于仿真，被丟落之后的工件101的運(yùn)動(dòng)甚至之后停止了運(yùn)動(dòng)的工件101的位置姿態(tài)，都變得清楚。因此，仿真中的實(shí)驗(yàn)的優(yōu)勢(shì)在于能夠比使用實(shí)際工件101的實(shí)驗(yàn)更有效率地計(jì)算發(fā)生可能性。
[0154](第五實(shí)施例)
[0155]在上述第一至第四實(shí)施例中，采用了計(jì)算要事先存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元(圖1和圖10中的109以及圖13中的1302)中的發(fā)生可能性的技術(shù)，但是計(jì)算要在本發(fā)明中使用的發(fā)生可能性的技術(shù)不限于上述技術(shù)。該技術(shù)可以包括如在本實(shí)施例中所示出的，每當(dāng)識(shí)別了工件101的位置姿態(tài)就更新發(fā)生可能性的處理。
[0156]在本實(shí)施例中,將參照?qǐng)D15示出該技術(shù)的示例,其包括更新第一實(shí)施例中例示的圖像處理裝置100-1 (圖1)中的發(fā)生可能性的過(guò)程。
[0157]圖15是例示根據(jù)本發(fā)明的第五實(shí)施例的圖像處理裝置100-2的示意性結(jié)構(gòu)的一個(gè)示例的示意性示圖。在圖15中，由相同的附圖標(biāo)記指定與圖1中所示的結(jié)構(gòu)類似的結(jié)構(gòu)。具體地說(shuō)，在圖15中，附圖標(biāo)記101至103、105至108以及110具有與圖1中所示的相同的結(jié)構(gòu)，因此省略其描述。
[0158]圖15示出了圖像處理單元1501。如圖15中所示，圖像處理單元1501包括照相機(jī)控制單元105、工件狀態(tài)估計(jì)單元106、發(fā)生可能性更新單元1502、發(fā)生可能性存儲(chǔ)單元1503以及可靠度計(jì)算單元110。
[0159]示出了發(fā)生可能性更新單元1502。每當(dāng)工件狀態(tài)估計(jì)單元106估計(jì)工件101的位置姿態(tài)時(shí)，發(fā)生可能性更新單元1502接收估計(jì)結(jié)果，更新發(fā)生可能性，并將更新的發(fā)生可能性存儲(chǔ)到發(fā)生可能性存儲(chǔ)單元1503中。
[0160]示出了發(fā)生可能性存儲(chǔ)單元1503。在第一至第四實(shí)施例中例示的發(fā)生可能性存儲(chǔ)單元(圖1和圖10中的109以及圖13中的1302)是在其中存儲(chǔ)預(yù)先計(jì)算出的發(fā)生可能性的單元，但是本實(shí)施例中的發(fā)生可能性存儲(chǔ)單元1503被配置為能夠設(shè)置隨時(shí)從發(fā)生可能性更新單元1502發(fā)送的發(fā)生可能性。
[0161]接下來(lái)，將描述由發(fā)生可能性存儲(chǔ)單元1503和發(fā)生可能性更新單元1502進(jìn)行針對(duì)發(fā)生可能性的更新處理的過(guò)程。
[0162]首先，在初始狀態(tài)(在針對(duì)工件101的位置姿態(tài)的識(shí)別處理開(kāi)始之前)下，如在之前實(shí)施例中一樣，預(yù)先計(jì)算的發(fā)生可能性(被稱為“初始發(fā)生可能性”)被存儲(chǔ)在發(fā)生可能性存儲(chǔ)單元1503中。類似地，在初始狀態(tài)下，當(dāng)計(jì)算初始發(fā)生可能性時(shí)形成的姿態(tài)直方圖(針對(duì)每個(gè)姿態(tài)的頻率值的表)以及此時(shí)的實(shí)驗(yàn)的次數(shù)被存儲(chǔ)在發(fā)生可能性更新單元1502中。
[0163]接下來(lái)，當(dāng)在工件狀態(tài)估計(jì)單元106中開(kāi)始針對(duì)工件101的位置姿態(tài)的估計(jì)處理時(shí)，工件狀態(tài)估計(jì)單元106將估計(jì)的估計(jì)結(jié)果發(fā)送給發(fā)生可能性更新單元1502。發(fā)生可能性更新單元1502接收估計(jì)結(jié)果，并執(zhí)行對(duì)針對(duì)姿態(tài)設(shè)置的直方柱中的頻率值加“I”、還對(duì)實(shí)驗(yàn)的次數(shù)加“I”的處理。發(fā)生可能性更新單元1502還通過(guò)使獲得的姿態(tài)直方圖歸一化(將各個(gè)直方柱中的頻率值除以實(shí)驗(yàn)的次數(shù))來(lái)獲得新的發(fā)生可能性，并將發(fā)生可能性設(shè)置在發(fā)生可能性存儲(chǔ)單元1503中。在這種情況下，不管由工件狀態(tài)估計(jì)單元106估計(jì)的估計(jì)結(jié)果示出了正確的位置姿態(tài)，還是示出了錯(cuò)誤的位置姿態(tài)，都導(dǎo)致發(fā)生可能性被更新。因此，如果能夠通過(guò)一些單元(例如通過(guò)人工目測(cè)檢查)確定估計(jì)結(jié)果是否正確，則可以僅在估計(jì)了正確的位置姿態(tài)時(shí)更新發(fā)生可能性。之后，每當(dāng)工件狀態(tài)估計(jì)單元106估計(jì)工件101的位置姿態(tài)時(shí)，發(fā)生可能性更新單元反復(fù)進(jìn)行上述處理，并更新發(fā)生可能性。
[0164]因此，發(fā)生可能性更新單元1502在估計(jì)工件101的位置姿態(tài)的同時(shí)更新發(fā)生可能性，由此圖像處理單元1501能夠使發(fā)生可能性接近反映真實(shí)環(huán)境(工件101散裝的狀態(tài)等)的發(fā)生可能性，并且能夠更精確地計(jì)算接近真實(shí)環(huán)境的可靠度。當(dāng)計(jì)算初始發(fā)生可能性的環(huán)境與實(shí)際估計(jì)工件101的位置姿態(tài)的環(huán)境不同時(shí)，該方法是有效的。例如，當(dāng)托盤102的大小和形狀在當(dāng)計(jì)算初始發(fā)生可能性時(shí)的環(huán)境和實(shí)際環(huán)境之間不同時(shí)，或者當(dāng)由于向托盤102提供工件101的方法之間不同而使得散裝的工件的狀態(tài)改變時(shí)，該方法是有效的。
[0165]此外，如在本實(shí)施例中，能夠以在更新發(fā)生可能性時(shí)增加權(quán)重的形式，更新發(fā)生可能性。例如，在上述示例中，每當(dāng)工件狀態(tài)估計(jì)單元106估計(jì)工件101的位置姿態(tài)時(shí)，執(zhí)行向頻率值和實(shí)驗(yàn)的次數(shù)中的各個(gè)加“I”的這種處理，但是，能夠以通過(guò)改變所加的值來(lái)增加權(quán)重的形式來(lái)更新發(fā)生可能性。例如，如果將“2”加到頻率值和實(shí)驗(yàn)的次數(shù)中的各個(gè)，則能夠使發(fā)生可能性更快速地接近反映實(shí)際環(huán)境的發(fā)生可能性。
[0166]此外，在本實(shí)施例中，還可以通過(guò)使用針對(duì)發(fā)生可能性的更新功能，而省略應(yīng)當(dāng)事先原始執(zhí)行的初始發(fā)生可能性的計(jì)算。在這種情況下，當(dāng)在實(shí)際環(huán)境中估計(jì)工件101的位置姿態(tài)時(shí)，應(yīng)當(dāng)通過(guò)使用估計(jì)結(jié)果計(jì)算發(fā)生可能性。因此，假定當(dāng)估計(jì)了最開(kāi)始幾個(gè)工件101的位置姿態(tài)時(shí)，未計(jì)算可靠的發(fā)生可能性，但是在這個(gè)過(guò)程期間，可以對(duì)每個(gè)姿態(tài)設(shè)置相等的發(fā)生可能性。
[0167](其他實(shí)施例)
[0168]在到目前位置描述的實(shí)施例中，主要描述了使用關(guān)于工件101的姿態(tài)的發(fā)生可能性的情況。但是，要在本發(fā)明中使用的發(fā)生可能性不限于關(guān)于工件101的姿態(tài)的發(fā)生可能性。可以使用例如關(guān)于工件101的位置的發(fā)生可能性。此外，也可以使用取決于位置和姿態(tài)兩者的發(fā)生可能性。
[0169]例如，當(dāng)在很多情況下工件101布置在托盤102的中心的附近，并且不經(jīng)常布置在邊緣周圍時(shí)，在很多情況下工件存在于所拍攝的圖像的中心的附近，因此，通過(guò)使用關(guān)于位置的發(fā)生可能性來(lái)計(jì)算可靠度，是有效的。此外，當(dāng)工件被散裝，并且當(dāng)在堆的中心的附近容易發(fā)生的姿態(tài)與在堆的邊緣容易發(fā)生的姿態(tài)之間存在差異時(shí)，姿態(tài)的發(fā)生的頻率根據(jù)所拍攝的圖像中的位置而變化。因此，通過(guò)使用關(guān)于位置和姿態(tài)的發(fā)生可能性來(lái)計(jì)算可靠度，是有效的。
[0170]此外，在到目前位置描述的實(shí)施例中，示出了要由工件狀態(tài)識(shí)別處理單元108估計(jì)的工件101的位置是二維的情況，但是本發(fā)明的目的不限于二維位置。例如，可以估計(jì)工件101的三維位置。在這種情況下，可以使用還取決于位置的深度方向的發(fā)生可能性。此夕卜，如果在這種情況下有必要，則使用還能夠獲得距離信息的照相機(jī)，作為照相機(jī)103。
[0171]此外，在到目前為止描述的實(shí)施例中，示出了使用針對(duì)每個(gè)姿態(tài)準(zhǔn)備的模板的相關(guān)處理的情況，作為在工件狀態(tài)識(shí)別處理單元108中估計(jì)位置姿態(tài)的技術(shù)，但是本發(fā)明的目標(biāo)不限于上述情況。例如，可以使用如下技術(shù):在置換圖像中的位置的同時(shí)，通過(guò)執(zhí)行使用決策樹(shù)的姿態(tài)估計(jì)技術(shù)來(lái)估計(jì)位置和姿態(tài)。
[0172]此外，能夠在計(jì)算發(fā)生可能性時(shí)，通過(guò)從字典數(shù)據(jù)中刪除與被確定為具有比預(yù)定可能性更小的可能性的姿態(tài)相對(duì)應(yīng)的模板，來(lái)提高估計(jì)工件狀態(tài)識(shí)別處理單元108中的位置姿態(tài)的圖像處理的速度。此外，能夠通過(guò)從要掃描的對(duì)象中，排除被確定為具有比預(yù)定可能性(預(yù)定閾值)更小的可能性的位置，來(lái)提高工件狀態(tài)識(shí)別處理單元108中估計(jì)位置姿態(tài)的圖像處理的速度。
[0173]此外，在到目前為止描述的實(shí)施例中，通常由計(jì)算機(jī)來(lái)構(gòu)造圖像處理單元(圖1和圖10中的104、圖13中的1301以及圖15中的1501)，但是本發(fā)明不限于該結(jié)構(gòu)。此外，可以將機(jī)器人控制器114與圖像處理單元集成。
[0174]此外，還可以通過(guò)執(zhí)行以下處理來(lái)實(shí)現(xiàn)本發(fā)明。
[0175]具體地說(shuō)，該處理是:通過(guò)網(wǎng)絡(luò)或各種存儲(chǔ)介質(zhì)向系統(tǒng)或裝置提供實(shí)現(xiàn)上述實(shí)施例的功能的軟件(程序)，并且系統(tǒng)或裝置的計(jì)算機(jī)(或者CPU、MPU等)讀取并執(zhí)行程序。該程序和存儲(chǔ)該程序的計(jì)算機(jī)可讀記錄介質(zhì)(存儲(chǔ)介質(zhì))包含的本發(fā)明中。
[0176]此外，本發(fā)明的上述實(shí)施例僅僅示出了用于執(zhí)行本發(fā)明的實(shí)施例的示例，并且本發(fā)明的技術(shù)范圍不應(yīng)當(dāng)由這些示例來(lái)限制地理解。換句話說(shuō)，本發(fā)明可以在不背離技術(shù)思想或主要特征的范圍內(nèi)，以任何形式執(zhí)行。
[0177]本發(fā)明能夠提供當(dāng)估計(jì)工件的狀態(tài)時(shí)降低錯(cuò)誤估計(jì)的結(jié)構(gòu)。
[0178]具體地說(shuō)，本發(fā)明通過(guò)事先計(jì)算與工件的各個(gè)狀態(tài)(各個(gè)位置姿態(tài)等)相對(duì)應(yīng)的發(fā)生可能性，并使用該發(fā)生可能性，使得能夠降低對(duì)工件的狀態(tài)的錯(cuò)誤估計(jì)。更具體地說(shuō)，在本發(fā)明中用于計(jì)算工件的估計(jì)狀態(tài)的可靠度的方法包括:事先計(jì)算統(tǒng)計(jì)地示出要針對(duì)工件的各個(gè)狀態(tài)生成狀態(tài)的頻繁程度的發(fā)生可能性；存儲(chǔ)與工件的各個(gè)狀態(tài)相關(guān)聯(lián)的發(fā)生可能性；然后對(duì)以預(yù)定狀態(tài)放置的工件拍照；根據(jù)拍攝的圖像估計(jì)工件的狀態(tài)；并且通過(guò)先前存儲(chǔ)的發(fā)生可能性來(lái)檢查作為估計(jì)的結(jié)果獲得的工件的狀態(tài)。例如，當(dāng)作為估計(jì)的結(jié)果獲得的工件的狀態(tài)示出低發(fā)生可能性時(shí)，存在很大的可能性針對(duì)工件的狀態(tài)的估計(jì)是錯(cuò)誤的估計(jì)，因此估計(jì)的可靠度變低。
[0179]本發(fā)明的實(shí)施例還可以通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如，非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的用于執(zhí)行本發(fā)明的上述一個(gè)或更多個(gè)實(shí)施例的功能的計(jì)算機(jī)可執(zhí)行指令的系統(tǒng)或裝置的計(jì)算機(jī)來(lái)實(shí)現(xiàn)，以及通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)通過(guò)例如從存儲(chǔ)介質(zhì)中讀出并執(zhí)行用于執(zhí)行上述一個(gè)或更多個(gè)實(shí)施例的功能的計(jì)算機(jī)可執(zhí)行指令來(lái)執(zhí)行的方法來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可以報(bào)考中央處理單元(CPU)、微處理單元(MPU)或者其他電路中的一個(gè)或更多個(gè)，并且可以包括單獨(dú)的計(jì)算機(jī)或單獨(dú)的計(jì)算機(jī)處理器的網(wǎng)絡(luò)。例如，可以從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)向計(jì)算機(jī)提供計(jì)算機(jī)可執(zhí)行指令。存儲(chǔ)介質(zhì)可以包括，例如硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器、光盤(例如壓縮光盤(⑶)、數(shù)字通用磁盤(DVD )或者藍(lán)光磁盤(BD ) ?)、閃存存儲(chǔ)設(shè)備、存儲(chǔ)卡等。
[0180]雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。
【權(quán)利要求】
1.一種圖像處理裝置，其包括: 圖像輸入單元，被配置為輸入工件的圖像； 工件狀態(tài)估計(jì)單元，被配置為基于由所述圖像輸入單元輸入的圖像，估計(jì)所述工件的狀態(tài)； 發(fā)生可能性存儲(chǔ)單元，被配置為存儲(chǔ)預(yù)先與所述工件的各個(gè)狀態(tài)相關(guān)聯(lián)的發(fā)生可能性；以及 可靠度計(jì)算單元，被配置為基于由所述工件狀態(tài)估計(jì)單元估計(jì)的所述工件的狀態(tài)以及與所述工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性，來(lái)針對(duì)所估計(jì)的所述工件的狀態(tài)計(jì)算可靠度。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述發(fā)生可能性存儲(chǔ)單元被配置為針對(duì)所述工件的各個(gè)狀態(tài)存儲(chǔ)通過(guò)使用所述工件的各個(gè)狀態(tài)的發(fā)生頻率計(jì)算的發(fā)生可能性，通過(guò)反復(fù)進(jìn)行虛擬布置所述工件的三維幾何模型的仿真而獲得所述發(fā)生頻率。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述發(fā)生可能性存儲(chǔ)單元被配置為針對(duì)所述工件的各個(gè)狀態(tài)存儲(chǔ)通過(guò)使用所述工件的各個(gè)狀態(tài)的發(fā)生頻率計(jì)算的發(fā)生可能性，通過(guò)記錄由所述工件狀態(tài)估計(jì)單元估計(jì)的所述工件的狀態(tài)而獲得所述發(fā)生頻率。
4.根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置，其中， 基于由所述工件狀態(tài)估計(jì)單元針對(duì)所述工件的狀態(tài)進(jìn)行的估計(jì)的結(jié)果，來(lái)更新所述發(fā)生可能性存儲(chǔ)單元中存儲(chǔ)的 發(fā)生可能性。
5.根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述工件狀態(tài)估計(jì)單元被配置為在所述工件處于發(fā)生可能性比預(yù)定閾值小的狀態(tài)的情況下，認(rèn)為所估計(jì)的狀態(tài)是錯(cuò)誤的。
6.根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述工件狀態(tài)估計(jì)單元被配置為估計(jì)所述工件的狀態(tài)并且還針對(duì)估計(jì)結(jié)果計(jì)算分?jǐn)?shù)，并且 所述可靠度計(jì)算單元被配置為在考慮所述分?jǐn)?shù)的同時(shí)計(jì)算所述可靠度。
7.根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述工件的狀態(tài)是指所述工件的位置和所述工件的姿態(tài)中的任意一者。
8.根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述圖像輸入單元被配置為輸入多個(gè)工件的圖像。
9.一種工件拾取系統(tǒng),其包括: 根據(jù)權(quán)利要求1至3中的任意一項(xiàng)所述的圖像處理裝置； 工件拾取單元，被配置為逐一拾取所述工件；以及 選擇單元，被配置為基于由所述可靠度計(jì)算單元計(jì)算的所述可靠度來(lái)選擇要由所述工件拾取單元拾取的工件。
10.根據(jù)權(quán)利要求9所述的工件拾取系統(tǒng)，其中， 所述工件狀態(tài)估計(jì)單元被配置為估計(jì)所述工件的狀態(tài)并且還針對(duì)估計(jì)結(jié)果計(jì)算分?jǐn)?shù)，并且 所述選擇單元被配置為選擇處于所述分?jǐn)?shù)高于預(yù)定閾值并且所述發(fā)生可能性也高于預(yù)定閾值的狀態(tài)的工件，作為要由所述工件拾取單元拾取的工件。
11.根據(jù)權(quán)利要求10所述的工件拾取系統(tǒng)，其中， 所述選擇單元被配置為選擇處于所述分?jǐn)?shù)高于預(yù)定閾值并且所述發(fā)生可能性也是最高的狀態(tài)中的工件，作為要由所述工件拾取單元拾取的工件。
12.—種圖像處理裝置的圖像處理方法，所述圖像處理裝置包括發(fā)生可能性存儲(chǔ)單元，該發(fā)生可能性存儲(chǔ)單元被配置為存儲(chǔ)預(yù)先與工件的各個(gè)狀態(tài)相關(guān)聯(lián)的發(fā)生可能性，所述圖像處理方法包括: 輸入工件的圖像； 基于輸入的圖像估計(jì)所述工件的狀態(tài)；以及 基于所估計(jì)的所述工件的狀態(tài)以及與所述工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性，針對(duì)所估計(jì)的所述工件的狀態(tài)計(jì)算可靠度。
13.—種工件拾取系統(tǒng)的工件拾取方法，所述工件拾取系統(tǒng)包括發(fā)生可能性存儲(chǔ)單元和工件拾取單元，所述發(fā)生可能性存儲(chǔ)單元被配置為存儲(chǔ)預(yù)先與工件的各個(gè)狀態(tài)相關(guān)聯(lián)的發(fā)生可能性，所述工件拾取單元被配置為逐一拾取工件，所述工件拾取方法包括: 輸入工件的圖像； 基于輸入的圖像估計(jì)所述工件的狀態(tài)； 基于所估計(jì)的所述工件的狀態(tài)以及與所述工件的狀態(tài)相對(duì)應(yīng)的發(fā)生可能性，針對(duì)所估計(jì)的所述工件的狀態(tài)計(jì)算可靠度；以及 基于所計(jì)算的可靠度選擇要由所述工件拾取單元拾取的工件。
【文檔編號(hào)】H04N5/232GK103489200SQ201310228233
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2013年6月8日 優(yōu)先權(quán)日:2012年6月11日
【發(fā)明者】山本貴久 申請(qǐng)人:佳能株式會(huì)社