物品轉(zhuǎn)運裝置和物品轉(zhuǎn)運方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種使用機器人來轉(zhuǎn)運物品的物品轉(zhuǎn)運裝置和物品轉(zhuǎn)運方法。
【背景技術(shù)】
[0002]已知如下一種系統(tǒng):利用視覺傳感器來檢測由輸送機搬運的多個物品，機器人基于所檢測出的物品的位置信息，一邊追隨輸送機的搬運動作一邊將各個物品把持并轉(zhuǎn)運到其它場所。
[0003]例如，日本專利公開公報平08-063214號公報(JPH08-063214A)公開了如下的視覺跟蹤方法:利用視覺傳感器來檢測由輸送機輸送的工件，機器人基于所檢測出的工件的位置，一邊追隨輸送機一邊把持工件。在該視覺跟蹤方法中，在輸送機處附設(shè)有用于獲取工件輸送量的脈沖編碼器。視覺傳感器在基于脈沖編碼器的輸出信號識別出進行了規(guī)定距離的工件輸送的時間點，獲取輸送中的工件的圖像。機器人控制器在基于脈沖編碼器的輸出信號識別出進行了規(guī)定距離的工件輸送的時間點，開始機器人的跟蹤動作。在跟蹤動作中，機器人控制器考慮基于視覺傳感器所獲取到的圖像而獲得的工件的位置來在與工件一起移動的跟蹤坐標系中對機器人進行控制，由此使機器人把持通過輸送機正被輸送的工件。

【發(fā)明內(nèi)容】

[0004]在機器人基于視覺傳感器所檢測出的物品的位置信息、一邊追隨輸送機的搬運動作一邊將物品把持并轉(zhuǎn)運的系統(tǒng)中，期望的是，不在輸送機處附設(shè)編碼器等移動量傳感器，機器人就能夠準確地掌握物品的當前位置來一邊追隨輸送機一邊把持物品。另外，在該系統(tǒng)中，期望的是，即使在視覺傳感器進行檢測后物品在輸送機上發(fā)生了位置偏移的情況下、或者因物品彼此重疊等而存在未能被視覺傳感器檢測出的物品的情況下，機器人也能夠一邊追隨一邊把持這種物品。
[0005]本發(fā)明的一個方式是一種物品轉(zhuǎn)運裝置，該物品轉(zhuǎn)運裝置具備:輸送機，其搬運物品；機器人，其將物品把持并轉(zhuǎn)運；攝像部，其拍攝物品；圖像處理部，其控制攝像部并且基于攝像部所拍攝到的圖像的數(shù)據(jù)來檢測物品；以及機器人控制部，其使用圖像處理部所檢測出的物品的信息來控制機器人，其中，圖像處理部具備:物品檢測部，其以拍攝和檢測通過輸送機的搬運動作而移動的多個物品的全部的第一周期來執(zhí)行多個物品的拍攝和檢測，獲取全部物品各自的初始位置信息；以及物品跟蹤部，其以短于第一周期的第二周期來執(zhí)行通過輸送機的搬運動作而移動的多個物品的拍攝和檢測，以第二周期反復地獲取多個物品各自的以初始位置信息為基準的移動位置信息，機器人控制部使用移動位置信息來控制機器人，使得機器人一邊追隨輸送機的搬運動作一邊將多個物品的各個物品把持并轉(zhuǎn)運。
[0006]本發(fā)明的其它方式是一種機器人將通過輸送機搬運的多個物品把持并轉(zhuǎn)運的物品轉(zhuǎn)運方法，在物品轉(zhuǎn)運方法中，以拍攝和檢測通過輸送機的搬運動作而移動的多個物品的全部的第一周期來執(zhí)行多個物品的拍攝和檢測，獲取全部物品各自的初始位置信息，以短于第一周期的第二周期來執(zhí)行通過輸送機的搬運動作而移動的多個物品的拍攝和檢測，以第二周期反復地獲取多個物品各自的以初始位置信息為基準的移動位置信息，使用移動位置信息來控制機器人，使得機器人一邊追隨輸送機的搬運動作一邊將多個物品的各個物品把持并轉(zhuǎn)運。
[0007]根據(jù)一個方式所涉及的物品轉(zhuǎn)運裝置，在圖像處理部的物品檢測部獲取到通過輸送機搬運的物品的初始位置信息之后，圖像處理部的物品跟蹤部獲取該物品的移動位置信息，機器人控制部使用移動位置信息來控制機器人，因此，不在輸送機處附設(shè)編碼器等移動量傳感器，機器人就能夠掌握通過輸送機搬運的物品的當前位置來一邊追隨輸送機一邊把持物品M0因此，即使在難以將編碼器等移動量傳感器附設(shè)于輸送機的狀況下，也能夠構(gòu)建機器人一邊追隨輸送機的搬運動作一邊將各個物品把持并轉(zhuǎn)運到其它場所的系統(tǒng)。而且，物品跟蹤部以第二周期反復地獲取各個物品的移動位置信息，因此，即使在物品檢測部獲取到物品的初始位置信息之后該物品在輸送機上發(fā)生了位置偏移的情況下，物品跟蹤部也能夠跟蹤該物品并更新移動位置信息，機器人能夠根據(jù)更新后的移動位置信息掌握該物品的位置偏移后的當前位置來把持該物品。
[0008]根據(jù)其它方式所涉及的物品轉(zhuǎn)運方法，起到與物品轉(zhuǎn)運裝置的上述效果同等的效果O
【附圖說明】
[0009]本發(fā)明的目的、特征以及優(yōu)點通過與附圖相關(guān)聯(lián)的以下的實施方式的說明會變得更進一步明確。在該附圖中，
[0010]圖1是示意性地表示一個實施方式所涉及的物品轉(zhuǎn)運裝置的結(jié)構(gòu)的圖，
[0011 ] 圖2是示意性地表示物品轉(zhuǎn)運裝置的變形例的圖，
[0012]圖3是示意性地表示物品轉(zhuǎn)運裝置的其它變形例的圖，
[0013]圖4是示意性地表示物品轉(zhuǎn)運裝置的另一變形例的圖，
[0014]圖5是示意性地表示其它實施方式所涉及的物品轉(zhuǎn)運裝置的結(jié)構(gòu)的圖，
[0015]圖6A是說明排列圖案的一例的圖，是表示按照排列圖案排列的物品的圖，
[0016]圖6B是對圖6A的排列圖案進行定義的排列樣式的圖，
[0017]圖7是表示機器人控制部的硬件結(jié)構(gòu)的一例的框圖，
[0018]圖8是表示圖像處理部的硬件結(jié)構(gòu)的一例的框圖，
[0019]圖9是表示機器人控制部和圖像處理部的硬件結(jié)構(gòu)的其它例的框圖，
[0020]圖10是表示機器人控制部和圖像處理部的硬件結(jié)構(gòu)的另一例的框圖，
[0021]圖11是圖5的實施方式中的機器人控制部和圖像處理部的功能框圖，
[0022]圖12是示意性地表示物品的把持和轉(zhuǎn)運作業(yè)的一例的圖，
[0023]圖13是說明物品的跟蹤處理的一例的圖，
[0024]圖14是說明物品的跟蹤處理的其它例的圖，
[0025]圖15是表示圖像處理部的物品管理部的處理的流程圖，
[0026]圖16是表不圖像處理部的物品跟蹤部的處理的流程圖，
[0027]圖17是表不物品跟蹤部的處理的細節(jié)的流程圖，
[0028]圖18是表不物品跟蹤部的處理的細節(jié)的流程圖，
[0029]圖19是表不物品跟蹤部的處理的細節(jié)的流程圖，
[0030]圖20是表示第一控制部的信息管理部的處理的流程圖，
[0031]圖21是表示信息管理部的處理的細節(jié)的流程圖，以及
[0032]圖22是表示信息管理部的處理的細節(jié)的流程圖。
【具體實施方式】
[0033]下面，參照附圖來說明本發(fā)明的實施方式。在所有附圖中對于對應的結(jié)構(gòu)要素標注共同的參照標記。
[0034]圖1表示一個實施方式所涉及的物品轉(zhuǎn)運裝置10。物品轉(zhuǎn)運裝置10具備:輸送機12，其搬運物品M ;機器人14，其將物品M把持并轉(zhuǎn)運；攝像部16，其拍攝物品M ;圖像處理部18，其控制攝像部16并且基于攝像部16所拍攝到的圖像的數(shù)據(jù)來檢測物品M ;以及機器人控制部20，其使用圖像處理部18所檢測出的物品M的信息來控制機器人14。
[0035]輸送機12具有能夠?qū)⒍鄠€物品M支承并向一個方向(圖中箭頭W方向)搬運的公知的輸送構(gòu)件以及連續(xù)或斷續(xù)地驅(qū)動輸送構(gòu)件的公知的驅(qū)動機構(gòu)。關(guān)于通過輸送機12搬運的多個物品M，既可以是具有各種形狀、尺寸、外觀(顏色)等的物品混合存在，也可以是所有物品均具有相同的形狀、尺寸、外觀(顏色)等。另外，物品M也可以具有如水果、蔬菜類那樣容易使輸送機12的支承變得不穩(wěn)定的形狀。
[0036]多個物品M以不規(guī)則配置的方式放置在輸送機12上并以該狀態(tài)被搬運，并且被供給到機器人14的規(guī)定的作業(yè)區(qū)域(執(zhí)行物品M的把持和拿起的區(qū)域)22 (以點劃線表示)。此外，不規(guī)則配置是指完全沒有意圖排列成特定的形態(tài)而隨意地放置的配置，是指如下的配置:在從正上方觀察多個物品M時的二維擴展(例如攝像部16所獲取的圖像)中各個物品M呈現(xiàn)多樣的位置、姿勢。在本實施方式中，輸送機12中未裝備能夠檢測輸送構(gòu)件或驅(qū)動機構(gòu)的位置、速度的編碼器等移動量傳感器。
[0037]機器人14能夠具備從多關(guān)節(jié)型、龍門式(gantry type)、并聯(lián)連桿型(parallellink type)等公知的各種機構(gòu)部(即操縱器(manipulator))適當?shù)剡x擇出的機構(gòu)部(未圖示)以及從吸附型、握持型等公知的各種手適當?shù)剡x擇出的手(未圖示)。機器人14配置于輸送機12的側(cè)方的規(guī)定位置處，以如下方式動作:機構(gòu)部和手在機器人14的作業(yè)區(qū)域22內(nèi)一邊追隨通過輸送機12搬運的物品M—邊將該物品M把持并拿起，進而轉(zhuǎn)運到其它場所。在本實施方式中，機器人14具備一臺機構(gòu)部。
[0038]攝像部16具有涵蓋輸送機12的搬運方向上的一部分以及橫切方向上的整體的預先決定的視場24 (以虛線表示)。機器人14的作業(yè)區(qū)域22位于視場24之中。攝像部16從正上方拍攝視場24內(nèi)存在的物品M和輸送機12來獲取物品M和輸送機12的二維圖像數(shù)據(jù)。在本實施方式中，攝像部16具備一臺照相機(以下也稱為照相機16)。照相機16能夠是數(shù)字照相機，例如能夠任意地設(shè)定分辨率、拍攝范圍。在本實施方式中，照相機16能夠在對視場24的輸送機搬運方向上游端的一部分24a進行拍攝的模式和對整個視場24進行拍攝的模式之間切換。照相機16經(jīng)由照相機線纜26連接于圖像處理部18。
[0039]圖像處理部18使攝像部16拍攝視場24內(nèi)的物品M和輸送機12，適當?shù)貙z像部16所獲取到的二維圖像數(shù)據(jù)進行圖像處理，由此檢測物品M的存在，并且獲取各個物品M在預先決定的二維坐標系中的位置(坐標值)及姿勢(旋轉(zhuǎn)角度)的信息。圖像處理部18所獲取的后述的“位置信息”(初始位置信息、移動位置信息等)通常包含物品M的位置及姿勢的信息，但是也有時“位置信息”可以不包含物品M的姿勢的信息，例如物品M為圓形的情況。在本說明書中，將物品M的位置及姿勢的信息以及物品M的位置的信息統(tǒng)稱為“位置信息”。另外，圖像處理部18也能夠從攝像部16的拍攝數(shù)據(jù)中獲取各個物品M的二維外形、顏色等信息(以下稱為外觀特征信息)。圖像處理部18所獲取到的物品M的位置信息能夠作為圖像顯示在未圖示的監(jiān)視器上。
[0040]圖像處理部18經(jīng)由通信線纜28連接于機器人控制部20，能夠?qū)⒒跀z像部16的二維圖像數(shù)據(jù)檢測出的物品M的位置信息隨時發(fā)送到機器人控制部20?；蛘?，也能夠如后所述那樣將圖像處理部18和機器人控制部20裝備于一臺共同的控制裝置。
[0041]在輸送機12中，能夠定義以其搬運方向為X軸的二維的輸送機坐標系(靜止坐標系)30。在本實施方式中，機器人14能夠按照輸送機坐標系30下的指令在輸送機坐標系30中進行動作。另外，圖像處理部18通過使用輸送機坐標系30進行攝像部16的校準，能夠?qū)z測出的物品M的位置信息用輸送機坐標系30表示。機器人控制部20使用圖像處理部18所檢測出的物品M的位置信息來控制機器人14，使機器人14執(zhí)行與手的形態(tài)相應的把持動作。
[0042]圖像處理部18具備:物品檢測部32，其以拍攝和檢測通過輸送機12的搬運動作而移動的多個物品M的全部的第一周期Tl來執(zhí)行多個物品M的拍攝和檢測，獲取全部物品M各自的初始位置信息Dl ;以及物品跟蹤部34，其以短于第一周期Tl的第二周期T2來執(zhí)行通過輸送機12的搬運動作而移動的多個物品M的拍攝和檢測，以第二周期T2反復地獲取多個物品M各自的以初始位置信息Dl為基準的移動位置信息D2。機器人控制部20使用移動位置信息D2來控制機器人14，使得機器人14 一邊追隨輸送機12的搬運動作一邊將多個物品M的各個物品M把持并轉(zhuǎn)運。在本實施方式中，初始位置信息Dl和移動位置信息D2均以輸送機坐標系30中的坐標值和旋轉(zhuǎn)角度(或僅以坐標值)來表示。
[0043]物品檢測部32具有以下功能:在攝像部16的視場24內(nèi)最初識別并檢測通過輸送機12的搬運動作被供給到機器人14的作業(yè)區(qū)域22的多個物品M的各個物品M(以下也稱為“初始檢測”)。在本實施方式中，物品檢測部32構(gòu)成為在攝像部16的視場24的上游端部分24a中對物品M進行初始檢測。第一周期Tl是攝像部16在視場24的上游端部分24a中至少能夠?qū)⒏鱾€物品M的整體像拍攝一次的周期。
[0044]舉個具體例，在視場24的上游端部分24a的沿輸送機12的搬運方向W觀察到的(即輸送機坐標系30的X軸方向上的)長度為400mm、物品M的最大寬度為100mm、輸送機12的搬運速度為200mm/s的結(jié)構(gòu)的情況下，用于在從伴隨輸送機12的搬運動作而一個物品M的整體進入上游端部分24a的瞬間起到該物品M的一部分移出到上游端部分24a的外部為止的期間內(nèi)將該物品M拍攝一次的第一周期Tl如以下那樣。
[0045]Tl = (400 (mm)-100 (mm))/200 (mm/s) = 1.5 (s)
[0046]在上述具體例中，通過以上述第一周期Tl來拍攝由輸送機12向作業(yè)區(qū)域22供給的多個物品M，能夠在物品M存在于視場24的上游端部分24a的期間內(nèi)拍攝全部物品M來進行初始檢測，從而能夠獲取這些物品M各自的初始位置信息Dl。
[0047]物品跟蹤部34具有以下功能:在攝像部16的視場24內(nèi)繼續(xù)識別并檢測由物品檢測部32進行初始檢測后的多個物品M的各個物品M(以下也稱為“跟蹤”)。在本實施方式中，物品跟蹤部34構(gòu)成為在攝像部16的整個視場24中對物品M進行跟蹤。第二周期T2是攝像部16在視場24中將各個物品M的整體像以不會發(fā)生與其它物品M之間的誤檢測的方式反復拍攝足以進行跟蹤的次數(shù)的周期。
[0048]例如，認為為了不將以完全相同的姿勢(旋轉(zhuǎn)角度)并排接觸地放置的兩個物品M彼此誤檢測，應該在輸送機12的搬運距離為物品M的最小寬度的一半以下的期間內(nèi)使攝像部16拍攝各物品M來完成物品跟蹤部34的檢測。在該條件下，在前述的具體例中，在物品M的最小寬度為60mm的情況下，第二周期T2如以下那樣。
[0049]T2 = (60 (mm)/2)/200 (mm/s) = 0.15 (s)
[0050]在上述具體例中，通過以上述第二周期T2來拍攝通過輸送機12的搬運動作而移動的多個物品M，能夠在視場24內(nèi)反復拍攝這些物品M的各個物品M并以不會被誤認作其它物品的方式進行跟蹤，從而能夠獲取這些物品M各自的移動位置信息D2。此外，通過不以“物品M的最小寬度的一半”為條件而將第二周期T2縮短至與圖像處理部18所具有的處理能力的極限相當?shù)臅r間來進行設(shè)定，能夠最大限度地提高移動位置信息D2的準確度，從而能夠最大限度地提高機器人14 一邊追隨一邊把持物品M的動作的精度。
[0051]在圖像處理部18中，與物品檢測部32以第一周期Tl進行的拍攝和檢測(