本發(fā)明涉及智能機(jī)器人技術(shù)領(lǐng)域，特別涉及一種用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法以及定位系統(tǒng)。

背景技術(shù)：

工業(yè)機(jī)械手是模仿人手的部分動(dòng)作，按給定程序、軌跡和要求實(shí)現(xiàn)自動(dòng)抓取、搬運(yùn)或操作的自動(dòng)機(jī)械裝置。工業(yè)機(jī)械手的出現(xiàn)和應(yīng)用，對(duì)實(shí)現(xiàn)工業(yè)生產(chǎn)自動(dòng)化，推動(dòng)工業(yè)生產(chǎn)的進(jìn)一步發(fā)展起著重要作用，在現(xiàn)代工業(yè)生產(chǎn)中的應(yīng)用非常廣泛，可以實(shí)現(xiàn)抓取搬物、裝配、切割、噴染等功能。然而，當(dāng)前市場中傳統(tǒng)的工業(yè)機(jī)械手設(shè)備普遍存在定位精度不高、實(shí)時(shí)性低、只能針對(duì)標(biāo)準(zhǔn)工件定制定位抓取方案等缺點(diǎn)，同時(shí)目前的機(jī)械手在抓取工件時(shí)只能對(duì)靜態(tài)或者動(dòng)態(tài)中的一種情況進(jìn)行抓取，難以實(shí)現(xiàn)對(duì)靜態(tài)和動(dòng)態(tài)工件同時(shí)抓取的功能，因此優(yōu)化工業(yè)機(jī)械手性能、提高機(jī)械手智能化程度是目前需要迫切解決的技術(shù)難題。

因此，需要一種能有效地對(duì)靜態(tài)和動(dòng)態(tài)非標(biāo)準(zhǔn)工件實(shí)現(xiàn)準(zhǔn)確抓取的用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法以及定位系統(tǒng)

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)方面在于提供一種用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法，所述定位方法包括如下步驟：

a、利用棋盤格標(biāo)定板對(duì)攝像機(jī)標(biāo)定：a1、制定棋格標(biāo)定板，拍攝多對(duì)標(biāo)定板圖像；a2、獲取標(biāo)定板圖像的特征點(diǎn)坐標(biāo)與實(shí)際標(biāo)定板的坐標(biāo)關(guān)系；a3、通過a2中所述的坐標(biāo)關(guān)系得到攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)；

b、提取抓取目標(biāo)在圖像中的二維坐標(biāo)：

b1、采集抓取目標(biāo)的圖像，通過攝像機(jī)左右兩個(gè)視角獲取機(jī)械手要抓取目標(biāo)的左右圖像；

b2、提取基準(zhǔn)圖像和抓取目標(biāo)的圖像特征點(diǎn)，利用KNN算法以及比率測(cè)試去除誤匹配點(diǎn)；

b3、根據(jù)所述特征點(diǎn)在基準(zhǔn)圖像中所處的位置關(guān)系，為每一個(gè)所述抓取目標(biāo)的圖像特征點(diǎn)定位一個(gè)抓取目標(biāo)輪廓，完成初步定位抓取目標(biāo)的位置；

b4、步驟b3中所述的抓取目標(biāo)輪廓重疊面積大于預(yù)設(shè)閾值時(shí)，通過均值漂移算法對(duì)所述目標(biāo)輪廓進(jìn)行迭代，提取所述抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)；

c、利用步驟b4中所述的抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)，通過立體匹配得到抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)；

d、將步驟c中所述的抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換到抓取目標(biāo)在機(jī)械臂坐標(biāo)空間下目標(biāo)三維坐標(biāo)，控制機(jī)械手對(duì)抓取目標(biāo)進(jìn)行抓取。

優(yōu)選地，所述特征點(diǎn)包括對(duì)圖像的顏色特征、紋理特征、形狀特征以及空間位置特征的一種或多種。

優(yōu)選地，所述閾值設(shè)置為所述抓取目標(biāo)輪廓的重疊面積的80％。

優(yōu)選地，由所述步驟a2中所述的坐標(biāo)關(guān)系滿足如下變換矩陣：

其中f為攝像機(jī)焦距，c_x、c_y為左攝像機(jī)中心像素位置，c’_x為右攝像機(jī)像素中心橫坐標(biāo)，T_x為左右攝像機(jī)水平位移。

優(yōu)選地，所述立體匹配是采用線性約束的方法將抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)轉(zhuǎn)換為抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)。

優(yōu)選地，所述抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)通過下式計(jì)算：

其中計(jì)算得到的三維坐標(biāo)為：(X/W,Y/W,Z/W)。

優(yōu)選地，所述步驟d中通過攝像機(jī)的位置參數(shù)與抓取目標(biāo)在攝像機(jī)坐標(biāo)空間下目標(biāo)三維坐標(biāo)的關(guān)系得到抓取目標(biāo)在機(jī)械臂坐標(biāo)下的三維坐標(biāo)。

本發(fā)明的另一個(gè)方面在于提供一種用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位系統(tǒng)，所述定位系統(tǒng)包括像攝像機(jī)標(biāo)定模塊、采集模塊、圖像處理模塊、機(jī)械手定位模塊以及機(jī)械手控制模塊，其中

攝像機(jī)標(biāo)定模塊，用于獲取攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)；

圖像采集模塊，用于采集抓取目標(biāo)的圖像，從而得到所述抓取目標(biāo)圖像所在場景的圖像；

圖像處理模塊，對(duì)采集到的圖像進(jìn)行處理，獲取所述抓取目標(biāo)在圖像中的二位像素坐標(biāo)，以及

將所述抓取目標(biāo)在圖像中的二位像素坐標(biāo)轉(zhuǎn)換為在攝像機(jī)坐標(biāo)下的三維坐標(biāo)；

機(jī)械手定位模塊，用于獲取所述抓取目標(biāo)在機(jī)械手坐標(biāo)空間下的三維坐標(biāo)；

機(jī)械手控制模塊，控制機(jī)械手對(duì)所述抓取目標(biāo)進(jìn)行抓取。

優(yōu)選地，所述內(nèi)部參數(shù)包括攝像機(jī)的幾何光學(xué)特性，所述外部參數(shù)包括攝像機(jī)在世界坐標(biāo)系中的幾何位置。

本發(fā)明提供的機(jī)械手定位方法以及定位系統(tǒng)能夠在靜態(tài)工作臺(tái)以及動(dòng)態(tài)皮帶流水線等場景下對(duì)非標(biāo)準(zhǔn)件準(zhǔn)確抓取，具有定位精度高、實(shí)時(shí)性強(qiáng)、硬件成本低等優(yōu)點(diǎn)。

應(yīng)當(dāng)理解，前述大體的描述和后續(xù)詳盡的描述均為示例性說明和解釋，并不應(yīng)當(dāng)用作對(duì)本發(fā)明所要求保護(hù)內(nèi)容的限制。

附圖說明

參考隨附的附圖，本發(fā)明更多的目的、功能和優(yōu)點(diǎn)將通過本發(fā)明實(shí)施方式的如下描述得以闡明，其中：

圖1示意性示出本發(fā)明用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法的流程圖；

圖2示出了本發(fā)明用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位系統(tǒng)的模塊框圖；

圖3示出了本發(fā)明攝像機(jī)標(biāo)定過程流程圖；

圖4示出了本發(fā)明標(biāo)定攝像機(jī)的棋盤格標(biāo)定板的示意圖；

圖5示出了本發(fā)明抓取目標(biāo)在圖像中的二維坐標(biāo)的提取過程流程圖。

具體實(shí)施方式

通過參考示范性實(shí)施例，本發(fā)明的目的和功能以及用于實(shí)現(xiàn)這些目的和功能的方法將得以闡明。然而，本發(fā)明并不受限于以下所公開的示范性實(shí)施例；可以通過不同形式來對(duì)其加以實(shí)現(xiàn)。說明書的實(shí)質(zhì)僅僅是幫助相關(guān)領(lǐng)域技術(shù)人員綜合理解本發(fā)明的具體細(xì)節(jié)。

在下文中，將參考附圖描述本發(fā)明的實(shí)施例。在附圖中，相同的附圖標(biāo)記代表相同或類似的部件，或者相同或類似的步驟。

現(xiàn)代工業(yè)生產(chǎn)中加工工件存在大量的非標(biāo)準(zhǔn)件，然而以往機(jī)械手通過固定程序?qū)C(jī)械手進(jìn)行控制抓取需要加工的標(biāo)準(zhǔn)工件。本實(shí)施例中將詳細(xì)說明本發(fā)明用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法以及定位系統(tǒng)，如圖1所示本發(fā)明用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法的流程圖，以工業(yè)流水線中的非標(biāo)準(zhǔn)工件為例進(jìn)行詳細(xì)說明，機(jī)械手包括抓取部件、運(yùn)動(dòng)部件和控制部件，本實(shí)施例中抓取部件前端設(shè)置兩個(gè)攝像機(jī)，所述攝像機(jī)通過信號(hào)傳遞線路將采集的圖像傳遞至機(jī)械手的相應(yīng)模塊進(jìn)行處理，本實(shí)施例中用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法包括如下整體步驟：

步驟101、利用棋盤格標(biāo)定板對(duì)攝像機(jī)標(biāo)定；

步驟102、提取抓取目標(biāo)在圖像中的二維坐標(biāo)：

步驟103、獲取抓取目標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)；

步驟104、獲取抓取目標(biāo)在機(jī)械手坐標(biāo)系下的三維坐標(biāo)；

步驟105、控制機(jī)械手抓取抓取目標(biāo)。

為了更加清楚的說明本發(fā)明的用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法，本實(shí)施例中示意性給出了所述用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位方法的定位系統(tǒng)，如圖2所示本發(fā)明用于非標(biāo)準(zhǔn)件抓取的機(jī)械手定位系統(tǒng)的模塊框圖，所述定位系統(tǒng)包括機(jī)攝像機(jī)標(biāo)定模塊201、圖像采集模塊202、圖像處理模塊203、機(jī)械手定位模塊204以及機(jī)械手控制模塊205，其中

攝像機(jī)標(biāo)定模塊201，用于對(duì)攝像機(jī)進(jìn)行標(biāo)定，包括獲取攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，其中內(nèi)部參數(shù)為攝像機(jī)的幾何光學(xué)參數(shù)，其包括但不限圖像中心和焦距，這里的幾何光學(xué)參數(shù)應(yīng)當(dāng)是本領(lǐng)域技術(shù)人員能夠理解的所有攝像機(jī)幾何光學(xué)參數(shù)。

圖像采集模塊202，用于采集需要用于采集抓取目標(biāo)的圖像，從而得到所述抓取目標(biāo)圖像所在場景的圖像。

圖像處理模塊203，用于對(duì)采集到的圖像進(jìn)行處理，獲取所述抓取目標(biāo)在圖像中的二位像素坐標(biāo)，以及將所述抓取目標(biāo)在圖像中的二位像素坐標(biāo)轉(zhuǎn)換為在攝像機(jī)坐標(biāo)下的三維坐標(biāo)。

機(jī)械手定位模塊204，用于將抓取目標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換至的抓取目標(biāo)在機(jī)械手坐標(biāo)空間下的三維坐標(biāo)。

機(jī)械手控制模塊205，控制機(jī)械手運(yùn)動(dòng)部件和按照抓取目標(biāo)在機(jī)械手坐標(biāo)系下的三維坐標(biāo)的定位對(duì)抓取目標(biāo)進(jìn)行抓取。

本實(shí)施例中根據(jù)上述步驟完成機(jī)械手對(duì)非標(biāo)準(zhǔn)件抓取目標(biāo)的準(zhǔn)確抓取，下文中詳細(xì)對(duì)每個(gè)步驟進(jìn)行說明。

攝像機(jī)標(biāo)定

如圖3所示本發(fā)明攝像機(jī)標(biāo)定過程流程圖，本實(shí)施例中采用的兩個(gè)攝像機(jī)其分辨率為2048×1536，在一些實(shí)施例中，攝像機(jī)分辨率由具體的工作場所所決定，這里不做具體的限定。本實(shí)施例中所采用的兩個(gè)攝像機(jī)在機(jī)械手前端的兩側(cè)布置，便于能夠清楚的獲取抓取目標(biāo)的具有較大的視眼。具體的攝像機(jī)標(biāo)定過程為：

步驟301、制定棋格標(biāo)定板，如圖4所示本發(fā)明標(biāo)定攝像機(jī)的棋盤格標(biāo)定板的示意圖，標(biāo)定板由13×11個(gè)方格組成的棋盤，每個(gè)方格的邊長為10mm；拍攝多對(duì)標(biāo)定板圖像，多對(duì)標(biāo)定板圖像從不同的角度進(jìn)行拍攝，使能夠在下文中所求得到的參數(shù)更加精確。

步驟302、獲取標(biāo)定板圖像的特征點(diǎn)坐標(biāo)與實(shí)際標(biāo)定板的坐標(biāo)關(guān)系；根據(jù)標(biāo)定的已知規(guī)格，計(jì)算在步驟301中拍攝的每一張標(biāo)定板圖像，具體算法在每張標(biāo)定板上記錄特征點(diǎn)(x_i、y_i、z_i)，對(duì)應(yīng)的標(biāo)定板拍攝圖像坐標(biāo)為(u_i、v_i)，i＝1、2、3...，本實(shí)施例中i為標(biāo)記點(diǎn)的個(gè)數(shù)，每張標(biāo)定板上標(biāo)記點(diǎn)的個(gè)數(shù)可以任意確定。對(duì)標(biāo)定板拍攝拍攝圖像的局部通過角點(diǎn)檢測(cè)進(jìn)行精確后得到其滿足：

M為關(guān)系矩陣

通過通過多組標(biāo)定板特征點(diǎn)坐標(biāo)與對(duì)應(yīng)的每張標(biāo)定板圖像坐標(biāo)，求取所述矩陣M，得到標(biāo)定板圖像的特征點(diǎn)坐標(biāo)與實(shí)際標(biāo)定板的坐標(biāo)關(guān)系，其中所得到的坐標(biāo)關(guān)系滿足如下變換矩陣：

其中f為攝像機(jī)焦距，c_x、c_y為左攝像機(jī)中心像素位置，c’_x為右攝像機(jī)像素中心橫坐標(biāo)，T_x為左右攝像機(jī)水平位移。

步驟303、通過步驟302中所述的坐標(biāo)關(guān)系得到攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)，將拍攝的多附圖得到標(biāo)定板圖像特征點(diǎn)坐標(biāo)與實(shí)際標(biāo)定板坐標(biāo)關(guān)系疊加，構(gòu)造比例因子，通過Cholesky矩陣分解算法從而求出攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)，其中，內(nèi)部參數(shù)包括攝像機(jī)的幾何光學(xué)特性，所述外部參數(shù)包括攝像機(jī)在世界坐標(biāo)系中的幾何位置；更進(jìn)一步地，本實(shí)施例中內(nèi)部參數(shù)包括攝像機(jī)焦距f，左攝像機(jī)中心像素位置c_x、c_y，右攝像機(jī)像素中心橫坐標(biāo)c’_x，外部參數(shù)包括左右攝像機(jī)水平位移T_x。

提取抓取目標(biāo)在圖像中的二維坐標(biāo)

根據(jù)已經(jīng)標(biāo)定的攝像機(jī)對(duì)需要加工的工件進(jìn)行抓取，所述的工件包括靜態(tài)下的工件和動(dòng)態(tài)下的工件，具體地，如圖5所示本發(fā)明抓取目標(biāo)在圖像中的二維坐標(biāo)的提取過程流程圖，攝像機(jī)提取抓取目標(biāo)在圖像中的二維坐標(biāo)包括如下步驟：

步驟501、采集抓取目標(biāo)的圖像，通過攝像機(jī)左右兩個(gè)視角獲取機(jī)械手要抓取目標(biāo)的左右圖像。

步驟502、提取基準(zhǔn)圖像和抓取目標(biāo)的圖像特征點(diǎn)，利用KNN算法以及比率測(cè)試去除誤匹配點(diǎn)，其中所述特征點(diǎn)包括對(duì)圖像的顏色特征、紋理特征、形狀特征以及空間位置特征的一種或多種。

步驟503、根據(jù)所述特征點(diǎn)在基準(zhǔn)圖像中所處的位置關(guān)系，為每一個(gè)所述抓取目標(biāo)的圖像特征點(diǎn)定位一個(gè)抓取目標(biāo)輪廓，完成初步定位抓取目標(biāo)的位置。

步驟504、步驟503中所述的抓取目標(biāo)輪廓重疊面積大于預(yù)設(shè)閾值時(shí)，通過均值漂移算法對(duì)所述目標(biāo)輪廓進(jìn)行迭代，提取所述抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)。優(yōu)選地，本實(shí)施例中閾值設(shè)置為所述抓取目標(biāo)輪廓的重疊面積的80％，在一些實(shí)施實(shí)屬例中可以選擇抓取目標(biāo)輪廓的重疊面積大于80％，為了保證抓取目標(biāo)的準(zhǔn)確性，選擇抓取目標(biāo)輪廓的重疊面積應(yīng)當(dāng)不小于70％。

提取抓取目標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)

利用步驟504中所述的抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)，通過立體匹配得到抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)；具體地，立體匹配采用線性約束的方法將抓取目標(biāo)在左右圖像中的二維像素坐標(biāo)轉(zhuǎn)換為抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)，得到的抓取目標(biāo)在攝像機(jī)下坐標(biāo)系下的三維坐標(biāo)通過下式計(jì)算：

其中，計(jì)算得到的三維坐標(biāo)為：(X/W,Y/W,Z/W)。

提取抓取目標(biāo)在機(jī)械手標(biāo)系下的三維坐標(biāo)對(duì)抓取目標(biāo)抓取

本實(shí)施例在獲取了抓取目標(biāo)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，需要將抓取目標(biāo)轉(zhuǎn)換為機(jī)械手坐標(biāo)系下的三維坐標(biāo)，從而通過控制系統(tǒng)控制機(jī)械手按照抓取目標(biāo)在機(jī)械手坐標(biāo)系下的三維坐標(biāo)實(shí)施準(zhǔn)確抓取，應(yīng)當(dāng)理解的是，實(shí)施例中所述的機(jī)械手坐標(biāo)系是指抓取目標(biāo)在相對(duì)于機(jī)械手的位置的空間坐標(biāo)系。

結(jié)合這里披露的本發(fā)明的說明和實(shí)踐，本發(fā)明的其他實(shí)施例對(duì)于本領(lǐng)域技術(shù)人員都是易于想到和理解的。說明和實(shí)施例僅被認(rèn)為是示例性的，本發(fā)明的真正范圍和主旨均由權(quán)利要求所限定。