本發(fā)明涉及機(jī)器人手臂操作領(lǐng)域，尤其是涉及了一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法。

背景技術(shù)：

在機(jī)器人領(lǐng)域，操控易變形物體一直是一個(gè)具有挑戰(zhàn)性的問(wèn)題，例如繩索、衣服、布條等。但同時(shí)，這些活動(dòng)對(duì)人類來(lái)講意義重大，在許多具有高度危險(xiǎn)的場(chǎng)合可以代替人力勞動(dòng)，使人類避免受到傷害，如高樓外墻的構(gòu)建與清洗、具有重大污染地區(qū)的管道清理、航天航空中的機(jī)械處理等，都具有非常大的潛在開發(fā)空間，另外，在遠(yuǎn)洋深海中，繩索的操控更具有重要性，例如油井的探勘、輪船的拖拉、漁場(chǎng)圍捕網(wǎng)的豎立，結(jié)冰面的海底工具牽引等，不僅在實(shí)體應(yīng)用上，而且在經(jīng)濟(jì)上也是高新科技發(fā)展的重要?jiǎng)恿Α?/p>

繩索等易變形物體的機(jī)械操作始終未能有突破性進(jìn)展，一方面由于物質(zhì)材料的軟化性質(zhì)及易變形狀性質(zhì)，既難以在視覺(jué)上對(duì)變形程度、形變方向角度等進(jìn)行預(yù)測(cè)，也不能從材料密度中估算出每次形變的結(jié)果，因此，對(duì)一千條繩子作及其細(xì)微變化的力學(xué)操作，也可能得到一千種截然不同的形變結(jié)果，另一方面由于機(jī)械制備的強(qiáng)度問(wèn)題，無(wú)法掌握易形變材料在不同力的強(qiáng)度之下作出的反應(yīng)，因此很難完備地完成一種易變形材料的輕操控。

本發(fā)明提出了一種基于深度卷積網(wǎng)絡(luò)學(xué)習(xí)的新框架。改造機(jī)器人機(jī)械系統(tǒng)平臺(tái)，允許其進(jìn)行拾、取操作，然后將真實(shí)世界人手操控的圖像與機(jī)器人自己操控的圖像進(jìn)行對(duì)比，輸入到深度神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行配對(duì)訓(xùn)練，生成逆向模型，來(lái)進(jìn)行下一步的動(dòng)作預(yù)測(cè)，在重復(fù)訓(xùn)練過(guò)程中提高預(yù)測(cè)準(zhǔn)度，從而使得該配置符合人手要求。本發(fā)明可以處理繩索等軟性材料物體的操縱，提供一個(gè)深度神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)來(lái)生成逆向動(dòng)態(tài)模型，同時(shí)提高了機(jī)器人操控繩索的準(zhǔn)確度。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)解決在易形變材料中機(jī)器人操控的問(wèn)題，本發(fā)明的目的在于提供一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法，提出了一種基于深度卷積網(wǎng)絡(luò)學(xué)習(xí)的新框架。

為解決上述問(wèn)題，本發(fā)明提供一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法，其主要內(nèi)容包括：

(一)繩索操縱機(jī)械系統(tǒng)構(gòu)造；

(二)指數(shù)線性單元深度卷積學(xué)習(xí)網(wǎng)絡(luò)；

(三)繩索拾放模塊；

(四)繩索拾放仿真。

其中，所述的繩索操縱機(jī)械系統(tǒng)構(gòu)造，改造具有視覺(jué)攝入系統(tǒng)、軟件處理單元、單機(jī)械手臂和實(shí)驗(yàn)平臺(tái)的機(jī)器人機(jī)械系統(tǒng)；

(1)視覺(jué)攝入系統(tǒng)具有攝像設(shè)備及儲(chǔ)存設(shè)備，可以對(duì)視覺(jué)范圍內(nèi)的物體進(jìn)行攝影儲(chǔ)存；

(2)軟件處理單元具有計(jì)算單元、數(shù)據(jù)處理單元，主要對(duì)圖像進(jìn)行變換及搭建深度卷積學(xué)習(xí)網(wǎng)絡(luò)；

(3)單機(jī)械手臂具有旋轉(zhuǎn)功能，末端是由平行的夾子組成的抓手，可以開啟跟閉合；

(4)實(shí)驗(yàn)平臺(tái)是置于機(jī)械手臂下的平板，繩索的一端固定于平板上。

進(jìn)一步地，所述的指數(shù)線性單元深度卷積學(xué)習(xí)網(wǎng)絡(luò)，包括網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)過(guò)程和有效數(shù)據(jù)收集。

進(jìn)一步地，所述的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)當(dāng)前視圖及下一視圖中的繩索，分別利用兩組原始設(shè)置相同的卷積網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，具體網(wǎng)絡(luò)設(shè)置為：c96-c256-c384-c384-c256-c200，每一層緊接著指數(shù)線性函數(shù)；

其中，上述鏈接符號(hào)“-”表示相繼連接網(wǎng)絡(luò)的層，“c”表示卷積層，數(shù)字表示該網(wǎng)絡(luò)層的神經(jīng)元數(shù)；

兩張視圖經(jīng)過(guò)這兩組卷積網(wǎng)絡(luò)后得到兩部分輸出(xt,xt+1)，t是指當(dāng)前視圖，分別具有200個(gè)特征，合并兩部分特征再輸入到最后一個(gè)部分全連接網(wǎng)絡(luò)f200-f200，得到關(guān)于繩索的動(dòng)作預(yù)測(cè)特征。

進(jìn)一步地，所述的學(xué)習(xí)過(guò)程，為了進(jìn)行網(wǎng)絡(luò)訓(xùn)練，動(dòng)作預(yù)測(cè)問(wèn)題轉(zhuǎn)變?yōu)閯?dòng)作空間的分類問(wèn)題，具體地將其表達(dá)為(pt,θt,lt)，pt是拾取動(dòng)作地點(diǎn)，范圍為20×20的網(wǎng)格，θt是拾取動(dòng)作方向，分為36個(gè)范圍，lt是拾取動(dòng)作長(zhǎng)度，分為10個(gè)等級(jí)；

訓(xùn)練過(guò)程是將以上三個(gè)參數(shù)獨(dú)立地進(jìn)行分類，即：

p(pt,θt,lt)＝p(pt)p(θt|pt)p(lt|θt,pt)(1)

神經(jīng)網(wǎng)絡(luò)首先對(duì)拾取地點(diǎn)進(jìn)行一個(gè)預(yù)測(cè)分布，得到超過(guò)400個(gè)的可能拾取地點(diǎn)，然后某一地點(diǎn)被選取為拾取地點(diǎn)；接著，根據(jù)特征(xt,xt+1)和公式(1)，利用一位有效編碼推出θt；進(jìn)一步地，再一次利用一位有效編碼推出狀態(tài)lt；

具體地，按照著名神經(jīng)網(wǎng)絡(luò)alexnet在imagenet中訓(xùn)練得到的權(quán)值對(duì)神經(jīng)網(wǎng)絡(luò)前五層賦值，在前面5000次迭代中將學(xué)習(xí)率調(diào)整為0，剩余迭代則學(xué)習(xí)率調(diào)整為0.004，總共利用60000對(duì)圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，2500張圖像進(jìn)行參數(shù)調(diào)整。

進(jìn)一步地，所述的有效數(shù)據(jù)采集，為了使得數(shù)據(jù)收集有益于配置，在手動(dòng)選擇隨機(jī)配置時(shí)，先實(shí)時(shí)收集一套含有50張連續(xù)動(dòng)作的圖像，然后利用一個(gè)已經(jīng)經(jīng)過(guò)30000張圖像訓(xùn)練的模型進(jìn)行圖像的收集，將這兩個(gè)不同的圖像庫(kù)作為特征對(duì)(xt,xt+1)的訓(xùn)練圖像。

進(jìn)一步地，所述的繩索拾放模塊，按照以下次序進(jìn)行機(jī)械手臂的動(dòng)作：

(1)由公式(1)得到拾取動(dòng)作地點(diǎn)和釋放動(dòng)作地點(diǎn)；

(2)在拾取地點(diǎn)使用夾子抓住繩索一點(diǎn)；

(3)旋轉(zhuǎn)手臂，使夾子垂直上升5厘米；

(4)移動(dòng)手臂到釋放動(dòng)作地點(diǎn)垂直高度5厘米處；

(5)松開夾子，釋放繩索；

其中，旋轉(zhuǎn)角度的范圍是(0,2π)，移動(dòng)距離是(1,15cm)。

進(jìn)一步地，所述的繩索拾放仿真，包括逆向動(dòng)態(tài)模型和仿真人手拾放動(dòng)作兩部分。

進(jìn)一步地，所述的逆向動(dòng)態(tài)模型，給定當(dāng)前動(dòng)作圖像it和下一動(dòng)作圖像it+1，用ut表示預(yù)測(cè)的動(dòng)作，則可定義為：

ut＝f(it,it+1)(2)

其中，f表示動(dòng)作預(yù)測(cè)函數(shù)，這個(gè)逆向動(dòng)態(tài)模型表達(dá)動(dòng)作預(yù)測(cè)與當(dāng)前及下一動(dòng)作都密切相關(guān)。

進(jìn)一步地，所述的人手拾放動(dòng)作仿真，在逆向動(dòng)態(tài)模型的幫助下，機(jī)器人系統(tǒng)可以使得繩索逐漸變形，成為想要的形狀，每個(gè)階段的形狀會(huì)作為圖像的序列輸入到機(jī)器人系統(tǒng)中，用v＝{i′t|t∈(1…t)}表示，其中i′t表示終極動(dòng)作圖像；

具體地，i1表示初始圖像，i′t表示終極圖像，則(i1,i2′)會(huì)被輸入到逆向動(dòng)態(tài)模型并預(yù)測(cè)動(dòng)作，從而產(chǎn)生真實(shí)世界圖像i2，再將(i2,i3′)輸入到逆向動(dòng)態(tài)模型，得到下一個(gè)真實(shí)預(yù)測(cè)動(dòng)作，產(chǎn)生下一個(gè)真實(shí)世界圖像，一直重復(fù)此套動(dòng)作直到t次，則完成一次人手拾放動(dòng)作的仿真。

附圖說(shuō)明

圖1是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的深度學(xué)習(xí)卷積網(wǎng)絡(luò)示意圖。

圖3是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的實(shí)驗(yàn)結(jié)果圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的系統(tǒng)流程圖。主要包括繩索操縱機(jī)械系統(tǒng)構(gòu)造、指數(shù)線性單元深度卷積學(xué)習(xí)網(wǎng)絡(luò)、繩索拾放模塊、繩索拾放仿真。

其中，繩索操縱機(jī)械系統(tǒng)構(gòu)造，改造具有視覺(jué)攝入系統(tǒng)、軟件處理單元、單機(jī)械手臂和實(shí)驗(yàn)平臺(tái)的機(jī)器人機(jī)械系統(tǒng)；

(1)視覺(jué)攝入系統(tǒng)具有攝像設(shè)備及儲(chǔ)存設(shè)備，可以對(duì)視覺(jué)范圍內(nèi)的物體進(jìn)行攝影儲(chǔ)存；

(2)軟件處理單元具有計(jì)算單元、數(shù)據(jù)處理單元，主要對(duì)圖像進(jìn)行變換及搭建深度卷積學(xué)習(xí)網(wǎng)絡(luò)；

(3)單機(jī)械手臂具有旋轉(zhuǎn)功能，末端是由平行的夾子組成的抓手，可以開啟跟閉合；

(4)實(shí)驗(yàn)平臺(tái)是置于機(jī)械手臂下的平板，繩索的一端固定于平板上。

指數(shù)線性單元深度卷積學(xué)習(xí)網(wǎng)絡(luò)，包括網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)過(guò)程和有效數(shù)據(jù)收集。

網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)當(dāng)前視圖及下一視圖中的繩索，分別利用兩組原始設(shè)置相同的卷積網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，具體網(wǎng)絡(luò)設(shè)置為：c96-c256-c384-c384-c256-c200，每一層緊接著指數(shù)線性函數(shù)；

其中，上述鏈接符號(hào)“-”表示相繼連接網(wǎng)絡(luò)的層，“c”表示卷積層，數(shù)字表示該網(wǎng)絡(luò)層的神經(jīng)元數(shù)；

兩張視圖經(jīng)過(guò)這兩組卷積網(wǎng)絡(luò)后得到兩部分輸出(xt,xt+1)，t是指當(dāng)前視圖，分別具有200個(gè)特征，合并兩部分特征再輸入到最后一個(gè)部分全連接網(wǎng)絡(luò)f200-f200，得到關(guān)于繩索的動(dòng)作預(yù)測(cè)特征。

學(xué)習(xí)過(guò)程，為了進(jìn)行網(wǎng)絡(luò)訓(xùn)練，動(dòng)作預(yù)測(cè)問(wèn)題轉(zhuǎn)變?yōu)閯?dòng)作空間的分類問(wèn)題，具體地將其表達(dá)為(pt,θt,lt)，pt是拾取動(dòng)作地點(diǎn)，范圍為20×20的網(wǎng)格，θt是拾取動(dòng)作方向，分為36個(gè)范圍，lt是拾取動(dòng)作長(zhǎng)度，分為10個(gè)等級(jí)；

訓(xùn)練過(guò)程是將以上三個(gè)參數(shù)獨(dú)立地進(jìn)行分類，即：

p(pt,θt,lt)＝p(pt)p(θt|pt)p(lt|θt,pt)(1)

神經(jīng)網(wǎng)絡(luò)首先對(duì)拾取地點(diǎn)進(jìn)行一個(gè)預(yù)測(cè)分布，得到超過(guò)400個(gè)的可能拾取地點(diǎn)，然后某一地點(diǎn)被選取為拾取地點(diǎn)；接著，根據(jù)特征(xt,xt+1)和公式(1)，利用一位有效編碼推出θt；進(jìn)一步地，再一次利用一位有效編碼推出狀態(tài)lt；

具體地，按照著名神經(jīng)網(wǎng)絡(luò)alexnet在imagenet中訓(xùn)練得到的權(quán)值對(duì)神經(jīng)網(wǎng)絡(luò)前五層賦值，在前面5000次迭代中將學(xué)習(xí)率調(diào)整為0，剩余迭代則學(xué)習(xí)率調(diào)整為0.004，總共利用60000對(duì)圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，2500張圖像進(jìn)行參數(shù)調(diào)整。

有效數(shù)據(jù)采集，為了使得數(shù)據(jù)收集有益于配置，在手動(dòng)選擇隨機(jī)配置時(shí)，先實(shí)時(shí)收集一套含有50張連續(xù)動(dòng)作的圖像，然后利用一個(gè)已經(jīng)經(jīng)過(guò)30000張圖像訓(xùn)練的模型進(jìn)行圖像的收集，將這兩個(gè)不同的圖像庫(kù)作為特征對(duì)(xt,xt+1)的訓(xùn)練圖像。

繩索拾放模塊，按照以下次序進(jìn)行機(jī)械手臂的動(dòng)作：

(1)由公式(1)得到拾取動(dòng)作地點(diǎn)和釋放動(dòng)作地點(diǎn)；

(2)在拾取地點(diǎn)使用夾子抓住繩索一點(diǎn)；

(3)旋轉(zhuǎn)手臂，使夾子垂直上升5厘米；

(4)移動(dòng)手臂到釋放動(dòng)作地點(diǎn)垂直高度5厘米處；

(5)松開夾子，釋放繩索；

其中，旋轉(zhuǎn)角度的范圍是(0,2π)，移動(dòng)距離是(1,15cm)。

繩索拾放仿真，包括逆向動(dòng)態(tài)模型和仿真人手拾放動(dòng)作兩部分。

逆向動(dòng)態(tài)模型，給定當(dāng)前動(dòng)作圖像it和下一動(dòng)作圖像it+1，用ut表示預(yù)測(cè)的動(dòng)作，則可定義為：

ut＝f(it,it+1)(2)

其中，f表示動(dòng)作預(yù)測(cè)函數(shù)，這個(gè)逆向動(dòng)態(tài)模型表達(dá)動(dòng)作預(yù)測(cè)與當(dāng)前及下一動(dòng)作都密切相關(guān)。

人手拾放動(dòng)作仿真，在逆向動(dòng)態(tài)模型的幫助下，機(jī)器人系統(tǒng)可以使得繩索逐漸變形，成為想要的形狀，每個(gè)階段的形狀會(huì)作為圖像的序列輸入到機(jī)器人系統(tǒng)中，用v＝{i′t|t∈(1…t)}表示，其中i′t表示終極動(dòng)作圖像；

具體地，i1表示初始圖像，i′t表示終極圖像，則(i1,i2′)會(huì)被輸入到逆向動(dòng)態(tài)模型并預(yù)測(cè)動(dòng)作，從而產(chǎn)生真實(shí)世界圖像i2，再將(i2,i3′)輸入到逆向動(dòng)態(tài)模型，得到下一個(gè)真實(shí)預(yù)測(cè)動(dòng)作，產(chǎn)生下一個(gè)真實(shí)世界圖像，一直重復(fù)此套動(dòng)作直到t次，則完成一次人手拾放動(dòng)作的仿真。

圖2是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的深度學(xué)習(xí)卷積網(wǎng)絡(luò)示意圖。如圖所示，第一行第二行的卷積網(wǎng)絡(luò)設(shè)置是一樣的，左端輸入的圖像分別是現(xiàn)動(dòng)作及下一動(dòng)作的真實(shí)世界圖像，由此可推出關(guān)于拾取地點(diǎn)、方向和角度的參數(shù)值(右端)。

圖3是本發(fā)明一種基于視覺(jué)上自監(jiān)督學(xué)習(xí)與模仿的繩索操縱方法的實(shí)驗(yàn)結(jié)果圖。如圖所示，可以觀察到，在人手和機(jī)器人操控學(xué)習(xí)中，機(jī)器人能通過(guò)學(xué)習(xí)圖像的特征，很好地預(yù)判到繩索的運(yùn)動(dòng)方向，從而進(jìn)行拾放功能，將其操縱地跟人手一樣。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。