本發(fā)明屬于機器人抓取領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)機器人的目標(biāo)物抓取位置的檢測方法。

背景技術(shù)：

為了護理老年人、殘疾人等行動不便人士，對家庭環(huán)境中常見物體，例如茶杯飲料瓶、書籍等的抓取，成為家庭服務(wù)機器人不可或缺的重要功能需求。不同于工業(yè)機器人在結(jié)構(gòu)化環(huán)境下對工件的抓取，服務(wù)機器人在家庭環(huán)境下的智能抓取面臨著諸多挑戰(zhàn)，例如動態(tài)化環(huán)境、光照變化、幾十乃至上百種目標(biāo)物體、復(fù)雜背景、物體間的相互遮擋等。

目前，機器人抓取檢測技術(shù)包括以下幾種：人工設(shè)計目標(biāo)物的抓取特征，通過目標(biāo)抓取特征建立抓取模型，檢測抓取位置，現(xiàn)有的人工設(shè)計目標(biāo)物的抓取特征的方法，既耗時又需要大量的人工參與，并且對于機器人未見過的目標(biāo)物無法準(zhǔn)確檢測出抓取位置，無法執(zhí)行抓取動作。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種基于深度學(xué)習(xí)機器人的目標(biāo)物抓取位置的檢測方法，旨在解決現(xiàn)有的人工設(shè)計目標(biāo)物的抓取特征的方法，既耗時又需要大量的人工參與，并且對于機器人未見過的目標(biāo)物無法準(zhǔn)確檢測出抓取位置，無法執(zhí)行抓取動作問題。

本發(fā)明是這樣實現(xiàn)的，一種基于深度學(xué)習(xí)機器人的目標(biāo)物抓取位置的檢測方法，所述方法包括如下步驟：

S1.通過傳感器采集包含目標(biāo)物的RGB-D圖像；

S2.在RGB-D圖像的目標(biāo)區(qū)域內(nèi)劃分候選抓取區(qū)域；

S3.保持所述候選抓取區(qū)域的長寬比不變，將所述候選抓取區(qū)域的尺寸放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸；

S4.對所述放大后的候選抓取區(qū)域構(gòu)建輸入向量；

S5.對所述輸入向量進行白化處理，將所述白化處理后的輸入向量輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；

S6.獲取每個候選抓取區(qū)域的得分，將所述得分最高的候選抓取區(qū)域確定為抓取位置。

本發(fā)明實施例通過獲取目標(biāo)物的RGB-D圖像，對RGB-D圖像的目標(biāo)區(qū)域劃分候選抓取區(qū)域，并放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸，對放大后的候選抓取區(qū)域構(gòu)建輸入向量，將構(gòu)建好的輸入向量輸入神經(jīng)網(wǎng)絡(luò)，獲取個候選抓取區(qū)域的得分，得分最高的候選抓取區(qū)域確定為目標(biāo)物的抓取位置，通過獲取的目標(biāo)物的RGB-D圖像，即可確定該目標(biāo)物的抓取位置，機器人通過該抓取位置可實現(xiàn)任何實現(xiàn)目標(biāo)物的抓取，且不需要人工的參與。

附圖說明

圖1是本發(fā)明實施例提供的基于深度學(xué)習(xí)機器人的目標(biāo)物抓取位置檢測方法的流程圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明實施例提供的基于深度學(xué)習(xí)機器人的目標(biāo)物抓取位置檢測方法的流程圖，該方法包括如下步驟：

S1.通過傳感器采集包含目標(biāo)物的RGB-D圖像；

本發(fā)明實施例采用微軟Kinect傳感器獲取抓取目標(biāo)物的高分辨率的RGB圖像和深度圖像，RGB圖像包含了抓取目標(biāo)物表面顏色信息和紋理信息，深度圖像包含了抓取目標(biāo)物的空間形狀信息，深度圖像中的每個像素值表示了傳感器到抓取目標(biāo)物的距離，RGB圖像和深度圖像之間的像素點是一一對應(yīng)的，組成了RGB-D圖像。

S2.在RGB-D圖像的目標(biāo)區(qū)域內(nèi)劃分候選抓取區(qū)域；

在本發(fā)明實施例中，利用背景差分法提取RGB-D圖像的目標(biāo)區(qū)域，在目標(biāo)區(qū)域內(nèi)設(shè)定滑動窗口，通過滑動窗口的移動來提取候選抓取區(qū)域，該活動窗口的尺寸即為候選抓取區(qū)域的尺寸，本發(fā)明實施例采用baxter雙臂機器人，機器人的末端執(zhí)行器為夾爪，滑動窗口為矩形滑動窗口，滑動窗口的尺寸是根據(jù)抓爪的尺寸來確定，活動窗口設(shè)置為30像素×10像素的矩形活動窗口，因此候選抓取區(qū)域的尺寸為30像素×10像素的候選抓取矩形。

S3.保持候選抓取區(qū)域的長寬比不變，將候選抓取區(qū)域的尺寸放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸；

在本發(fā)明實施例中，根據(jù)神經(jīng)網(wǎng)絡(luò)對輸入樣本尺寸的要求，在保持候選抓取區(qū)域的長寬比不變的情況下，通過0值填充，或邊緣擴展將候選抓取區(qū)域的尺寸放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸，在本發(fā)明實施例中，神經(jīng)網(wǎng)絡(luò)對輸入樣本尺寸的要求為32像素×32像素。

S4.對放大后的候選抓取區(qū)域構(gòu)建輸入向量；

在本發(fā)明實施例中，對候選抓取區(qū)域構(gòu)建7個通道的輸入向量，7個通道的輸入向量包括：從深度圖像中獲取深度數(shù)據(jù)在x、y、z軸三個方向上的表面法向量、YUV數(shù)據(jù)轉(zhuǎn)換成在Y、U、V三個通道上的向量、及將深度圖像轉(zhuǎn)換成向量。

在本發(fā)明實施例中，若步驟S3是通過0值填充將候選抓取區(qū)域的尺寸放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸，由于填充之后的輸入向量中會有大量的0值，且不同的候選抓取區(qū)域的輸入向量中填充的0值得數(shù)量不同，最后會影響神經(jīng)網(wǎng)絡(luò)的輸出得分，因此，為了消除填充的0值的影響，需要對候輸入向量中的元素乘以一個縮放因子，對輸入向量中元素的值進行縮放，縮放因子的計算公式如下：

其中，為第t個樣本的輸入向量中第i個元素的縮放因子，為通道r的放大因子，當(dāng)輸入向量中的第i個元素x_i屬于通道r時，S_r,i的值為1，否則S_r,i的值為0，當(dāng)?shù)趚_i不是0填充值時，的值為1，否則的值為0。

此外，作為本發(fā)明的優(yōu)選實施例，考慮到縮放因子過大會導(dǎo)致輸入數(shù)據(jù)的失真，縮放因子最大到某值C，即C的取值為4

S5.對構(gòu)建的輸入向量進行白化處理，將白化處理后的輸入向量輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；

在本發(fā)明實施例中，為了降低輸入的冗余性，對構(gòu)建好的輸入向量進行白化處理，白化處理的過程包括：將輸入每個通道的輸入向量減去各自的平均值，再除以由7個通道的輸入向量組成的組合向量的標(biāo)準(zhǔn)差。

S6.獲取每個候選抓取區(qū)域的得分，將得分最高的候選區(qū)域確定為抓取位置。

本發(fā)明實施例通過獲取目標(biāo)物的RGB-D圖像，對RGB-D圖像的目標(biāo)區(qū)域劃分候選抓取區(qū)域，并放大至神經(jīng)網(wǎng)絡(luò)輸入要求的尺寸，對放大后的候選抓取區(qū)域構(gòu)建輸入向量，將構(gòu)建好的輸入向量輸入神經(jīng)網(wǎng)絡(luò)，獲取個候選抓取區(qū)域的得分，得分最高的候選抓取區(qū)域確定為目標(biāo)物的抓取位置，通過獲取的目標(biāo)物的RGB-D圖像，即可確定該目標(biāo)物的抓取位置，機器人通過該抓取位置可實現(xiàn)任何實現(xiàn)目標(biāo)物的抓取，且不需要人工的參與。

在本發(fā)明實施例中，在所述步驟S1之前還包括：

S7.構(gòu)建神經(jīng)網(wǎng)絡(luò)；

在本發(fā)明實施例中，構(gòu)建的神經(jīng)網(wǎng)絡(luò)由7168個神經(jīng)元輸入層、200個神經(jīng)元稀疏自編碼器及sigmoid輸出層組成。

S8.對構(gòu)建好的神經(jīng)網(wǎng)絡(luò)進行離線訓(xùn)練。

在本發(fā)明實施例中，通過給定樣本的輸入和輸出，通過訓(xùn)練得到最優(yōu)時的W，再用W計算給定輸入的預(yù)測輸出。

在本發(fā)明實施例中，對構(gòu)建好的神經(jīng)網(wǎng)絡(luò)進行離線訓(xùn)練具體包括如下步驟：

S81.采用步驟S1-S5對給定的樣本進行預(yù)處理；

S82.將預(yù)處理好的給定樣本輸入神經(jīng)網(wǎng)絡(luò)，并給定樣本的輸出結(jié)果，采用無監(jiān)督訓(xùn)練迭代200次，訓(xùn)練2個隱層稀疏自編碼器來初始化隱層權(quán)值；

稀疏自編碼器在代價函數(shù)最優(yōu)時的初始化隱層權(quán)值W^*公式如下：

其中，是輸入向量x^(t)的重建，g(h)為稀疏性懲罰函數(shù)，λ是稀疏性懲罰函數(shù)的系數(shù)，f(W)是正則化函數(shù)，β是正則化函數(shù)的系數(shù)，為第t個輸入樣本輸入向量的第i個元素，W_i,j為第i個元素在第j個隱層神經(jīng)元上的權(quán)值，為第t個輸入樣本向量在第j個隱層神經(jīng)元上的輸出，σ為sigmoid激活函數(shù)，W^*是代價函數(shù)最優(yōu)時稀疏自編碼器來初始化隱層的權(quán)值。

本發(fā)明實施例中的稀疏自編碼器包括第一層隱層的線性稀疏自編碼器及第二層隱層的標(biāo)準(zhǔn)稀疏自編碼器；

當(dāng)所述稀疏自編碼器為第一隱層線性稀疏自編碼器時，采用L2和L1結(jié)合的正則化方法，正則函數(shù)為其中||W||₁為L1對應(yīng)的正則化函數(shù)，為L2對應(yīng)的正則化函數(shù)，L1的正則化系數(shù)ε₂＝0.0003，L2正則化系數(shù)ε₁＝0.001，其中對f₁(W)添加微小偏置量0.00001；其中通過添加微小偏置的方法來避免輸入向量中0值得干擾，該層稀疏性懲罰系數(shù)為3，線性稀疏自編碼器的輸出是0到1之間的實數(shù)；

當(dāng)所述稀疏自編碼器為第二隱層標(biāo)準(zhǔn)稀疏自編碼器時，采用L1正則化方法，正則函數(shù)為f₂(W)＝ε₂||W||₁，L1正則化系數(shù)，ε₂＝0.0003，該層稀疏性懲罰系數(shù)為3，標(biāo)準(zhǔn)稀疏自編碼器的輸出是0或者1。

S83.將預(yù)處理好的樣本通過反向傳播算法有監(jiān)督訓(xùn)練迭代10次，對整個網(wǎng)絡(luò)參數(shù)進行整體優(yōu)化。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。