本申請涉及計算機，尤其涉及一種物品抓取方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著智能化的普及，具有物品抓取能力的機器人廣泛應用于多種復雜場景，例如家庭或者工廠。

2、目前，現(xiàn)有的物品抓取方法為先使用低階信息的語義分割網(wǎng)絡(luò)首先分割物品，之后利用抓取生成器生成分割后物體的抓取位姿，實現(xiàn)對物品的抓取。但現(xiàn)有的帶實例分割的抓取生成器在雜亂環(huán)境下進行抓取時，對于堆疊的物品，低階信息不利于物體實例分割，影響物品抓取結(jié)果，導致抓取正確率降低。

技術(shù)實現(xiàn)思路

1、本申請的主要目的在于提供一種物品抓取方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品，旨在解決如何提高雜亂環(huán)境下物品抓取的正確率的技術(shù)問題。

2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N物品抓取方法，所述物品抓取包括：

3、獲取待抓取物品的3d點云；

4、基于所述3d點云，通過預設(shè)的實例分割模型，對所述3d點云進行高階泰勒函數(shù)的特征信息提取，得到物品特征圖，其中，所述物品特征圖為具有高階特征信息的特征圖；

5、基于所述物品特征圖和所述3d點云，確定實例分割掩碼；

6、基于所述實例分割掩碼，對所述待抓取物品進行抓取。

7、在一實施例中，所述基于所述3d點云，通過預設(shè)的實例分割模型，對所述3d點云進行高階泰勒函數(shù)的特征信息提取，得到物品特征圖的步驟包括：

8、通過預設(shè)的實例分割模型中的局部泰勒神經(jīng)網(wǎng)絡(luò)，對所述3d點云進行局部特征提取，得到局部特征圖；

9、對所述局部特征圖進行高階泰勒特征信息提取，得到物品特征圖。

10、在一實施例中，所述基于所述物品特征圖和所述3d點云，確定實例分割掩碼的步驟包括：

11、確定所述物品特征圖的語義掩碼與中心偏移，其中，所述語義掩碼用于標記待抓取物品，所述中心偏移用于定位所述待抓取物品的中心點；

12、將所述3d點云與所述中心偏移進行結(jié)合，得到結(jié)合圖；

13、基于所述語義掩碼，對所述結(jié)合圖進行均值漂移聚類計算，得到實例分割掩碼。

14、在一實施例中，所述基于所述實例分割掩碼，對所述待抓取物品進行抓取的步驟包括：

15、根據(jù)所述實例分割掩碼，對所述待抓取物品進行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品；

16、并分別對所述無遮擋物品、所述重疊物品和所述相交物品進行依次抓取。

17、在一實施例中，所述根據(jù)所述實例分割掩碼，對所述待抓取物品進行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品的步驟包括：

18、基于所述實例分割掩碼，確定待抓取物品的外圍輪廓信息和面積；

19、分別對各所述待抓取物品的外圍輪廓信息進行刪除，得到剩余外圍輪廓信息；

20、將所述剩余外圍輪廓信息與所述外圍輪廓信息進行比較，若所述剩余外圍輪廓信息內(nèi)的輪廓數(shù)量小于所述外圍輪廓信息內(nèi)的輪廓數(shù)量，則所述待抓取物品為無遮擋物品，若所述剩余外圍輪廓信息內(nèi)的輪廓數(shù)量等于或大于所述外圍輪廓信息內(nèi)的輪廓數(shù)量，則所述待抓取物品為遮擋物品；

21、基于所述遮擋物品的面積進行分類計算，確定重疊物品和相交物品；

22、在一實施例中，所基于所述遮擋物品的面積進行分類計算，確定重疊物品和相交物品的步驟包括：

23、將所述遮擋物品的面積與所述遮擋物品的相鄰物品的面積相加，得到相加結(jié)果；

24、將所述相加結(jié)果與所述遮擋物品的面積進行比較，若所述相加結(jié)果與所述遮擋物品的面積相等則所述待抓取物品為重疊物品，若所述相加結(jié)果與所述遮擋物品的面積不相等則所述待抓取物品為相交物品。

25、此外，為實現(xiàn)上述目的，本申請還提出一種物品抓取裝置，所述物品抓取裝置包括：

26、獲取模塊，用于得到待抓取物品的3d點云；

27、實例模塊，用于基于所述待抓取物品的3d點云，通過預設(shè)的實例分割模型中的局部泰勒神經(jīng)網(wǎng)絡(luò)對二階泰勒函數(shù)特征信息進行提取，得到局部特征圖，并對局部特征圖進行高階泰勒函數(shù)特征信息提取，得到物品特征圖；

28、轉(zhuǎn)換模塊，用于基于所述物品特征圖，得到實例分割掩碼；

29、抓取模塊，用于根據(jù)所述實例分割掩碼對待抓取物品進行抓取。

30、此外，為實現(xiàn)上述目的，本申請還提出一種物品抓取設(shè)備，所述物品抓取設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如權(quán)利要求1至6中任一項所述的物品抓取方法的步驟。

31、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的物品抓取方法的步驟。

32、此外，為實現(xiàn)上述目的，本申請還提供一種產(chǎn)品，所述產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的物品抓取方法的步驟。

33、本申請通過泰勒神經(jīng)網(wǎng)絡(luò)對待抓取物品的3d點云進行高階泰勒函數(shù)特征提取，高階泰勒函數(shù)提取的特征有利于物品邊界的分割，對物品進行分層抓取，先抓取無遮擋物品，可以更加準確的實現(xiàn)在雜亂環(huán)境下的物品抓取。

技術(shù)特征：

1.一種物品抓取方法，其特征在于，所述的物品抓取方法包括：

2.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述3d點云，通過預設(shè)的實例分割模型，對所述3d點云進行高階泰勒函數(shù)的特征信息提取，得到物品特征圖的步驟包括：

3.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述物品特征圖和所述3d點云，確定實例分割掩碼的步驟包括：

4.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述實例分割掩碼，對所述待抓取物品進行抓取的步驟包括：

5.如權(quán)利要求4所述的物品抓取方法，其特征在于，所述根據(jù)所述實例分割掩碼，對所述待抓取物品進行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品的步驟包括：

6.如權(quán)利要求5所述的物品抓取方法，其特征在于，所述基于所述遮擋物品的面積進行分類計算，確定重疊物品和相交物品的步驟包括：

7.一種物品抓取裝置，其特征在于，所述裝置包括：

8.一種物品抓取設(shè)備，其特征在于，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如權(quán)利要求1至6中任一項所述的物品抓取方法的步驟。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的物品抓取方法的步驟。

10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6中任一項所述的物品抓取方法的步驟。

技術(shù)總結(jié)
本申請公開了一種物品抓取方法、裝置、設(shè)備、存儲介質(zhì)及產(chǎn)品，涉及計算機技術(shù)領(lǐng)域，所述物品抓取方法包括：獲取待抓取物品的3D點云；基于所述3D點云，通過預設(shè)的實例分割模型，對所述3D點云進行高階泰勒函數(shù)的特征信息提取，得到物品特征圖，其中，所述物品特征圖為具有高階特征信息的特征圖；基于所述物品特征圖和所述3D點云，確定實例分割掩碼，其中所述實例掩碼定義了所述待抓取物品確切的邊界；基于所述實例分割掩碼，對所述待抓取物品進行抓取。本申請可以更加準確的實現(xiàn)在雜亂環(huán)境下的物品抓取。

技術(shù)研發(fā)人員：付奎,彭建盛,覃曼萍,徐詠,韋慶進,覃勇,何奇文,葉和敏
受保護的技術(shù)使用者：河池學院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19