本發(fā)明涉及機器人抓取，尤其涉及一種融合bim和視覺觀測信息的砌墻機器人抓取識別方法及系統(tǒng)。

背景技術(shù)：

1、建筑業(yè)作為國民經(jīng)濟的支柱產(chǎn)業(yè)，同時也是勞動密集型產(chǎn)業(yè)，正面臨著熟練建筑工人短缺的嚴峻挑戰(zhàn)，尤其是在砌筑工種方面。砌磚工作不僅對工人的身體素質(zhì)要求高、技能要求高，而且存在較高的安全風險。隨著勞動力短缺和人工成本上升等行業(yè)痛點問題日益突出，實現(xiàn)砌磚作業(yè)的機器人化已成為迫切需求。

2、在砌筑機器人技術(shù)中，自主抓取是實現(xiàn)智能化砌筑的關(guān)鍵技術(shù)之一，而準確的抓取識別是成功抓取的前提條件。目前，機器視覺技術(shù)被廣泛應用于抓取識別中，如人眼一樣可以用于識別磚型種類和檢測待砌磚塊的抓取部位。然而，現(xiàn)有的抓取識別技術(shù)只依賴于視覺信息進行抓取識別，未能充分利用砌筑任務規(guī)劃信息，缺乏對整體砌筑任務的考慮，導致在復雜的砌筑場景中出現(xiàn)不合理的抓取策略，進而出現(xiàn)砌筑干涉，影響施工效率和質(zhì)量。

3、因此，尋找一種既能夠考慮砌筑任務規(guī)劃，準確識別出抓取部位，又能提高抓取穩(wěn)定性的方法，是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種融合bim和視覺觀測信息的砌墻機器人抓取識別方法及系統(tǒng)，其能夠通過結(jié)合bim模型信息和實時視覺觀測數(shù)據(jù)，實現(xiàn)了砌墻機器人的智能化抓取識別，通過構(gòu)建磚塊布局無向圖和碰撞測試，確保了抓取位置的合理性和安全性，同時顯著提高了砌墻機器人的自主性、靈活性和工作效率。

2、本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

3、第一方面，本發(fā)明提供了一種融合bim和視覺觀測信息的砌墻機器人抓取識別方法，包括以下步驟：

4、s1、砌墻機器人獲取砌筑指令信息，根據(jù)砌筑指令信息確定待砌磚型及待砌磚型在整體砌筑任務中的位置，從bim模型庫中獲取待砌磚型的bim模型，并從待砌磚型的bim模型中提取待砌磚型的幾何和語義信息；

5、s2、基于整體砌筑任務的bim模型構(gòu)建磚塊布局無向圖，并進行碰撞測試，根據(jù)碰撞測試的結(jié)果確定符合砌筑要求的候選抓取位置；

6、s3、砌墻機器人采集目標場景的三維點云數(shù)據(jù)，并對三維點云數(shù)據(jù)進行分析，確定目標磚塊的主軸方向和尺寸特征；

7、s4、將待砌磚型的幾何和語義信息與目標磚塊的主軸方向和尺寸特征進行信息融合分析，得到目標磚塊的抓取矩形框；

8、s5、將所述抓取矩形框投影至二維圖像屏幕，計算砌墻機器人的抓取位姿參數(shù)，砌墻機器人根據(jù)抓取位姿參數(shù)執(zhí)行磚塊抓取。

9、在以上技術(shù)方案的基礎上，優(yōu)選的，抓取位姿參數(shù)包括抓取中心點位置、夾爪朝向、張開距離、夾指寬度和旋轉(zhuǎn)角度。

10、在以上技術(shù)方案的基礎上，優(yōu)選的，步驟s2具體包括：

11、s21、根據(jù)整體砌筑任務的bim模型，提取所有待砌磚塊的空間位置信息和幾何尺寸；

12、s22、基于所有待砌磚塊的空間位置信息和幾何尺寸構(gòu)建磚塊布局無向圖，其中磚塊布局無向圖中每個節(jié)點代表一個磚塊，每條邊代表磚塊之間的空間關(guān)系；

13、s23、基于待砌磚塊的空間位置信息和幾何尺寸為每塊待砌磚生成初始的候選抓取矩形框，并對每個候選抓取矩陣型進行碰撞測試；

14、s24、根據(jù)碰撞測試結(jié)果，篩選出無碰撞的候選抓取位置。

15、在以上技術(shù)方案的基礎上，優(yōu)選的，構(gòu)建磚塊布局無向圖具體包括：

16、步驟一、將每個待砌磚塊作為一個節(jié)點，得到磚塊布局無向圖節(jié)點集；

17、步驟二、任選一個節(jié)點，并遍歷磚塊布局無向圖節(jié)點集中所有節(jié)點，檢查任意兩個節(jié)點偏移后的外接矩形是否相交：

18、若是，則在兩個節(jié)點之間添加一條邊；

19、步驟三、重復步驟二直至磚塊布局無向圖節(jié)點集中的所有節(jié)點均被遍歷，得到磚塊布局無向圖。

20、在以上技術(shù)方案的基礎上，優(yōu)選的，所述碰撞測試具體包括：

21、基于磚塊布局無向圖，獲取相鄰已砌磚塊的最小外接矩形信息；

22、檢測沿主軸方向的抓取矩形框是否與相鄰已砌磚塊相交：

23、若是，則抓取矩形框與相鄰已砌磚塊發(fā)生碰撞；

24、若否，則進行下一步；

25、檢測垂直于主軸方向的抓取矩形框是否與相鄰已砌磚塊相交：

26、若是，則抓取矩形框與相鄰已砌磚塊發(fā)生碰撞；

27、若否，則抓取矩形框為無碰撞抓取矩形框。

28、更進一步優(yōu)選的，步驟s4具體包括：

29、s41、從待砌磚型的bim模型中獲取待砌磚型的抓取矩形框語義信息，確定語義信息類型；

30、s42、利用主成分分析法構(gòu)建三維點云的定向包圍盒，從定向包圍盒中提取待抓取磚塊的長度和寬度，根據(jù)待抓取磚塊的長度和寬度計算主軸方向向量；

31、s43、根據(jù)語義信息類型確定抓取矩形框方向，并計算抓取矩形框的寬度和長度，生成最終抓取矩形框。

32、在以上技術(shù)方案的基礎上，優(yōu)選的，所述語義信息類型包括message1和message2，所述抓取矩形框方向為：

33、當語義信息類型為message1時，抓取矩形框方向垂直于主軸方向，則抓取矩形框的寬度為w＝l1+2d；其中l(wèi)1表示定向包圍盒的短邊長度；d表示夾爪于待抓取磚塊邊緣的間隙參數(shù)；

34、當語義信息類型為message2時，抓取矩形框方向平行于主軸方向，則抓取矩形框的寬度為w＝l2+2d；其中l(wèi)2表示定向包圍盒的長邊長度。

35、第二方面，本發(fā)明提供了一種融合bim和視覺觀測信息的砌墻機器人抓取識別系統(tǒng)，采用如上述所述的砌墻機器人抓取識別方法，包括：

36、指令獲取模塊，其配置為砌墻機器人獲取砌筑指令信息，根據(jù)砌筑指令信息確定待砌磚型及待砌磚型在整體砌筑任務中的位置，從bim模型庫中獲取待砌磚型的bim模型，并從待砌磚型的bim模型中提取待砌磚型的幾何和語義信息；

37、碰撞測試模塊，其配置為基于整體砌筑任務的bim模型構(gòu)建磚塊布局無向圖，并進行碰撞測試，根據(jù)碰撞測試的結(jié)果確定符合砌筑要求的候選抓取位置；

38、數(shù)據(jù)分析模塊，其配置為砌墻機器人采集目標場景的三維點云數(shù)據(jù)，并對三維點云數(shù)據(jù)進行分析，確定目標磚塊的主軸方向和尺寸特征；

39、信息融合模塊，其配置為將待砌磚型的幾何和語義信息與目標磚塊的主軸方向和尺寸特征進行信息融合分析，得到目標磚塊的抓取矩形框；

40、抓取模塊，其配置為將所述抓取矩形框投影至二維圖像屏幕，計算砌墻機器人的抓取位姿參數(shù)，砌墻機器人根據(jù)抓取位姿參數(shù)執(zhí)行磚塊抓取。

41、第三方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令使所述計算機實現(xiàn)如上述所述的砌墻機器人抓取識別方法。

42、第四方面，本發(fā)明提供了一種電子設備，至少一個處理器、一個存儲器、通信接口和總線；其中，

43、所述處理器、存儲器、通信接口通過所述總線完成相互間的通信；

44、所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令，以實現(xiàn)如上述所述的砌墻機器人抓取識別方法。

45、本發(fā)明的砌墻機器人抓取識別方法相對于現(xiàn)有技術(shù)具有以下有益效果：

46、(1)通過結(jié)合bim模型信息和實時視覺觀測數(shù)據(jù)，實現(xiàn)了砌墻機器人的智能化抓取識別，有效避免了砌筑干涉問題，通過構(gòu)建磚塊布局無向圖和碰撞測試，確保了抓取位置的合理性和安全性，同時顯著提高了砌墻機器人的自主性、靈活性和工作效率；

47、(2)通過利用bim模型提取的空間位置信息和幾何尺寸構(gòu)建無向圖，有效地表示了磚塊之間的空間關(guān)系，生成初始候選抓取矩形框并進行碰撞測試，提高了砌筑過程的安全性和效率，通過篩選無碰撞的候選抓取位置，提高了砌筑質(zhì)量和效率；

48、(3)通過從bim模型中獲取磚塊的抓取矩形框語義信息，實現(xiàn)了更智能和靈活的抓取方式選擇，根據(jù)不同的語義信息類型，系統(tǒng)能夠自適應地調(diào)整抓取矩形框的方向和尺寸，從而更好地滿足不同類型磚塊的抓取需求，高效處理各種砌筑場景和磚型，同時保證了抓取的穩(wěn)定性和可靠性。