本技術涉及機器人導航，特別是涉及一種基于大模型的語義導航方法、物品取送方法和機器人。

背景技術：

1、隨著人工智能和深度學習技術的飛速發(fā)展，機器人技術向智能化、自主化方向邁進。在機器人應用中，語義導航與物品取送是兩項至關重要的能力，它們不僅要求機器人能夠準確理解并響應人類指令，還需要在復雜多變的環(huán)境中自主導航，精準定位并取送物品。然而，傳統(tǒng)方法在實現(xiàn)這些功能時面臨諸多挑戰(zhàn)，如環(huán)境感知的局限性、指令理解的模糊性以及決策控制的復雜性等。

2、傳統(tǒng)機器人導航系統(tǒng)往往依賴于預定義的地圖和簡單的障礙物檢測，難以在動態(tài)變化、語義信息豐富的復雜環(huán)境中實現(xiàn)高效、準確的導航。例如，在家庭、醫(yī)院或購物中心等環(huán)境中，機器人需要理解并遵循如“前往最近的咖啡廳”、“避開擁擠區(qū)域”等指令。雖然深度學習在多個領域展現(xiàn)了強大的策略優(yōu)化能力，但在機器人語義導航中，如何有效設計獎勵函數(shù)、處理高維狀態(tài)空間以及實現(xiàn)安全高效的在線學習仍是挑戰(zhàn)。大模型在語義解析方面表現(xiàn)出色，但往往伴隨著計算量大、響應速度慢的問題，這對于需要實時響應的機器人導航系統(tǒng)來說是不利的。

3、為了克服這些挑戰(zhàn)，研究人員開始探索基于大模型的控制方法，以提升機器人的語義理解能力和自主導航精度。大模型通過在海量數(shù)據(jù)中學習到的豐富知識表示和復雜的特征提取能力，為機器人提供了更加智能和靈活的決策基礎。

4、在機器人語義導航與物品取送領域，現(xiàn)有技術多依賴于固定的地圖和路徑規(guī)劃算法，當環(huán)境發(fā)生變化時，機器人往往無法及時適應，導致導航失敗或路徑選擇不合理，影響任務完成效率和安全性。傳統(tǒng)的機器學習模型受限于訓練數(shù)據(jù)的規(guī)模和多樣性，難以捕捉到人類語言的豐富內涵和細微差別，機器人在理解自然語言指令時容易出現(xiàn)誤解或遺漏，無法準確執(zhí)行復雜任務。另一些方法則利用機器學習技術提升機器人的環(huán)境感知和決策能力，但受限于模型規(guī)模和訓練數(shù)據(jù)的限制，往往難以達到理想的性能。現(xiàn)有技術的決策過程基于預設的規(guī)則或算法，缺乏足夠的靈活性和創(chuàng)造性，在面對突發(fā)情況或需要靈活調整策略時，機器人難以做出最優(yōu)決策，影響任務完成質量。系統(tǒng)架構復雜，模塊間耦合度高，新增功能或修復錯誤需要較大的改動，增加了開發(fā)和維護成本，降低了系統(tǒng)的可擴展性和可維護性。

技術實現(xiàn)思路

1、基于此，有必要針對上述技術問題，提供一種基于大模型的語義導航方法、物品取送方法和機器人。

2、一種基于大模型的語義導航方法，該方法包括：

3、獲取用戶的輸入文本。

4、采用大模型將輸入文本進行語義理解和解析，并根據(jù)得到的語義解析結果生成相應的任務指令，并控制機器人執(zhí)行任務指令。

5、導航系統(tǒng)獲取機器人周圍環(huán)境圖像，采用特征匹配方法來識別和跟蹤環(huán)境中的關鍵點，實現(xiàn)地自我定位，智能地規(guī)劃行動路線、規(guī)避障礙，并識別重要的導航標志。

6、導航系統(tǒng)通過三維建圖方式重建出周圍環(huán)境的三維模型，根據(jù)三維模型理解周圍復雜的環(huán)境，實現(xiàn)精確的定位和導航。

7、在其中一個實施例中，大模型包括：編碼器和解碼器；采用大模型將輸入文本進行語義理解和解析，并根據(jù)得到的語義解析結果生成相應的任務指令，并控制機器人執(zhí)行任務指令，包括：

8、采用編碼器將輸入文本編碼為向量序列；向量序列包括文本的語義信息。

9、對向量序列采用解碼器結合上下文信息、語法規(guī)則以及先驗知識，對上下文進行理解和解析，得到語義解析結果。

10、根據(jù)語義解析結果生成相應的任務指令，并控制機器人執(zhí)行任務指令。

11、在其中一個實施例中，特征匹配方法為superglub算法。

12、在其中一個實施例中，導航系統(tǒng)通過三維建圖方式重建出周圍環(huán)境的三維模型，根據(jù)三維模型理解周圍復雜的環(huán)境，實現(xiàn)精確的定位和導航，包括：

13、導航系統(tǒng)通過對激光雷達傳感器生成的點云數(shù)據(jù)進行去噪、濾波、壓縮，從處理后的數(shù)據(jù)中提取出關鍵特征；關鍵特征包括邊緣、角點以及平面。

14、根據(jù)關鍵特征采用預設重建算法，重建出周圍環(huán)境的三維模型。

15、根據(jù)三維模型理解周圍復雜的環(huán)境，實現(xiàn)精確的定位和導航。

16、一種物品取送方法，該方法包括：

17、采用強化學習框架構建智能體，智能體持續(xù)監(jiān)測來自機器人攜帶的傳感器和環(huán)境的實時狀態(tài)信息，根據(jù)實時狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作；智能體通過與目標物體和機械臂交互學習檢測和抓取目標的最優(yōu)策略；

18、機器人的導航系統(tǒng)通過上述的基于大模型的語義導航方法進行導航，到達目的地。

19、機器人到達目的地后，導航系統(tǒng)獲取智能體檢測的實時狀態(tài)信息，并獲取目標檢測算法檢測到的目標，然后計算出目標的三維坐標，并根據(jù)攝像頭與機械手位置進行矯正，導航系統(tǒng)將輸出信息發(fā)送至機械手控制系統(tǒng)，機械手控制系統(tǒng)對接收到的輸出信息進行解析，生成指導機械手抓取目標的控制指令；輸出信息包括路徑規(guī)劃結果、當前位置信息以及環(huán)境參數(shù)。

20、機械手控制系統(tǒng)執(zhí)行控制指令，完成物品取送動作。

21、在其中一個實施例中，采用強化學習框架構建智能體，智能體持續(xù)監(jiān)測來自機器人攜帶的傳感器和環(huán)境的實時狀態(tài)信息，根據(jù)實時狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作，包括：

22、將機器人的機械臂抓取物品的過程建模為馬爾科夫決策過程；所述馬爾科夫決策過程是一個包含四個元素的集合，其中，s為狀態(tài)空間，a為動作空間，為轉移函數(shù)，為獎勵函數(shù)，代表當前狀態(tài)，為動作，代表智能體在當前狀態(tài)執(zhí)行動作之后可能達到的新狀態(tài)。

23、采用強化學習框架構建智能體。

24、在智能體訓練過程中，智能體接收狀態(tài)信息，選擇最優(yōu)動作；環(huán)境根據(jù)動作效果給與獎勵或懲罰，智能體利用獎勵更新決策策略，迭代優(yōu)化直至能準確抓取為止，得到最優(yōu)策略；狀態(tài)信息包括圖像和機械臂位置；最優(yōu)策略下的最優(yōu)狀態(tài)值函數(shù)滿足貝爾曼最優(yōu)方程：

25、；

26、最優(yōu)策略下最優(yōu)動作值函數(shù)滿足貝爾曼最優(yōu)方程：

27、；

28、其中，、分別為最優(yōu)狀態(tài)值函數(shù)和最優(yōu)動作值函數(shù)，表示折扣因子。

29、訓練完成后，將智能體部署與實際環(huán)境，智能體持續(xù)監(jiān)測來自機器人攜帶的傳感器和環(huán)境的實時狀態(tài)信息，根據(jù)實時狀態(tài)信息選擇并執(zhí)行最優(yōu)的抓取動作。

30、在其中一個實施例中，機械手控制系統(tǒng)執(zhí)行控制指令，完成物品取送動作，包括：

31、在目標抓取流程中，機械手控制系統(tǒng)將信息轉換至機械臂基坐標系，確保定位準確，隨后進行路徑規(guī)劃，機械臂根據(jù)規(guī)劃路徑運動，激活末端執(zhí)行器準備抓取，抓取過程中實時反饋調整，抓取成功后，機械臂將物體投放到指定位置。

32、在其中一個實施例中，機器人到達目的地后，導航系統(tǒng)獲取智能體檢測的實時狀態(tài)信息，并獲取目標檢測算法檢測到的目標，然后計算出目標的三維坐標，并根據(jù)攝像頭與機械手位置進行矯正，導航系統(tǒng)將輸出信息發(fā)送至機械手控制系統(tǒng)，機械手控制系統(tǒng)對接收到的輸出信息進行解析，生成指導機械手抓取目標的控制指令，包括：

33、機器人到達目的地后，導航系統(tǒng)獲取智能體檢測的實時狀態(tài)信息，并獲取目標檢測算法檢測到的目標，然后計算出目標的三維坐標，并根據(jù)攝像頭與機械手位置進行矯正。

34、導航系統(tǒng)將路徑規(guī)劃結果、當前位置信息以及環(huán)境參數(shù)發(fā)送至機械手控制系統(tǒng)。

35、機械手控制系統(tǒng)接收路徑規(guī)劃結果、當前位置信息以及環(huán)境參數(shù)后進行實時解析，并根據(jù)解析結果生成相應的控制指令；控制指令包括描述機械手運動軌跡、速度和力度的參數(shù)。

36、機械手控制系統(tǒng)將控制指令發(fā)送至機械手，指導機械手執(zhí)行具體的動作。

37、在執(zhí)行過程中，機械手會實時向機械手控制系統(tǒng)反饋執(zhí)行狀態(tài)和結果。

38、當遇到障礙物或環(huán)境變化時，機械手控制系統(tǒng)根據(jù)機械手的反饋和檢測算法的新輸入，重新評估當前情況，并調整控制指令和參數(shù)。

39、在其中一個實施例中，目標檢測算法為yolov8算法。

40、一種機器人，機器人包括導航系統(tǒng)、三維建圖模塊、機械手控制系統(tǒng)以及機械臂，機器人采用上述物品取送方法進行物品抓取。

41、上述基于大模型的語義導航方法、物品取送方法和機器人，所述方法采用大模型強大的學習能力提升環(huán)境適應性，使得機器人能夠實時感知并適應復雜多變的環(huán)境，動態(tài)調整導航策略以應對突發(fā)情況或未知障礙，高度的環(huán)境適應性不僅提高了導航的準確性，還增強了機器人在各種場景下的魯棒性。其次，大模型能夠更深入地解析人類語言的語義和上下文信息，從而準確理解用戶的指令意圖，使得機器人在執(zhí)行任務時能夠更加貼近用戶的實際需求，提高任務完成的準確性和滿意度。再者，大模型在復雜場景下的決策能力使得機器人能夠靈活應對各種突發(fā)情況和任務需求，快速做出合理且高效的決策，這不僅提升了機器人的工作效率，還增強了其應對不確定性因素的能力。