背景技術(shù)：

1、存在可能需要生成或重建符合真實世界的規(guī)則和約束的逼真的數(shù)字和/或虛擬環(huán)境的各種操作，諸如可涉及自主或半自主導(dǎo)航，以及機器人模擬。例如，地圖(諸如高清(hd)地圖、標清(sd)地圖、導(dǎo)航地圖等)被廣泛地依賴以用于半自主和自主操作。自主或半自主車輛和機器可能依賴這些地圖以及實時傳感器數(shù)據(jù)以進行導(dǎo)航、定位、路徑或路線規(guī)劃和/或其他操作。例如，對于諸如負責(zé)自主車輛操作的那些系統(tǒng)之類的系統(tǒng)，感知模塊可以與地圖(mapping)模塊一起工作，以允許這樣的地圖與感知模型能夠?qū)崟r地從傳感器數(shù)據(jù)推理出的內(nèi)容對齊。這種對齊首先需要通過諸如全球定位系統(tǒng)(gps)之類的機制來獲得精確的自我車輛位置，以確定相關(guān)的局部地圖數(shù)據(jù)，然后將局部地圖數(shù)據(jù)與感知數(shù)據(jù)相關(guān)聯(lián)。這種方法通常對位置數(shù)據(jù)的準確性和可用性非常敏感，并對地圖質(zhì)量和新鮮度提出了嚴格的要求。感知模塊和地圖模塊的分離還阻止了整體解決方案被用于解決感知結(jié)果與地圖數(shù)據(jù)之間的不一致。此外，當沒有可用的地圖時，感知模塊必須負責(zé)實時地、高準確度地檢測自我汽車周圍的所有駕駛相關(guān)對象，即使許多駕駛相關(guān)對象(諸如車道、標志或路緣)是靜態(tài)的并且可以離線繪制并按需檢索。這對感知模塊在計算資源和性能兩方面(包括諸如準確性和延時之類的方面)提出了更高的要求。

技術(shù)實現(xiàn)思路

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，進一步包括：

3.如權(quán)利要求2所述的方法，其中所述觀測結(jié)果集合和所述局部地圖數(shù)據(jù)是與所述機器在所述物理環(huán)境中的當前位置有關(guān)來確定的，并且其中所述一個或更多個操作對應(yīng)于規(guī)劃、控制或?qū)Ш街械闹辽僖徽摺?/p>

4.如權(quán)利要求1所述的方法，進一步包括：

5.如權(quán)利要求4所述的方法，進一步包括：

6.如權(quán)利要求1所述的方法，其中所述經(jīng)訓(xùn)練的語言模型將所述觀測結(jié)果集合的一部分與所述局部地圖數(shù)據(jù)進行融合以生成所述環(huán)境的所述一部分的單個一致表示，并且其中所述標記化描述是部分地基于所述單個一致表示而生成的。

7.如權(quán)利要求1所述的方法，其中所述一個或更多個操作是特定于領(lǐng)域的，并且其中所述標記化描述是用對應(yīng)于所述領(lǐng)域的領(lǐng)域特定語言生成的。

8.如權(quán)利要求1所述的方法，其中所述標記化描述包括用于所述物理環(huán)境中的靜態(tài)對象和動態(tài)對象的標記。

9.如權(quán)利要求1所述的方法，其中所述語言模型使用所述環(huán)境的所述一部分的不完整的局部地圖數(shù)據(jù)或不完整的觀測結(jié)果集合生成所述標記化描述。

10.如權(quán)利要求1所述的方法，其中所述標記化描述是用道路拓撲語言rtl或其他領(lǐng)域特定語言dsl編寫的。

11.如權(quán)利要求1所述的方法，其中所述標記化描述是基于所述觀測結(jié)果集合中的特征的語義、拓撲、幾何結(jié)構(gòu)、運動學(xué)或關(guān)系信息中的至少一者確定的。

12.一種處理器，包括：

13.如權(quán)利要求12所述的處理器，其中所述經(jīng)訓(xùn)練的語言模型用于將所述觀測結(jié)果集合的一部分與所述局部地圖數(shù)據(jù)進行融合以生成所述環(huán)境的所述一部分的單個一致表示，并且其中所述標記化描述是部分地基于所述單個一致表示而生成的。

14.如權(quán)利要求12所述的處理器，其中所述標記化描述將被用于執(zhí)行特定于領(lǐng)域的操作，并且其中所述標記化描述是用對應(yīng)于所述領(lǐng)域的領(lǐng)域特定語言生成的。

15.如權(quán)利要求12所述的處理器，其中所述經(jīng)訓(xùn)練的語言模型用于使用所述環(huán)境的所述一部分的不完整的局部地圖數(shù)據(jù)或不完整的觀測結(jié)果集合生成所述標記化描述。

16.如權(quán)利要求12所述的處理器，其中所述處理器被包括在以下中的至少一者中：

17.一種系統(tǒng)，包括：

18.如權(quán)利要求17所述的系統(tǒng)，其中所述經(jīng)訓(xùn)練的語言模型將所述觀測結(jié)果集合的至少一部分與所述局部地圖數(shù)據(jù)進行融合以生成所述環(huán)境的所述一部分的單個一致表示，并且其中所述標記化描述是至少部分地基于所述單個一致表示而生成的。

19.如權(quán)利要求17所述的系統(tǒng)，其中所述標記化描述包括標記序列，所述標記序列指示在所述物理位置中識別的一個或更多個靜態(tài)對象或動態(tài)對象的空間信息和語義信息。

20.如權(quán)利要求17所述的系統(tǒng)，其中所述系統(tǒng)包括以下中的至少一者：

技術(shù)總結(jié)
本發(fā)明公開了在環(huán)境重建系統(tǒng)和應(yīng)用中使用大語言模型增強感知數(shù)據(jù)，具體公開了使用語言模型生成物理環(huán)境的標記化描述的方法。在至少一個實施例中，可以獲得環(huán)境的傳感器和/或觀測數(shù)據(jù)，并用于生成感知數(shù)據(jù)集合?？梢苑治龈兄獢?shù)據(jù)以及環(huán)境內(nèi)的近似位置數(shù)據(jù)，以識別對齊的地圖數(shù)據(jù)集合。對齊的地圖數(shù)據(jù)和感知數(shù)據(jù)可以作為輸入被提供給經(jīng)訓(xùn)練的語言模型，語言模型可以被訓(xùn)練為關(guān)聯(lián)和/或融合信息以生成環(huán)境的單個一致表示。語言模型可以輸出環(huán)境的標記化描述，該標記化描述可以是用特定領(lǐng)域的語言的，即環(huán)境的緊湊但魯棒的文本描述。

技術(shù)研發(fā)人員：吳雙,D·拉普萊斯,G·叢,M·惠勒
受保護的技術(shù)使用者：輝達公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19