至少一個實(shí)施例涉及用于執(zhí)行和促進(jìn)人工智能的處理資源。例如，至少一個實(shí)施例涉及用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理器或計(jì)算系統(tǒng)，并且至少一個實(shí)施例涉及根據(jù)本文描述的各種新型技術(shù)用于使用神經(jīng)網(wǎng)絡(luò)執(zhí)行推理的處理器或計(jì)算系統(tǒng)。

背景技術(shù)：

1、對于諸如機(jī)器人和自主導(dǎo)航之類的技術(shù)，能夠確定有關(guān)這些技術(shù)正在其中進(jìn)行操作的環(huán)境的信息通常是必要的。這可以包括識別附近的對象及這些對象的位置、是否進(jìn)行交互、避免碰撞或以其他方式在該環(huán)境中進(jìn)行操作。這還可以確定可以在其中執(zhí)行某些操作的該環(huán)境中的區(qū)域，例如自主車輛可以在其中行駛的道路或車道。單獨(dú)的過程被用來確定這些類型的信息，并在后處理期間進(jìn)行協(xié)調(diào)，這可需要大量的時間和資源，這對于需要低延時決策的任務(wù)(例如導(dǎo)航)以及其中設(shè)備本身可具有有限計(jì)算資源的任務(wù)而言可能是不理想的。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種處理器，包括：

2.根據(jù)權(quán)利要求1所述的處理器，其中所述一個或更多個電路還用于使得所述神經(jīng)網(wǎng)絡(luò)的編碼器將對應(yīng)于所述一個或更多個對象和所述3d環(huán)境的特征提取到2d視圖空間中。

3.根據(jù)權(quán)利要求2所述的處理器，其中所述一個或更多個電路還用于將所述2d視圖空間中的所述特征轉(zhuǎn)換為統(tǒng)一的3d表示。

4.根據(jù)權(quán)利要求1所述的處理器，其中所述一個或更多個電路還用于利用所述神經(jīng)網(wǎng)絡(luò)的相應(yīng)網(wǎng)絡(luò)頭來確定所述一個或更多個對象的所述一個或更多個位置以及生成所述3d環(huán)境的所述分割地圖。

5.根據(jù)權(quán)利要求4所述的處理器，其中所述一個或更多個電路還用于利用一個或更多個任務(wù)特定網(wǎng)絡(luò)頭以至少部分地基于所述統(tǒng)一的3d表示中的所述特征來生成一個或更多個附加推理。

6.根據(jù)權(quán)利要求1所述的處理器，其中所述一個或更多個電路還用于將所述一個或更多個位置和所述分割地圖提供給導(dǎo)航系統(tǒng)以生成用于自動化設(shè)備的導(dǎo)航指令。

7.一種系統(tǒng)，包括：

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述一個或更多個處理器還用于使得所述神經(jīng)網(wǎng)絡(luò)的編碼器將對應(yīng)于所述一個或更多個對象和所述3d環(huán)境的特征提取到二維空間中。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中所述一個或更多個處理器還用于將所述2d視圖空間中的所述特征轉(zhuǎn)換為統(tǒng)一的3d表示。

10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述一個或更多個處理器還用于利用所述神經(jīng)網(wǎng)絡(luò)的相應(yīng)網(wǎng)絡(luò)頭來確定所述一個或更多個對象的所述一個或更多個位置以及生成所述3d環(huán)境的所述分割地圖。

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述一個或更多個處理器還用于利用一個或更多個任務(wù)特定網(wǎng)絡(luò)頭以至少部分地基于所述統(tǒng)一的3d表示中的所述特征來生成一個或更多個附加推理。

12.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述一個或更多個處理器還用于將所述一個或更多個位置和所述分割地圖提供給導(dǎo)航系統(tǒng)以生成用于自動化設(shè)備的導(dǎo)航指令。

13.一種方法，包括：

14.根據(jù)權(quán)利要求13所述的方法，還包括：

15.根據(jù)權(quán)利要求14所述的方法，還包括：

16.根據(jù)權(quán)利要求13所述的方法，還包括：

17.根據(jù)權(quán)利要求16所述的方法，還包括：

18.根據(jù)權(quán)利要求13所述的方法，其中所述一個或更多個處理器還用于將所述一個或更多個位置和所述分割地圖提供給導(dǎo)航系統(tǒng)以生成用于自動化設(shè)備的導(dǎo)航指令。

19.一種機(jī)器可讀介質(zhì)，其上存儲有一組指令，該組指令在由一個或更多個處理器執(zhí)行時，使得所述一個或更多個處理器至少：

20.根據(jù)權(quán)利要求19所述的機(jī)器可讀介質(zhì)，其中所述指令在被執(zhí)行時，進(jìn)一步使得所述一個或更多個處理器：

21.根據(jù)權(quán)利要求20所述的機(jī)器可讀介質(zhì)，其中所述指令在被執(zhí)行時，進(jìn)一步使得所述一個或更多個處理器：

22.根據(jù)權(quán)利要求19所述的機(jī)器可讀介質(zhì)，其中所述指令在被執(zhí)行時，進(jìn)一步使得所述一個或更多個處理器：

23.根據(jù)權(quán)利要求22所述的機(jī)器可讀介質(zhì)，其中所述指令在被執(zhí)行時，進(jìn)一步使得所述一個或更多個處理器：

24.根據(jù)權(quán)利要求19所述的機(jī)器可讀介質(zhì)，其中所述指令在被執(zhí)行時，進(jìn)一步使得所述一個或更多個處理器：

25.一種環(huán)境表示系統(tǒng)，包括：

26.根據(jù)權(quán)利要求25所述的環(huán)境表示系統(tǒng)，其中所述一個或更多個處理器進(jìn)一步用于使得所述神經(jīng)網(wǎng)絡(luò)的編碼器將對應(yīng)于所述一個或更多個對象和所述3d環(huán)境的特征提取到2d視圖空間中。

27.根據(jù)權(quán)利要求26所述的環(huán)境表示系統(tǒng)，其中所述一個或更多個處理器進(jìn)一步用于將所述2d視圖空間中的所述特征轉(zhuǎn)換為統(tǒng)一的3d表示。

28.根據(jù)權(quán)利要求25所述的環(huán)境表示系統(tǒng)，其中所述一個或更多個處理器進(jìn)一步用于利用所述神經(jīng)網(wǎng)絡(luò)的相應(yīng)網(wǎng)絡(luò)頭來確定所述一個或更多個對象的所述一個或更多個位置以及生成所述3d環(huán)境的所述分割地圖。

29.根據(jù)權(quán)利要求28所述的環(huán)境表示系統(tǒng)，其中所述一個或更多個處理器進(jìn)一步用于利用一個或更多個任務(wù)特定網(wǎng)絡(luò)頭以至少部分地基于所述統(tǒng)一的3d表示中的所述特征來生成一個或更多個附加推理。

30.根據(jù)權(quán)利要求25所述的環(huán)境表示系統(tǒng)，其中所述一個或更多個處理器進(jìn)一步用于將所述一個或更多個位置和所述分割地圖提供給導(dǎo)航系統(tǒng)以生成用于自動化設(shè)備的導(dǎo)航指令。

技術(shù)總結(jié)
提出了用于確定環(huán)境中的對象的裝置、系統(tǒng)和技術(shù)。在至少一個實(shí)施例中，神經(jīng)網(wǎng)絡(luò)可用于至少部分地基于三維(3D)環(huán)境中的一個或更多個對象的一個或更多個二維(2D)圖像確定該一個或更多個對象的一個或更多個位置以及生成該3D環(huán)境的分割地圖。

技術(shù)研發(fā)人員：謝恩澤,禹之鼎,J·菲利昂,A·阿南德庫瑪,S·菲德勒,J·M·阿爾瓦雷斯·洛佩茲
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19