本公開涉及信息處理設備、信息處理方法和信息生成方法。

背景技術：

1、目前，關于諸如自動駕駛、增強現(xiàn)實(ar)以及機器人(例如，slam：同時執(zhí)行自身定位和地圖創(chuàng)建)的各種系統(tǒng)，存在一種設備，該設備實時處理所獲取的三維點云(3d點云)并且為三維點云的每個點執(zhí)行對象識別(分類)(例如，參見專利文獻1)。在這樣的技術中，通過使用神經(jīng)網(wǎng)絡進行分類能夠?qū)崟r地識別障礙物、背景物體等。

2、[引用列表]

3、[專利文獻]

4、[pt11]jp?2021-196829?a

技術實現(xiàn)思路

1、[技術問題]

2、然而，在使用如上所述的技術的情況下，需要經(jīng)預先定義的類別分類的三維點云數(shù)據(jù)，并且因此生成學習數(shù)據(jù)集的處理成本高于二維圖像數(shù)據(jù)集的處理成本。另外，在類別分類的識別標簽根據(jù)任務而不同的情況下，需要為每個任務準備學習數(shù)據(jù)集和學習模型，增加了處理成本。

3、因此，本公開提出了能夠降低處理成本的信息處理設備、信息處理方法以及信息生成方法。

4、[問題的解決方案]

5、根據(jù)本公開的實施方式的信息處理設備包括：識別單元，其對圖像執(zhí)行識別處理并且給出圖像的每個圖像元素或每個關注的圖像元素的識別結果；分類單元，其根據(jù)任務對圖像的每個圖像元素或每個關注的圖像元素的識別結果進行分類，并且給出圖像的每個圖像元素或每個關注的圖像元素的分類結果；以及三維點云生成單元，其生成與圖像相關的三維點云，并且基于圖像的每個圖像元素或每個關注的圖像元素的分類結果給出三維點云的每個點的分類結果。

6、根據(jù)本公開的實施方式的信息處理方法包括：對圖像執(zhí)行識別處理并且給出圖像的每個圖像元素或者每個關注的圖像元素的識別結果；根據(jù)任務對圖像的每個圖像元素或每個關注的圖像元素的識別結果進行分類，并給出對圖像的每個圖像元素或每個關注的圖像元素的分類結果；以及生成與圖像相關的三維點云，并且基于圖像的每個圖像元素或每個關注的圖像元素的分類結果給出三維點云的每個點的分類結果。

7、根據(jù)本公開的實施方式的信息生成方法包括：生成包括三維點云的每個點的位置信息和通過根據(jù)任務對三維點云的每個點的識別結果進行分類而獲得的三維點云的每個點的分類結果的信息。

8、一種用于生成三維(3d)點云數(shù)據(jù)的系統(tǒng)，系統(tǒng)包括：至少一個第一處理器，其被配置為：基于二維(2d)圖像數(shù)據(jù)生成3d點云數(shù)據(jù)，其中，3d點云數(shù)據(jù)中的每個點包括：位置信息，該位置信息包括指示點的位置的至少三個坐標；對象信息，將點標記為從多個對象中選擇的第一對象；以及類別信息，將點標記為屬于多個類別中的第一類別，其中，多個類別中的每個類別包括多個對象中的至少一個相應對象。

9、一種用于生成三維(3d)點云數(shù)據(jù)的方法，方法包括：基于二維(2d)圖像數(shù)據(jù)生成3d點云數(shù)據(jù)，其中，3d點云數(shù)據(jù)中的每個點包括：位置信息，該位置信息包括指示點的位置的至少三個坐標；對象信息，將點標記為從多個對象中選擇的第一對象；以及類別信息，將點標記為屬于多個類別中的第一類別，其中，多個類別中的每個類別包括多個對象中的至少一個相應對象。

10、至少一個非暫態(tài)計算機可讀存儲介質(zhì)，至少一個非暫態(tài)計算機可讀存儲介質(zhì)具有在其上編碼的指令，指令在由至少一個處理器執(zhí)行時使至少一個處理器執(zhí)行用于生成三維(3d)點云數(shù)據(jù)的方法，該方法包括：基于二維(2d)圖像數(shù)據(jù)生成3d點云數(shù)據(jù)，其中，3d點云數(shù)據(jù)中的每個點包括：位置信息，該位置信息包括指示點的位置的至少三個坐標；對象信息，將點標記為從多個對象中選擇的第一對象；以及類別信息，將點標記為屬于多個類別中的第一類別，其中，多個類別中的每個類別包括多個對象中的至少一個相應對象。

11、一種系統(tǒng)，包括：至少一個非暫態(tài)計算機可讀存儲介質(zhì)，至少一個非暫態(tài)計算機可讀存儲介質(zhì)具有在其上編碼的三維(3d)點云數(shù)據(jù)，3d點云數(shù)據(jù)中的每個點包括：位置信息，該位置信息包括指示點的位置的至少三個坐標；對象信息，將點標記為從多個對象中選擇的第一對象；以及類別信息，將點標記為屬于多個類別中的第一類別，其中，多個類別中的每個類別包括多個對象中的至少一個相應對象。

技術特征：

1.一種用于生成三維(3d)點云數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括：

2.根據(jù)權利要求1所述的系統(tǒng)，其中，所述多個類別基于任務來定義。

3.根據(jù)權利要求1所述的系統(tǒng)，其中，所述多個類別的數(shù)量少于所述多個對象的數(shù)量。

4.根據(jù)權利要求1所述的系統(tǒng)，進一步包括存儲器，所述存儲器存儲表，所述表包括所述多個類別中的每個類別的標簽和所述多個對象中的每個對象的標簽。

5.根據(jù)權利要求1所述的系統(tǒng)，其中，所述至少一個第一處理器進一步被配置為：

6.根據(jù)權利要求5所述的系統(tǒng)，其中，所述至少一個第一處理器被配置為至少部分地使用機器學習模型來執(zhí)行所述2d對象識別處理。

7.根據(jù)權利要求5所述的系統(tǒng)，其中，所述至少一個第一處理器被配置為使用機器學習模型來對所述標記的2d圖像數(shù)據(jù)進行分類。

8.根據(jù)權利要求1所述的系統(tǒng)，其中，所述2d圖像數(shù)據(jù)包括多個2d圖像數(shù)據(jù)，所述多個2d圖像數(shù)據(jù)包括第一2d圖像數(shù)據(jù)集和第二2d圖像數(shù)據(jù)集，其中，所述第一2d圖像數(shù)據(jù)集的視場與所述第二2d圖像數(shù)據(jù)集的視場至少部分重疊，并且至少一個處理器被配置為基于所述多個2d圖像數(shù)據(jù)生成所述3d點云數(shù)據(jù)。

9.根據(jù)權利要求8所述的系統(tǒng)，其中，所述至少一個第一處理器進一步被配置為接收深度圖像數(shù)據(jù)，所述深度圖像數(shù)據(jù)的視場與所述2d圖像數(shù)據(jù)的視場至少部分重疊。

10.根據(jù)權利要求9所述的系統(tǒng)，其中，所述深度圖像數(shù)據(jù)是由深度傳感器生成。

11.根據(jù)權利要求9所述的系統(tǒng)，其中，所述深度圖像數(shù)據(jù)是基于所述多個2d圖像數(shù)據(jù)生成的。

12.根據(jù)權利要求1所述的系統(tǒng)，其中，所述2d圖像數(shù)據(jù)由相機生成。

13.根據(jù)權利要求1所述的系統(tǒng)，其中，所述2d圖像數(shù)據(jù)包括多個像素，并且所述至少一個第一處理器進一步被配置為生成具有所述2d圖像數(shù)據(jù)的每個像素的所述類別信息的類別標簽圖，并且其中，所述至少一個第一處理器被配置為基于所述類別圖生成所述3d點云數(shù)據(jù)。

14.根據(jù)權利要求1所述的系統(tǒng)，其中，所述至少一個第一處理器進一步被配置為在顯示器上顯示所述3d點云數(shù)據(jù)。

15.根據(jù)權利要求1所述的系統(tǒng)，其中，所述至少一個第一處理器被配置為基于對所述多個對象中的一個或多個對象的選擇和/或?qū)λ龆鄠€類別中的一個或多個類別的選擇來顯示所述3d點云數(shù)據(jù)。

16.一種用于生成三維(3d)點云數(shù)據(jù)的方法，所述方法包括：

17.根據(jù)權利要求16所述的方法，進一步包括：

18.根據(jù)權利要求17所述的方法，其中，至少部分地使用機器學習模型來執(zhí)行所述2d對象識別處理。

19.根據(jù)權利要求17所述的方法，其中，對所述標記的2d圖像數(shù)據(jù)進行分類包括使用機器學習模型來對所述標記的2d圖像數(shù)據(jù)進行分類。

20.至少一個非暫態(tài)計算機可讀存儲介質(zhì)，具有在其上編碼的指令，所述指令在由至少一個處理器執(zhí)行時使所述至少一個處理器執(zhí)行用于生成三維(3d)點云數(shù)據(jù)的方法，所述方法包括：

21.一種系統(tǒng)，包括：

技術總結
一種用于生成三維(3D)點云數(shù)據(jù)的系統(tǒng)，包括：至少一個第一處理器，該至少一個第一處理器被配置為基于二維(2D)圖像數(shù)據(jù)生成3D點云數(shù)據(jù)，其中，3D點云數(shù)據(jù)的每個點包括：位置信息，該位置信息包括指示點的位置的至少三個坐標；對象信息，將點標記為從多個對象中選擇的第一對象；以及類別信息，將點標記為屬于多個類別中的第一類別，其中，多個類別中的每個類別包括多個對象中的至少一個相應對象。

技術研發(fā)人員：吉田隆彥,黑川翼
受保護的技術使用者：索尼半導體解決方案公司
技術研發(fā)日：
技術公布日：2024/12/19