背景技術：

1、為了識別和分配個人所有物的所有權，監(jiān)視系統(tǒng)必須有效地在環(huán)境中的物品和人之間進行關聯(lián)。所確定的個人物品的所有權可以通過例如識別個人物品是否與特定人相關聯(lián)、是否從一個人傳遞到另一個人和/或是否被放棄——以及由誰和/或在哪里放棄該物品，來提供對安全性的洞察。監(jiān)視系統(tǒng)通常依賴于檢測設備(例如，相機)來監(jiān)視環(huán)境。然而，由于檢測設備的不同參數(shù)(例如，視角、視野、遮擋等)，檢測設備可能不能捕獲容易分析的用于將人與物品相關聯(lián)的數(shù)據(jù)。例如，可能難以使用相機來監(jiān)視其中正監(jiān)視許多人和物品的擁擠環(huán)境。

2、用于對象到人關聯(lián)的一些常規(guī)系統(tǒng)可使用單個人和單個對象的靜止圖像來做出一個或更多個確定。例如，在兒童踢球時，如由圖像所表示的，計算機視覺算法可以用于識別在所捕獲的圖像中是什么——例如，“兒童踢球?！比欢驗檫@些靜止圖像僅表示單個人和單個對象，所以兩者之間的關聯(lián)可能不被確定。例如，當在擁擠環(huán)境中采用這些常規(guī)算法時，人相對于對象的動作可能被錯誤地識別為不具有關系(例如，誤否定檢測)或不準確地肯定地是被為具有關系(例如，誤肯定檢測)，其他常規(guī)系統(tǒng)可以執(zhí)行人與對象之間的初步關聯(lián)——如通過使用對象與人之間的聯(lián)合區(qū)域，或表示它們的邊界形狀。然而，這些關聯(lián)通常是不準確的。例如，在存在兩個人且從相機的視角來看第一人的對象(例如，背包)與第二人(例如，未攜帶背包的人)重疊的擁擠環(huán)境中，這些常規(guī)系統(tǒng)可能不正確地生成第二人與對象之間的關聯(lián)。因此，由系統(tǒng)進行的確定將是不準確的，并且所產(chǎn)生的關于對象的預測可能導致無效的安全措施。

技術實現(xiàn)思路

1、本公開部分地涉及通過使用一個或更多個機器學習模型來將對象關聯(lián)到人。與常規(guī)系統(tǒng)(如在此描述的那些系統(tǒng))相比，本公開的系統(tǒng)利用機器學習模型(如卷積神經(jīng)網(wǎng)絡(cnn))來使用與圖像區(qū)域相對應的數(shù)據(jù)生成人與對象之間的關聯(lián)和關系。例如，可以使用對應于人、對象、其聯(lián)合或其重疊的圖像的區(qū)域的位置來生成掩模的圖像數(shù)據(jù)和/或坐標，以應用于機器學習模型。使用掩模而不是裁剪可以有益于神經(jīng)網(wǎng)絡，因為可以保留空間信息——諸如人和對象的維度。

2、照此，在不同實施例中，確定人與對象之間的關聯(lián)可利用被訓練為使用掩模的圖像數(shù)據(jù)和/或坐標來計算人與對象關聯(lián)的置信度的神經(jīng)網(wǎng)絡。在一些示例中，可使用多通道方法，其中可使用不同掩模來生成圖像的多個版本并將其應用于神經(jīng)網(wǎng)絡的單個流。在另一示例中，可使用多分支方法，其中可生成圖像的多個版本并將其作為輸入提供給神經(jīng)網(wǎng)絡的相應分支或流。這些流中的每一個的輸出隨后可被級聯(lián)，并被提供給神經(jīng)網(wǎng)絡的附加層(例如，一個或更多個全連接層)以預測置信度。在進一步的實施例中，不是生成圖像的三個版本，而是單個圖像可被用作到神經(jīng)網(wǎng)絡的輸入，并且感興趣區(qū)域(roi)池化可被神經(jīng)網(wǎng)絡用來分析圖像的與對象、人和其聯(lián)合區(qū)域相對應的各個區(qū)域。例如，圖像可被輸入到神經(jīng)網(wǎng)絡的一系列層，并且除了roi坐標之外，層的輸出也可被輸入到roi池化層，以幫助神經(jīng)網(wǎng)絡學習和預測對應于對象、人及其聯(lián)合的特征。在這樣的示例中，通過使用具有roi池化的單個圖像，可以在沒有關于預測對象與人之間的關聯(lián)的置信度的準確度損失的情況下降低系統(tǒng)的運行時間。

3、在不同示例中，除了roi池化之外或替代roi池化，還可以使用多層感知器(mlp)網(wǎng)絡。例如，除了對應于人的邊界形狀的歸一化坐標、對應于對象的邊界形狀的歸一化坐標、人邊界形狀面積與聯(lián)合邊界形狀(例如，對象和人的聯(lián)合)之比、以及對象邊界形狀與聯(lián)合邊界形狀之比之外，還可以使用利用roi池化的神經(jīng)網(wǎng)絡的預測置信度，來生成對象與人之間的關聯(lián)的更新的置信度或最終置信度。照此，包括roi池化的神經(jīng)網(wǎng)絡預測的置信度可以由mlp網(wǎng)絡修改或驗證以生成最終結果。

技術特征：

1.一種處理器，包括：

2.根據(jù)權利要求1所述的處理器，其中確定所述對象是否與所述人相關聯(lián)包括以下中的至少一個：確定所述一個或更多個置信度值是否大于閾值，或確定所述一個或更多個置信度值大于使用所述一個或更多個神經(jīng)網(wǎng)絡計算的且對應于另一人與所述對象之間的另一關聯(lián)的一個或更多個其他置信度值。

3.根據(jù)權利要求1所述的處理器，其中使用所述一個或更多個神經(jīng)網(wǎng)絡的所述計算包括：使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第一層處理表示與所述人區(qū)域相對應的第一子圖像的第一數(shù)據(jù)，使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第二層處理表示與所述對象區(qū)域相對應的第二子圖像的第二數(shù)據(jù)，以及使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第三層處理表示所述子圖像的第三數(shù)據(jù)，其中所述一個或更多個第一層、所述一個或更多個第二層和所述一個或更多個第三層彼此不同。

4.根據(jù)權利要求1所述的處理器，其中所述對象區(qū)域至少部分地由與所述對象相對應的第一邊界形狀來定義，所述人區(qū)域至少部分地由與所述人相對應的第二邊界形狀來定義，并且所述聯(lián)合區(qū)域至少部分地由所述第一邊界形狀和所述第二邊界形狀的組合來定義。

5.根據(jù)權利要求1所述的處理器，還包括處理電路，所述處理電路用于：

6.根據(jù)權利要求1所述的處理器，還包括處理電路，所述處理電路用于：

7.根據(jù)權利要求1所述的處理器，其中生成所述子圖像包括：至少基于來自所述圖像的像素值與未包括在所述聯(lián)合區(qū)域中的所述圖像的一個或更多個部分相對應來將所述像素值轉(zhuǎn)換為掩模值。

8.根據(jù)權利要求1所述的處理器，其中所述圖像是圖像序列中的最新圖像，時間平滑被用于根據(jù)關于所述圖像序列中的其他圖像為所述人與所述對象之間的關聯(lián)預測的一個或更多個先前置信度值對所述一個或更多個置信值進行加權，并且確定所述對象是否與所述人相關聯(lián)是至少基于一個或更多個經(jīng)時間平滑的置信度值的。

9.一種方法，包括：

10.根據(jù)權利要求9所述的方法，其中所述對象區(qū)域至少部分地由與所述對象相對應的第一邊界形狀來定義，所述人區(qū)域至少部分地由與所述人相對應的第二邊界形狀來定義，并且所述聯(lián)合區(qū)域至少部分由所述第一邊界形狀和所述第二邊界形狀的組合來定義。

11.根據(jù)權利要求9所述的方法，還包括：

12.根據(jù)權利要求9所述的方法，其中所述一個或更多個層均包括一個或更多個卷積層。

13.根據(jù)權利要求9所述的方法，其中計算所述置信度包括：

14.根據(jù)權利要求9所述的方法，其中所述操作進一步包括：

15.根據(jù)權利要求9所述的方法，其中生成所述子圖像包括：將掩模應用于所述圖像。

16.根據(jù)權利要求9所述的方法，其中所述圖像是圖像序列中的最新圖像，并且時間平滑被用于根據(jù)為所述人與所述對象之間的關聯(lián)預測的先前置信度對所述置信度進行加權以生成最終置信度，進一步其中，所述最終置信度被用于將所述對象與所述人相關聯(lián)。

17.一種系統(tǒng)，包括：

18.根據(jù)權利要求17所述的系統(tǒng)，其中確定所述對象是否與所述人相關聯(lián)包括以下中的至少一個：確定所述一個或更多個置信度值是否大于閾值，或確定所述一個或更多個置信度值大于使用所述一個或更多個神經(jīng)網(wǎng)絡計算的且對應于另一人與所述對象之間的另一關聯(lián)的一個或更多個其他置信度值。

19.根據(jù)權利要求17所述的系統(tǒng)，其中所述計算包括：使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第一層來處理表示所述對象區(qū)域的第一數(shù)據(jù)，使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第二層來處理表示所述人區(qū)域的第二數(shù)據(jù)，以及使用所述一個或更多個神經(jīng)網(wǎng)絡的一個或更多個第三層來處理表示所述聯(lián)合區(qū)域的第三數(shù)據(jù)，其中所述一個或更多個第一層、所述一個或更多個第二層和所述一個或更多個第三層彼此不同。

20.根據(jù)權利要求17所述的系統(tǒng)，其中所述對象區(qū)域至少部分地由與所述對象相對應的第一邊界形狀來定義，所述人區(qū)域至少部分地由與所述人相對應的第二邊界形狀來定義，并且所述聯(lián)合區(qū)域至少部分地由所述第一邊界形狀和所述第二邊界形狀的組合來定義。

技術總結
本發(fā)明公開了使用機器學習模型確定對象與人之間的關聯(lián)。在不同示例中，傳感器數(shù)據(jù)——諸如掩模的傳感器數(shù)據(jù)——可以用作機器學習模型的輸入，以確定對象與人的關聯(lián)的置信度。掩模的傳感器數(shù)據(jù)可將機器學習模型聚焦在對應于人、對象或其某組合的圖像的特定區(qū)域上。在一些實施例中，除了對應于人、對象或其組合的圖像的各個區(qū)域之間的面積比之外，對應于人、對象或其組合的坐標也可以用于進一步幫助機器學習模型聚焦在用于確定對象與人的關聯(lián)的圖像的重要區(qū)域上。

技術研發(fā)人員：P·史利南,F·R·庫馬,A·烏巴勒,F·阿格達西,翟艷,S·拉達克里希南
受保護的技術使用者：輝達公司
技術研發(fā)日：
技術公布日：2024/12/19