本公開屬于圖像處理，本公開尤其涉及一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法、裝置及設(shè)備。

背景技術(shù)：

1、行人重識(shí)別是指對(duì)于同一個(gè)人在不同畫面中的影像進(jìn)行匹配，從而識(shí)別畫面中目標(biāo)的身份和行進(jìn)路線，其廣泛應(yīng)用于自動(dòng)化人員追蹤場(chǎng)景，在安全監(jiān)控、人流分析、智能交通等領(lǐng)域扮演著日益重要的角色。在目前的技術(shù)方案中，部分行人重識(shí)別方法通過(guò)結(jié)合行人的多種特征（如顏色、紋理、運(yùn)動(dòng)等信息）以進(jìn)行行人識(shí)別。然而，上述方式往往需要復(fù)雜的數(shù)據(jù)預(yù)處理和特征工程，且在融合不同模態(tài)信息時(shí)容易面臨信息丟失或不一致的問(wèn)題。由此，如何在提高行人重識(shí)別的效率的同時(shí)，保證行人重識(shí)別的準(zhǔn)確性成為了亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的實(shí)施例提供了一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法、裝置及設(shè)備，進(jìn)而至少在一定程度上可以在提高行人重識(shí)別的效率的同時(shí)，保證行人重識(shí)別的準(zhǔn)確性。

2、本申請(qǐng)的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本申請(qǐng)的實(shí)踐而習(xí)得。

3、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法，包括：

4、獲取針對(duì)目標(biāo)區(qū)域進(jìn)行拍攝得到的若干監(jiān)控畫面；

5、將若干所述監(jiān)控畫面作為預(yù)先訓(xùn)練完成的多模態(tài)目標(biāo)檢測(cè)模型的輸入，以使所述多模態(tài)目標(biāo)檢測(cè)模型根據(jù)各所述監(jiān)控畫面進(jìn)行檢測(cè)，確定其所包含的行人以及提取各所述行人對(duì)應(yīng)的深度特征集合，根據(jù)每一所述行人對(duì)應(yīng)的深度特征集合進(jìn)行識(shí)別，確定各所述行人對(duì)應(yīng)的外貌特征標(biāo)簽以及各所述外貌特征標(biāo)簽對(duì)應(yīng)的深度特征；

6、將與目標(biāo)檢索對(duì)象的外貌特征標(biāo)簽全部相同的行人確定為待識(shí)別人員，所述目標(biāo)檢索對(duì)象為從任一所述監(jiān)控畫面包含的行人中指定得到；

7、基于目標(biāo)跟蹤算法，確定所述目標(biāo)檢索對(duì)象以及各所述待識(shí)別人員在各自監(jiān)控畫面中的運(yùn)動(dòng)軌跡；

8、根據(jù)所述目標(biāo)檢索對(duì)象在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，以及各所述待識(shí)別人員在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，確定所述目標(biāo)檢索對(duì)象與各所述待識(shí)別人員之間的軌跡相似度；

9、將所述軌跡相似度大于或等于預(yù)定閾值的待識(shí)別人員確定為目標(biāo)檢索對(duì)象。

10、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別裝置，包括：

11、獲取模塊，用于獲取針對(duì)目標(biāo)區(qū)域進(jìn)行拍攝得到的若干監(jiān)控畫面；

12、提取模塊，用于將若干所述監(jiān)控畫面作為預(yù)先訓(xùn)練完成的多模態(tài)目標(biāo)檢測(cè)模型的輸入，以使所述多模態(tài)目標(biāo)檢測(cè)模型根據(jù)各所述監(jiān)控畫面進(jìn)行檢測(cè)，確定其所包含的行人以及提取各所述行人對(duì)應(yīng)的深度特征集合，根據(jù)每一所述行人對(duì)應(yīng)的深度特征集合進(jìn)行識(shí)別，確定各所述行人對(duì)應(yīng)的外貌特征標(biāo)簽以及各所述外貌特征標(biāo)簽對(duì)應(yīng)的深度特征；

13、篩選模塊，用于將與目標(biāo)檢索對(duì)象的外貌特征標(biāo)簽全部相同的行人確定為待識(shí)別人員，所述目標(biāo)檢索對(duì)象為從任一所述監(jiān)控畫面包含的行人中指定得到；

14、跟蹤模塊，用于基于目標(biāo)跟蹤算法，確定所述目標(biāo)檢索對(duì)象以及各所述待識(shí)別人員在各自監(jiān)控畫面中的運(yùn)動(dòng)軌跡；

15、計(jì)算模塊，用于根據(jù)所述目標(biāo)檢索對(duì)象在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，以及各所述待識(shí)別人員在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，確定所述目標(biāo)檢索對(duì)象與各所述待識(shí)別人員之間的軌跡相似度；

16、處理模塊，用于將所述軌跡相似度大于或等于預(yù)定閾值的待識(shí)別人員確定為目標(biāo)檢索對(duì)象。

17、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述實(shí)施例中所述的基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法。

18、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上述實(shí)施例中所述的基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法。

19、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行上述實(shí)施例中提供的基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法。

20、在本申請(qǐng)的一些實(shí)施例所提供的技術(shù)方案中，通過(guò)獲取針對(duì)目標(biāo)區(qū)域進(jìn)行拍攝得到的若干監(jiān)控畫面，將若干監(jiān)控畫面作為預(yù)先訓(xùn)練完成的多模態(tài)目標(biāo)檢測(cè)模型的輸入，以使多模態(tài)目標(biāo)檢測(cè)目標(biāo)模型根據(jù)各監(jiān)控畫面進(jìn)行檢測(cè)，確定其所包含的行人以及提取各行人對(duì)應(yīng)的深度特征集合，接著，根據(jù)每一行人對(duì)應(yīng)的深度特征集合進(jìn)行識(shí)別，確定各行人對(duì)應(yīng)的外貌特征標(biāo)簽以及各外貌特征標(biāo)簽對(duì)應(yīng)的深度特征；先從任一監(jiān)控畫面包含的行人中指定目標(biāo)檢索對(duì)象，將與目標(biāo)檢索對(duì)象的外貌特征標(biāo)簽全部相同的行人確定為待識(shí)別人員，再基于目標(biāo)跟蹤算法，確定目標(biāo)檢索對(duì)象以及各待識(shí)別人員在各自監(jiān)控畫面中的運(yùn)動(dòng)軌跡，根據(jù)目標(biāo)檢索對(duì)象在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，以及各待識(shí)別人員在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，確定目標(biāo)檢索對(duì)象與各待識(shí)別人員之間的軌跡相似度，將軌跡相似度大于或等于預(yù)定閾值的待識(shí)別人員確定為目標(biāo)檢索對(duì)象，如此，基于多模態(tài)檢測(cè)模型，經(jīng)過(guò)一次檢測(cè)即可提取所有行人的外貌特征標(biāo)簽及對(duì)應(yīng)的深度特征，并以此進(jìn)行初步篩選以及最終行人重識(shí)別的確定，無(wú)需復(fù)雜的數(shù)據(jù)預(yù)處理和特征工程，在提高行人重識(shí)別的效率的同時(shí)還保證了行人重識(shí)別的準(zhǔn)確性。

21、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。

技術(shù)特征：

1.一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述目標(biāo)檢索對(duì)象在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，以及各所述待識(shí)別人員在其運(yùn)動(dòng)軌跡上的所有外貌特征標(biāo)簽和深度特征，確定所述目標(biāo)檢索對(duì)象與各所述待識(shí)別人員之間的軌跡相似度，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在訓(xùn)練所述多模態(tài)目標(biāo)檢測(cè)模型時(shí)，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對(duì)不同組中對(duì)應(yīng)于相同提示詞的數(shù)據(jù)采用三元組學(xué)習(xí)方式進(jìn)行模型訓(xùn)練，以使組內(nèi)特征距離拉近的同時(shí)組間特征的距離拉遠(yuǎn)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)以下公式構(gòu)建所述目標(biāo)損失函數(shù)：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)以下公式構(gòu)建三元組損失函數(shù)：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)以下公式構(gòu)建infonce損失函數(shù)：

8.一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別裝置，其特征在于，包括：

9.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法。

10.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本公開提供了一種基于多模態(tài)語(yǔ)義信息的行人重識(shí)別方法、裝置及設(shè)備，該方法包括：獲取若干監(jiān)控畫面；將若干監(jiān)控畫面作為預(yù)先訓(xùn)練完成的多模態(tài)目標(biāo)檢測(cè)模型的輸入，以使多模態(tài)目標(biāo)檢測(cè)模型根據(jù)各監(jiān)控畫面進(jìn)行檢測(cè)，確定各行人對(duì)應(yīng)的外貌特征標(biāo)簽以及各外貌特征標(biāo)簽對(duì)應(yīng)的深度特征；將與目標(biāo)檢索對(duì)象的外貌特征標(biāo)簽全部相同的行人確定為待識(shí)別人員；基于目標(biāo)跟蹤算法，確定目標(biāo)檢索對(duì)象以及各待識(shí)別人員在各自監(jiān)控畫面中的運(yùn)動(dòng)軌跡，并確定目標(biāo)檢索對(duì)象與各待識(shí)別人員之間的軌跡相似度；將軌跡相似度大于或等于預(yù)定閾值的待識(shí)別人員確定為目標(biāo)檢索對(duì)象。本申請(qǐng)實(shí)施例的技術(shù)方案可以在提高行人重識(shí)別的效率的同時(shí)，保證行人重識(shí)別的準(zhǔn)確性。

技術(shù)研發(fā)人員：葉維晶,連桄雷,盧天發(fā),李仁杰
受保護(hù)的技術(shù)使用者：羅普特科技集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19