本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體涉及一種視頻對(duì)象重識(shí)別方法、設(shè)備及介質(zhì)。

背景技術(shù)：

1、重識(shí)別任務(wù)旨在以一個(gè)攝像頭拍攝的視頻或圖像作為查詢樣本，在由不同攝像頭捕獲的視頻或圖像庫(kù)中，檢索出和查詢樣本屬于同一對(duì)象（如船舶、行人等）的樣本?；谏疃葘W(xué)習(xí)的重識(shí)別模型憑借其從監(jiān)控?cái)?shù)據(jù)中高效提取有價(jià)值的信息的能力，被廣泛應(yīng)用于犯罪調(diào)查和智能監(jiān)控領(lǐng)域。與基于圖像的重識(shí)別任務(wù)相比，視頻對(duì)象重識(shí)別任務(wù)的查詢和圖庫(kù)數(shù)據(jù)都是對(duì)象的運(yùn)動(dòng)軌跡。軌跡數(shù)據(jù)不僅蘊(yùn)含了更豐富的信息，也引入了一些特有的問(wèn)題。

2、影響視頻對(duì)象重識(shí)別模型性能的關(guān)鍵問(wèn)題包括視頻幀錯(cuò)位。視頻幀錯(cuò)位指同一軌跡內(nèi)不同幀間對(duì)象主體的尺寸、位置等特征存在明顯差異的現(xiàn)象。在構(gòu)建重識(shí)別數(shù)據(jù)集時(shí)，為減少背景對(duì)模型的干擾，目標(biāo)檢測(cè)模型通常被用來(lái)為對(duì)象標(biāo)注邊界框。然而，邊界框標(biāo)注的不準(zhǔn)確會(huì)導(dǎo)致視頻幀錯(cuò)位。此外，對(duì)象的快速運(yùn)動(dòng)也會(huì)導(dǎo)致相鄰視頻幀中對(duì)象的位置不同。這兩個(gè)因素導(dǎo)致視頻幀錯(cuò)位現(xiàn)象在重識(shí)別數(shù)據(jù)集中普遍存在。

3、為解決視頻幀錯(cuò)位的問(wèn)題，現(xiàn)有研究主要聚焦于兩類方法：

4、一、相鄰幀對(duì)齊方法。相鄰幀對(duì)齊方法通過(guò)設(shè)計(jì)相鄰幀對(duì)齊模塊實(shí)現(xiàn)兩幀對(duì)齊，并將這種對(duì)齊逐幀傳導(dǎo)，從而實(shí)現(xiàn)整個(gè)視頻序列幀的對(duì)齊。這是一類比較輕量級(jí)的對(duì)齊方法，但是這類方法只能解決小范圍內(nèi)視頻幀的對(duì)齊，且計(jì)算效率低。

5、二、部分對(duì)齊方法。部分對(duì)齊方法則借助外部模型或設(shè)計(jì)復(fù)雜的模塊將對(duì)象主體劃分為若干部分，實(shí)現(xiàn)部分到部分的對(duì)齊。因此，與相鄰幀對(duì)齊這種輕量級(jí)的方法相比，部分對(duì)齊方法的計(jì)算成本較高。

6、進(jìn)一步地，影響視頻對(duì)象重識(shí)別模型性能的關(guān)鍵問(wèn)題還包括外部條件差異，具體是指同一對(duì)象不同軌跡間，因光照、視角、背景等條件的不同而導(dǎo)致的類內(nèi)差異增大的問(wèn)題。在多種外部條件發(fā)生顯著變化的情況下，同一對(duì)象的不同軌跡外觀相似性低，導(dǎo)致模型更傾向于檢索出外觀相似但屬于不同對(duì)象的樣本，從而降低了重識(shí)別的準(zhǔn)確率。在工業(yè)場(chǎng)景中，重識(shí)別任務(wù)的核心目標(biāo)是確定查詢對(duì)象的身份，而非找出外觀相似的樣本。因此，如何在外部條件干擾下準(zhǔn)確識(shí)別正確id的樣本，是提高視頻重識(shí)別模型性能并滿足工業(yè)需求的關(guān)鍵。

7、現(xiàn)有方法解決這一問(wèn)題的思路可以被總結(jié)為：通過(guò)解纏主體特征和外部條件特征實(shí)現(xiàn)對(duì)外部條件差異的處理。如解決視角差異的方法本質(zhì)上是將與視角變換有關(guān)的特征和對(duì)象本身的特征進(jìn)行解纏和重組。解決背景干擾的方法則是將背景特征和對(duì)象主體特征進(jìn)行解纏。解纏的過(guò)程通常需要借助輔助標(biāo)簽，如視角標(biāo)簽和前景背景標(biāo)簽等，從而帶來(lái)額外的標(biāo)注成本。

8、綜上所述，急需一種視頻對(duì)象重識(shí)別方法、設(shè)備及介質(zhì)解決現(xiàn)有技術(shù)中的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于提供一種視頻對(duì)象重識(shí)別方法、設(shè)備及介質(zhì)，具體技術(shù)方案如下：

2、一種視頻對(duì)象重識(shí)別方法，包括如下步驟：

3、s100：獲取包含軌跡的視頻數(shù)據(jù)；

4、s200：構(gòu)建視頻對(duì)象重識(shí)別模型，所述視頻對(duì)象重識(shí)別模型包括金字塔對(duì)齊模塊和id圖匹配模塊；

5、s300：通過(guò)特征提取器提取軌跡中每一幀的幀特征，并采用金字塔對(duì)齊模塊對(duì)齊同一軌跡內(nèi)的所有幀特征；

6、s400：采用id圖匹配模塊充分利用幀特征，得到查詢軌跡與每個(gè)id的id匹配度，基于id匹配度實(shí)現(xiàn)視頻對(duì)象重識(shí)別。

7、可選的，在s300中，采用金字塔對(duì)齊模塊對(duì)齊所有幀特征的過(guò)程如下：

8、采用特征提取器提取軌跡中每一幀的幀特征；所述金字塔對(duì)齊模塊采用層次化的兩兩對(duì)齊方式，實(shí)現(xiàn)軌跡中所有幀的對(duì)齊；兩個(gè)幀特征對(duì)齊的過(guò)程中引入時(shí)序轉(zhuǎn)移注意力機(jī)制，實(shí)現(xiàn)對(duì)兩個(gè)幀特征的對(duì)齊。

9、可選的，在s400中，采用id圖匹配模塊處理幀特征的過(guò)程如下：

10、s401：構(gòu)圖，對(duì)于查詢和圖庫(kù)數(shù)據(jù)，采用不同的構(gòu)圖方式，分別構(gòu)建查詢軌跡圖和id圖；

11、s402：id圖池化，將所有id圖池化到和查詢軌跡圖相同的尺寸；

12、s403：圖匹配，計(jì)算查詢軌跡圖和池化后的id圖之間的id匹配度；

13、s404：id匹配度指導(dǎo)，采用id匹配度作為輔助信息，幫助模型檢索出和查詢屬于同一id的軌跡。

14、可選的，在s401中，構(gòu)圖的過(guò)程包括：

15、對(duì)于查詢和圖庫(kù)采用不同的構(gòu)圖方法，分別構(gòu)建查詢軌跡圖和id圖；

16、對(duì)于查詢，將對(duì)齊后的幀特征作為圖節(jié)點(diǎn)構(gòu)建查詢軌跡圖，每個(gè)圖對(duì)應(yīng)一個(gè)查詢軌跡；

17、對(duì)于圖庫(kù)，將池化后的軌跡特征作為圖節(jié)點(diǎn)，構(gòu)建id圖，每個(gè)圖對(duì)應(yīng)一個(gè)id；

18、根據(jù)節(jié)點(diǎn)間相似度自適應(yīng)地學(xué)習(xí)鄰接矩陣，以完成邊的構(gòu)建。

19、可選的，在s402中，將所有id圖池化到和查詢軌跡圖相同的尺寸，過(guò)程如下：

20、采用由查詢指導(dǎo)的id圖池化策略，具體是，基于id圖中節(jié)點(diǎn)與查詢軌跡圖的相似程度進(jìn)行下采樣，保留與id圖相似度高的節(jié)點(diǎn)，使得id圖的節(jié)點(diǎn)數(shù)量與查詢軌跡圖相同；

21、對(duì)所有id圖執(zhí)行圖池化操作，實(shí)現(xiàn)所有id圖池化。

22、可選的，在s403中，圖匹配的過(guò)程如下：

23、對(duì)查詢軌跡圖和池化后的id圖進(jìn)行節(jié)點(diǎn)到節(jié)點(diǎn)的匹配，基于匹配后的節(jié)點(diǎn)計(jì)算查詢軌跡圖和池化后的id圖之間的id匹配度。

24、可選的，在s404中，id匹配度指導(dǎo)的過(guò)程如下：

25、計(jì)算池化后的查詢軌跡與所有圖庫(kù)軌跡之間的特征相似性，得到相似性向量，并采用id匹配度對(duì)相似性向量進(jìn)行校正，得到最終重識(shí)別結(jié)果。

26、另外，本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器；

27、所述存儲(chǔ)器用于存儲(chǔ)可在處理器上運(yùn)行的計(jì)算機(jī)程序；

28、所述處理器用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述的視頻對(duì)象重識(shí)別方法的步驟。

29、另外，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述的視頻對(duì)象重識(shí)別方法的步驟。

30、應(yīng)用本發(fā)明的技術(shù)方案，具有以下有益效果：

31、本發(fā)明提供了一種視頻對(duì)象重識(shí)別方法，在本發(fā)明方法中，構(gòu)建了一種基于金字塔對(duì)齊和id圖匹配的視頻對(duì)象重識(shí)別模型——pagm。該模型通過(guò)金字塔對(duì)齊模塊，不僅在整個(gè)視頻范圍內(nèi)精準(zhǔn)對(duì)齊了錯(cuò)位的視頻幀，還具有很好的并行性。另外，本發(fā)明設(shè)計(jì)了id圖匹配模塊，所述id圖匹配模塊將查詢構(gòu)建成查詢軌跡圖，并將圖庫(kù)中同一id的所有軌跡構(gòu)建成id圖。查詢軌跡圖和id圖匹配得到的id匹配度可以作為輔助信息，引導(dǎo)模型排除外部條件干擾，檢索出和查詢軌跡屬于同一id的軌跡。

32、除了上面所描述的目的、特征和優(yōu)點(diǎn)之外，本發(fā)明還有其它的目的、特征和優(yōu)點(diǎn)。下面將參照?qǐng)D，對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。

技術(shù)特征：

1.一種視頻對(duì)象重識(shí)別方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的視頻對(duì)象重識(shí)別方法，其特征在于，在s401中，構(gòu)圖的過(guò)程包括：

3.根據(jù)權(quán)利要求1所述的視頻對(duì)象重識(shí)別方法，其特征在于，在s402中，將所有id圖池化到和查詢軌跡圖相同的尺寸，過(guò)程如下：

4.根據(jù)權(quán)利要求1所述的視頻對(duì)象重識(shí)別方法，其特征在于，在s403中，圖匹配的過(guò)程如下：

5.根據(jù)權(quán)利要求1所述的視頻對(duì)象重識(shí)別方法，其特征在于，在s404中，id匹配度指導(dǎo)的過(guò)程如下：

6.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器和處理器；

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的視頻對(duì)象重識(shí)別方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種視頻對(duì)象重識(shí)別方法、設(shè)備及介質(zhì)，所述方法包括如下步驟：獲取包含軌跡的視頻數(shù)據(jù)；構(gòu)建視頻對(duì)象重識(shí)別模型，所述視頻對(duì)象重識(shí)別模型包括金字塔對(duì)齊模塊和ID圖匹配模塊；通過(guò)特征提取器提取軌跡中每一幀的幀特征，采用金字塔對(duì)齊模塊對(duì)齊同一軌跡內(nèi)的所有幀特征；采用ID圖匹配模塊充分利用幀特征，得到查詢軌跡與每個(gè)ID的匹配度，輔助模型實(shí)現(xiàn)更精準(zhǔn)的視頻對(duì)象重識(shí)別。本發(fā)明方法通過(guò)金字塔對(duì)齊模塊，對(duì)齊了錯(cuò)位的視頻幀，在保證計(jì)算效率的前提下，提高了重識(shí)別準(zhǔn)確率。另外，本發(fā)明通過(guò)ID圖匹配模塊，引導(dǎo)模型排除外部條件干擾，檢索出和查詢屬于同一ID的軌跡。

技術(shù)研發(fā)人員：魯鳴鳴,朱凱茵
受保護(hù)的技術(shù)使用者：中南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19