本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其是從降低模型復(fù)雜度角度提出一種基于輕量級(jí)網(wǎng)絡(luò)的多目標(biāo)跟蹤方法。

背景技術(shù)：

1、在人工智能的發(fā)展過(guò)程中，計(jì)算機(jī)視覺(jué)已經(jīng)成為了一個(gè)相當(dāng)重要的分支，尤其是圖像識(shí)別與分類(lèi)技術(shù)。計(jì)算機(jī)視覺(jué)圖像識(shí)別任務(wù)是指利用計(jì)算機(jī)算法來(lái)識(shí)別和分類(lèi)圖像中的物體、場(chǎng)景、人臉等。單目標(biāo)跟蹤具體的意思是根據(jù)一段輸入的視頻序列，對(duì)其中某一個(gè)需要關(guān)注的目標(biāo)實(shí)現(xiàn)關(guān)聯(lián)。多目標(biāo)跟蹤作為目標(biāo)檢測(cè)的一種拓展性任務(wù)，廣泛應(yīng)用于智能安防、智慧交通和自動(dòng)駕駛。本發(fā)明也聚焦于多目標(biāo)跟蹤任務(wù)上做探索和研究。

2、與單目標(biāo)跟蹤相比，多目標(biāo)跟蹤面臨著更多挑戰(zhàn)。一方面，由于目標(biāo)數(shù)量的多樣性，算法需要具備檢測(cè)新目標(biāo)和終止舊目標(biāo)的能力。另一方面，不同目標(biāo)之間可能發(fā)生遮擋、重疊，目標(biāo)本身也可能出現(xiàn)形變、光照變化等，這些都給目標(biāo)關(guān)聯(lián)帶來(lái)了極大困難。此外，復(fù)雜動(dòng)態(tài)背景中的干擾噪聲，也是多目標(biāo)跟蹤需要應(yīng)對(duì)的一大挑戰(zhàn)。

3、傳統(tǒng)的多目標(biāo)跟蹤算法多采用"檢測(cè)-關(guān)聯(lián)"兩階段策略。首先利用檢測(cè)器如yolo、faster?r-cnn等在每一幀提取目標(biāo)候選框，得到目標(biāo)外觀和運(yùn)動(dòng)特征。然后使用數(shù)據(jù)關(guān)聯(lián)技術(shù)如匈牙利算法、聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波等，將當(dāng)前幀檢測(cè)結(jié)果與上一幀的跟蹤軌跡進(jìn)行匹配，實(shí)現(xiàn)身份傳遞。這種分步方法簡(jiǎn)單直觀，但由于檢測(cè)和關(guān)聯(lián)相對(duì)獨(dú)立，難以很好地傳遞上下文信息，容易導(dǎo)致錯(cuò)誤累積，影響整體性能。

4、近年來(lái)，基于端到端框架的多目標(biāo)跟蹤方法取得了長(zhǎng)足進(jìn)步，其中基于transformer的方法成為研究熱點(diǎn)。transformer借助自注意力機(jī)制，能夠充分挖掘輸入數(shù)據(jù)的長(zhǎng)程依賴(lài)關(guān)系，很好地解決了目標(biāo)遮擋、重疊的難題。同時(shí)，將檢測(cè)和跟蹤統(tǒng)一建模為序列到序列的過(guò)程，檢測(cè)目標(biāo)和跟蹤對(duì)象通過(guò)查詢(xún)對(duì)齊自動(dòng)綁定，使整個(gè)過(guò)程簡(jiǎn)潔高效。

5、典型的基于transformer的方法，通常將檢測(cè)目標(biāo)作為解碼器的目標(biāo)查詢(xún)，將已有目標(biāo)的跟蹤作為軌跡查詢(xún)，利用編碼器對(duì)視頻幀建模，解碼器對(duì)兩類(lèi)查詢(xún)進(jìn)行解碼并輸出預(yù)測(cè)結(jié)果。但transformer模型本身的巨大計(jì)算量和參數(shù)量，也成為了這些方法推廣的瓶頸，限制了它們的實(shí)用性和推廣能力。

6、除了上述計(jì)算復(fù)雜度的挑戰(zhàn)，多目標(biāo)跟蹤領(lǐng)域還面臨著其他一些值得關(guān)注的難題和研究方向。比如如何充分利用多模態(tài)信息(圖像、語(yǔ)音、文本等)來(lái)提高跟蹤的魯棒性;如何結(jié)合先驗(yàn)知識(shí)，提升對(duì)復(fù)雜場(chǎng)景和不確定因素的適應(yīng)能力;如何設(shè)計(jì)更加高效的數(shù)據(jù)關(guān)聯(lián)策略，降低目標(biāo)切換和身份漂移的風(fēng)險(xiǎn);如何將跟蹤系統(tǒng)部署到邊緣設(shè)備，滿(mǎn)足實(shí)時(shí)性和低功耗需求等。這些問(wèn)題的解決，將極大推動(dòng)多目標(biāo)跟蹤技術(shù)的發(fā)展和實(shí)際應(yīng)用落地。

7、總的來(lái)說(shuō)，多目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)的核心基礎(chǔ)問(wèn)題，不僅在學(xué)術(shù)界受到廣泛關(guān)注，同時(shí)也與現(xiàn)實(shí)生活的諸多領(lǐng)域密切相關(guān)，在安防監(jiān)控、智能交通、機(jī)器人導(dǎo)航、增強(qiáng)現(xiàn)實(shí)等方面都有重要應(yīng)用價(jià)值。隨著算力的快速提升和深度學(xué)習(xí)技術(shù)的發(fā)展，相信多目標(biāo)跟蹤一定能在未來(lái)取得越來(lái)越多創(chuàng)新性的突破，為人工智能賦予更強(qiáng)的感知理解能力。因此，如何在保持性能的前提下，降低模型復(fù)雜度、實(shí)現(xiàn)高效輕量化，是當(dāng)前這一領(lǐng)域急需解決的重要問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、由于目前的一些基于transformer的多目標(biāo)跟蹤方法所造成的巨大的參數(shù)量和浮點(diǎn)運(yùn)算次數(shù)，導(dǎo)致模型的訓(xùn)練需要花費(fèi)大量的時(shí)間和計(jì)算資源。實(shí)際應(yīng)用中也很難部署到邊緣設(shè)備中。因此，本發(fā)明提出了一種基于輕量級(jí)網(wǎng)絡(luò)的多目標(biāo)跟蹤方法在保持原有精度的情況下，大大降低了模型的浮點(diǎn)運(yùn)算次數(shù)和參數(shù)量。首先，將視頻逐幀輸入到cnn網(wǎng)絡(luò)中提取多尺度特征。其次利用評(píng)分網(wǎng)絡(luò)對(duì)特征進(jìn)行篩選后輸入到編碼器中，最后在解碼器中同時(shí)解碼目標(biāo)查詢(xún)和軌跡查詢(xún)，預(yù)測(cè)對(duì)應(yīng)的邊框和類(lèi)別，形成該幀的所有檢測(cè)和跟蹤結(jié)果。

2、本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：

3、一種基于輕量級(jí)網(wǎng)絡(luò)的多目標(biāo)跟蹤方法，包括以下步驟：

4、步驟一：將cnn提取的多尺度特征通過(guò)經(jīng)過(guò)可學(xué)習(xí)的評(píng)分網(wǎng)絡(luò)篩選前百分之ρ的特征輸入編碼器中。

5、步驟二：在編碼器輸出特征之后，篩選出k個(gè)目標(biāo)對(duì)象查詢(xún)；同時(shí)初始化100個(gè)跟蹤對(duì)象查詢(xún)一同輸入到解碼器中。

6、步驟三：每個(gè)查詢(xún)通過(guò)多層感知機(jī)進(jìn)行處理，輸入到解碼器中以預(yù)測(cè)對(duì)應(yīng)的邊框和類(lèi)別，形成該幀的所有檢測(cè)和跟蹤結(jié)果。同時(shí)生成解碼器交叉注意力映射圖。

7、步驟四：新檢測(cè)出的目標(biāo)將初始化新的跟蹤對(duì)象查詢(xún)，每一幀的跟蹤對(duì)象查詢(xún)會(huì)傳遞到下一幀，攜帶目標(biāo)的空間和身份信息，從而完成跟蹤過(guò)程。

8、步驟一中，我們有一個(gè)評(píng)分網(wǎng)絡(luò)g，用于測(cè)量特征圖xfeat中每個(gè)特征的顯著性。我們?yōu)槟切┰u(píng)分屬于前百分之ρ的特征定義一個(gè)顯著區(qū)域，對(duì)于給定的ρ，顯著區(qū)域的大小由以下公式算出。編碼器中每層特征更新方式表示如下

9、

10、

11、如果當(dāng)前j不在顯著區(qū)域ω中，直接保留上一層的特征不變；如果在顯著區(qū)域中則更新為。其中defattn指的是可變形注意力，ln指的是層歸一化，而ffn指的是前饋網(wǎng)絡(luò)。

12、步驟二中，我們?cè)诰幋a器輸出的尾端添加了一個(gè)輔助檢測(cè)頭，目的是計(jì)算編碼器每個(gè)輸出特征的目標(biāo)性類(lèi)別得分，以反映每個(gè)特征是否包含目標(biāo)信息。根據(jù)這些類(lèi)別得分，我們對(duì)編碼器的所有輸出進(jìn)行排序，并選擇得分最高的前k個(gè)特征。同時(shí)我們?cè)谶@些選中的特征上應(yīng)用匈牙利損失來(lái)加快編碼器的收斂，提高了檢測(cè)性能。最終，這些前k個(gè)編碼器特征直接作為解碼器模塊的目標(biāo)查詢(xún)輸入。n是預(yù)測(cè)目標(biāo)數(shù)量，表示第i個(gè)預(yù)測(cè)與真實(shí)目標(biāo)的最優(yōu)匹配，是代價(jià)之和。

13、

14、步驟三中，為了確定編碼器?xfeat?的每個(gè)特征的顯著性，我們需要聚合所有對(duì)象查詢(xún)和編碼器輸出之間的解碼器交叉注意力。該過(guò)程產(chǎn)生一個(gè)與主干特征圖相同大小的單一映射，被定義為解碼器交叉注意力圖。在密集注意力的情況下，解碼器交叉注意力圖可以通過(guò)對(duì)每個(gè)解碼器層的注意力圖求和來(lái)輕松獲得。在可變形注意力的情況下，對(duì)于每個(gè)編碼器標(biāo)記，解碼器交叉注意力圖的相應(yīng)值可以通過(guò)累積解碼器對(duì)象查詢(xún)的注意力權(quán)重來(lái)獲得，這些權(quán)重的注意力偏移指向編碼器輸出標(biāo)記。由于在可變形注意力中計(jì)算的注意力偏移是一個(gè)分?jǐn)?shù)位置，可變形注意力使用雙線性插值來(lái)獲取值。因此，我們也使用雙線性插值來(lái)獲取解碼器交叉注意力圖。假設(shè)解碼器對(duì)象查詢(xún)?q?的注意力偏移、權(quán)重和參考點(diǎn)分別為p、a?和?r。那么，可變形注意力的取值為

15、

16、其中v表示的是鍵值，x?枚舉了特征圖中的所有整數(shù)空間位置，是雙線性插值核函數(shù)，定義為如下。

17、

18、我們將x位置的dam值累加表示如下：

19、

20、同時(shí)為了訓(xùn)練評(píng)分網(wǎng)絡(luò)，我們將解碼器交叉注意力權(quán)重進(jìn)行二值化，以便僅保留編碼器特征的前百分之ρ的部分。這是因?yàn)槲覀兊哪繕?biāo)是找到解碼器最常引用的一小部分編碼器特征，而不是精確地預(yù)測(cè)解碼器將引用每個(gè)編碼器特征的程度。這個(gè)二值化的解碼器交叉注意力圖暗示了一個(gè)獨(dú)熱目標(biāo)，指示每個(gè)編碼器特征是否包含在前百分之ρ里最常被引用的編碼器tokens中。并且網(wǎng)絡(luò)通過(guò)最小化二元交叉熵?fù)p失來(lái)進(jìn)行訓(xùn)練，該損失是二值化的解碼器交叉注意力權(quán)重和預(yù)測(cè)之間的損失。其中n是特征圖中的特征總數(shù)，是第i個(gè)特征的評(píng)分，是第i個(gè)特征的解碼器交叉注意力權(quán)重二值化值(0或1)，bce是二元交叉熵?fù)p失。

21、

22、步驟四中，對(duì)于不是第一幀的后續(xù)幀而言，編碼器輸入的查詢(xún)不僅有每幀初始化用于檢測(cè)的目標(biāo)查詢(xún)，還有上一幀已經(jīng)成功檢測(cè)到的軌跡查詢(xún)。在經(jīng)過(guò)解碼器解碼之后，軌跡查詢(xún)查到的目標(biāo)如果成功檢測(cè)到了，那就賦予同一個(gè)標(biāo)簽，沒(méi)檢測(cè)到則表示目標(biāo)消失，那些目標(biāo)查詢(xún)檢測(cè)成功的則作為新目標(biāo)。接著，這些新舊目標(biāo)的解碼器輸出一起作為下一幀的軌跡查詢(xún)。這樣，以一種相對(duì)優(yōu)雅的方式完成了數(shù)據(jù)關(guān)聯(lián)以致整個(gè)跟蹤任務(wù)。

23、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

24、本發(fā)明提出了一種基于輕量級(jí)網(wǎng)絡(luò)的多目標(biāo)跟蹤方法，在保持原有精度的情況下，大大降低了模型的浮點(diǎn)運(yùn)算次數(shù)和參數(shù)量。一方面，通過(guò)評(píng)分網(wǎng)絡(luò)來(lái)篩選部分特征，大大降低了transformer的計(jì)算量；另一方面通過(guò)選擇性地更新編碼器特征，可以在不降低性能的情況下減少計(jì)算成本。通過(guò)驗(yàn)證，本發(fā)明所提供的一種基于輕量級(jí)網(wǎng)絡(luò)的多目標(biāo)跟蹤方法可以大大降低模型的浮點(diǎn)運(yùn)算次數(shù)以及參數(shù)量，同時(shí)保證了跟蹤的精度。