本發(fā)明涉及計(jì)算機(jī)視覺檢測(cè)領(lǐng)域，具體是涉及到一種基于動(dòng)態(tài)自適應(yīng)查詢的遙感目標(biāo)檢測(cè)方法與系統(tǒng)。

背景技術(shù)：

1、目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中的基本任務(wù)之一，目標(biāo)檢測(cè)是分類和回歸問題的疊加，是計(jì)算機(jī)視覺領(lǐng)域最具有挑戰(zhàn)性的問題之一。其中遙感圖像目標(biāo)檢測(cè)是近些年的研究熱點(diǎn)，在車輛檢測(cè)、船舶檢測(cè)、城市規(guī)劃、環(huán)境監(jiān)測(cè)、航空等領(lǐng)域被廣泛應(yīng)用。不同于普通的rgb圖像，遙感圖像大多來自于衛(wèi)星無人機(jī)等多種遙感平臺(tái)，遙感圖像包含地球表面的幾何信息和物理信息。因?yàn)楹娇者b感圖像覆蓋范圍廣泛，俯拍下的圖像包含很多方向不定的小目標(biāo)，圖像的背景復(fù)雜度高，一張圖片包含多種多樣的背景，雜亂的背景會(huì)嚴(yán)重干擾目標(biāo)檢測(cè)的結(jié)果。

2、detr模型首次將cnn與transformer相結(jié)合，將目標(biāo)檢測(cè)視作集合預(yù)測(cè)問題，實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。通過利用transformer中固有的自注意力機(jī)制，detr能夠在圖像中建模全局語境，從而增強(qiáng)其在復(fù)雜背景中識(shí)別物體的能力。更重要的是，與之前基于cnn的兩階段目標(biāo)檢測(cè)框架相比，detr的端到端訓(xùn)練范式摒棄了諸如錨框和nms等手工設(shè)計(jì)的組件，簡(jiǎn)化了檢測(cè)過程，并可能減少這訓(xùn)練策略引入的誤差。

3、盡管detr具有新穎的設(shè)計(jì)，但由于detr模型需要對(duì)整個(gè)圖像進(jìn)行編碼和解碼，因此計(jì)算復(fù)雜度較高，而且對(duì)查詢的定義不清淅，這些導(dǎo)致detr模型在收斂速度上相對(duì)較慢，具體而言，首先detr需要長(zhǎng)時(shí)間的訓(xùn)練才能達(dá)到收斂，訓(xùn)練輪次高達(dá)500輪，其次，由于detr中的原始注意力機(jī)制中對(duì)于特征圖上所有像素幾乎擁有統(tǒng)一的權(quán)重，每個(gè)query需與所有位置的key進(jìn)行計(jì)算，產(chǎn)生許多無效計(jì)算，增加模型計(jì)算復(fù)雜度。

4、為了加快模型的收斂速度和提高性能。作為detr的變體，deformable?detr(可變形detr)提出多尺度的可變形注意力，可以處理四個(gè)不同尺度的特征，每個(gè)query，僅在局部位置中采樣key，value也是部分位置的value，只關(guān)注參考點(diǎn)周圍的一小部分關(guān)鍵采樣點(diǎn)，大大提高了收斂速度。deformable?detr在小目標(biāo)的檢測(cè)性能方面取得了較大的突破，但由于deformable?detr中每個(gè)查詢都負(fù)責(zé)一個(gè)相對(duì)較大的區(qū)域不可避免地會(huì)導(dǎo)致多個(gè)查詢之間的內(nèi)部沖突，給模型帶來了模糊的空間先驗(yàn)。近幾年學(xué)者們開始對(duì)查詢的設(shè)計(jì)改進(jìn)，dabdetr(動(dòng)態(tài)錨框detr)重新定義detr中的object?query(對(duì)象查詢)，使用4維的anchorbox(錨框)，將object?queries定義中加入寬高來進(jìn)行尺寸調(diào)制，除此之外還引入動(dòng)態(tài)查詢?cè)O(shè)計(jì)，object?queries會(huì)逐層進(jìn)行更新。

5、盡管detr在遙感目標(biāo)檢測(cè)中展現(xiàn)出了巨大的潛力，但它也面臨一些挑戰(zhàn)。detr系列變體不適用在背景雜亂，目標(biāo)密集的遙感圖像中，因?yàn)閐etr變體不考慮查詢?cè)O(shè)定，對(duì)所有的輸入樣本都用同一組初始化查詢，針對(duì)不同的輸入查詢是單一不變的，所以detr模型在處理遙感圖像時(shí)性能會(huì)下降，尤其對(duì)小目標(biāo)和重疊目標(biāo)檢測(cè)效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于動(dòng)態(tài)自適應(yīng)查詢的遙感目標(biāo)檢測(cè)方法，基于detr及其變體進(jìn)行改進(jìn)，解決其查詢內(nèi)容單一，以及無法自適應(yīng)輸入的問題。

2、本發(fā)明另一方面在于，提供一種基于動(dòng)態(tài)自適應(yīng)查詢的遙感目標(biāo)檢測(cè)系統(tǒng)。

3、為了達(dá)到上述目的，本發(fā)明首先提供基于動(dòng)態(tài)自適應(yīng)查詢的遙感目標(biāo)檢測(cè)方法，包括如下步驟：

4、s1、獲取目標(biāo)檢測(cè)數(shù)據(jù)集，并對(duì)目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行預(yù)處理；

5、s2、構(gòu)建由resnet50卷積神經(jīng)網(wǎng)絡(luò)與transformer自注意力機(jī)制組合而成的初始網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)采用動(dòng)態(tài)態(tài)自適應(yīng)位置查詢代替原有位置查詢；

6、s3、利用預(yù)處理后的目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)初始網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，獲得訓(xùn)練完成的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型；

7、s4、利用目標(biāo)檢測(cè)網(wǎng)絡(luò)模型識(shí)別遙感圖像中目標(biāo)。

8、本發(fā)明進(jìn)一步優(yōu)選地技術(shù)方案為，步驟s1中獲取的目標(biāo)檢測(cè)數(shù)據(jù)集，包括coco數(shù)據(jù)集和rsod遙感數(shù)據(jù)集。

9、作為優(yōu)選，步驟s1所述對(duì)目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行預(yù)處理，具體步驟為：

10、s11、將目標(biāo)檢測(cè)數(shù)據(jù)集中的圖像尺寸調(diào)整為1024×1024；

11、s12、圖像首先經(jīng)過特征提取網(wǎng)絡(luò)得到多尺度圖像特征，再對(duì)多尺度圖像特征進(jìn)行變換，形成特征金字塔網(wǎng)絡(luò)；

12、s13、將變換后的多尺度特征和相應(yīng)的位置編碼一起經(jīng)過編碼器得到編碼器加強(qiáng)過的特征。

13、作為優(yōu)選，步驟s2所述構(gòu)建由resnet50卷積神經(jīng)網(wǎng)絡(luò)與transformer自注意力機(jī)制組合而成的初始網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)采用動(dòng)態(tài)自適應(yīng)位置查詢代替原有位置查詢；具體方法為：

14、該網(wǎng)絡(luò)結(jié)構(gòu)包括特征提取網(wǎng)絡(luò)、transformer編碼器和解碼器，以及動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊；

15、s21、選擇resnet50作為特征提取網(wǎng)絡(luò)，取特征金字塔網(wǎng)絡(luò)的最上層的特征作為動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊的輸入，得到一組動(dòng)態(tài)權(quán)重；初始化一組查詢，將這組查詢與動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊得到的動(dòng)態(tài)權(quán)重進(jìn)行線性組合得到動(dòng)態(tài)自適應(yīng)位置查詢；

16、s22、將編碼器特征和動(dòng)態(tài)自適應(yīng)查詢送入解碼器進(jìn)行注意力操作；最后，解碼器通過堆疊多個(gè)注意力操作后再經(jīng)過分類頭與回歸頭得到預(yù)測(cè)集合。

17、作為優(yōu)選，通過動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊得到動(dòng)態(tài)權(quán)重，具體方法為：

18、s211、使用全局自適應(yīng)平均池化層得到全局特征，再通過兩個(gè)全連接層和relu激活函數(shù)得到一組未歸一化的權(quán)重，對(duì)生成的權(quán)重應(yīng)用softmax函數(shù)，將輸入值映射為0-1之間的概率實(shí)數(shù)，并通過溫度系數(shù)進(jìn)行縮放，得到每組相應(yīng)的權(quán)重值；權(quán)重生成方法為：

19、

20、其中f"為模塊中第二層fc層的輸出，τ為設(shè)置的溫度系數(shù)。f-為表示這組權(quán)重中的第j個(gè)元素的原始權(quán)重值。k是一個(gè)特定的索引，用于從這組權(quán)重中選擇一個(gè)特定的元素進(jìn)行softmax計(jì)算，j為是一個(gè)遍歷這組權(quán)重中所有元素的索引，用于計(jì)算softmax函數(shù)的歸一化因子。

21、作為優(yōu)選，獲得動(dòng)態(tài)自適應(yīng)位置查詢的具體方法為：

22、s212、首先，重新定義object?query，object?query為一組預(yù)先定義的向量，每個(gè)object?query都代表一個(gè)目標(biāo)類別和位置的描述，在初始化的時(shí)候設(shè)置n組可學(xué)習(xí)的隨機(jī)的向量；

23、s213、將輸入到解碼器第一層的初始位置查詢定義為：

24、

25、其中qk代表初始化的一組隨機(jī)向量，ωk代表一組權(quán)重，這組權(quán)重為動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊根據(jù)輸入得到的動(dòng)態(tài)權(quán)重，由此將原有位置查詢變成動(dòng)態(tài)自適應(yīng)位置查詢。

26、作為優(yōu)選，步驟s3所述利用預(yù)處理后的目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)初始網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，獲得訓(xùn)練完成的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型；具體方法為：

27、s31、使用coco數(shù)據(jù)集的訓(xùn)練集在rtx?4090上對(duì)模型訓(xùn)練50輪次，查詢數(shù)量設(shè)置為300個(gè)，模型在coco數(shù)據(jù)集訓(xùn)練結(jié)束后會(huì)生成相應(yīng)的權(quán)重文件，將在coco數(shù)據(jù)集訓(xùn)練過的模型作為預(yù)訓(xùn)練模型；

28、s32、導(dǎo)入訓(xùn)練好的權(quán)重的預(yù)訓(xùn)練模型，根據(jù)rsod遙感數(shù)據(jù)集的訓(xùn)練集再次進(jìn)行訓(xùn)練，微調(diào)模型的參數(shù)，獲得訓(xùn)練完成的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型；

29、s33、采用coco數(shù)據(jù)集和rsod遙感數(shù)據(jù)集的驗(yàn)證集驗(yàn)證所述目標(biāo)檢測(cè)網(wǎng)絡(luò)模型。

30、作為優(yōu)選，步驟s3中所述目標(biāo)檢測(cè)網(wǎng)絡(luò)模型訓(xùn)練中設(shè)置的超參數(shù)為：

31、設(shè)置輸入圖像的尺寸大小為1024×1024，coco數(shù)據(jù)集中檢測(cè)對(duì)象的類別為80，rsod遙感數(shù)據(jù)集中檢測(cè)對(duì)象的類別為4，batch?size設(shè)置為2；該模型共訓(xùn)練了50個(gè)epoch，在第40個(gè)epoch，學(xué)習(xí)率下降到0.1；初始學(xué)習(xí)率為0.0001，權(quán)重衰減為0.0001，查詢個(gè)數(shù)設(shè)置為300個(gè)。

32、本發(fā)明再一方面提供一種基于動(dòng)態(tài)自適應(yīng)查詢的遙感目標(biāo)檢測(cè)系統(tǒng)，包括：

33、數(shù)據(jù)預(yù)處理模塊，用于獲取目標(biāo)檢測(cè)數(shù)據(jù)集，并對(duì)目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行預(yù)處理；

34、模型構(gòu)建模塊，用于構(gòu)建由resnet50卷積神經(jīng)網(wǎng)絡(luò)與transformer自注意力機(jī)制組合而成的初始網(wǎng)絡(luò)結(jié)構(gòu)，采用動(dòng)態(tài)自適應(yīng)位置查詢代替原有位置查詢；

35、模型訓(xùn)練模塊，用于設(shè)置模型參數(shù)，利用預(yù)處理后的目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)初始網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，獲得訓(xùn)練完成的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型；

36、目標(biāo)檢測(cè)模塊，用于利用目標(biāo)檢測(cè)網(wǎng)絡(luò)模型識(shí)別遙感圖像中目標(biāo)。

37、優(yōu)選地，所述模型訓(xùn)練模塊在設(shè)置模型參數(shù)時(shí)，根據(jù)實(shí)際使用的硬件設(shè)備，以及預(yù)期要達(dá)到的檢測(cè)結(jié)果配置合適的模型參數(shù)，包括批次大小、優(yōu)化器、學(xué)習(xí)率、訓(xùn)練輪數(shù)、調(diào)整學(xué)習(xí)率的訓(xùn)練輪數(shù)和特征提取網(wǎng)絡(luò)；

38、所述目標(biāo)檢測(cè)模塊對(duì)于待檢測(cè)的圖像，利用訓(xùn)練好的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型及相應(yīng)的權(quán)重文件，對(duì)待檢測(cè)的圖像進(jìn)行檢測(cè)得到目標(biāo)檢測(cè)結(jié)果，并比較檢測(cè)結(jié)果與推理fps是否達(dá)到預(yù)期。

39、有益效果：(1)本發(fā)明基本框架使用的dab-deformable-detr網(wǎng)絡(luò)結(jié)構(gòu)，并重新定義detr中的object?query，使用動(dòng)態(tài)自適應(yīng)位置查詢代替原有的位置查詢。使用動(dòng)態(tài)自適應(yīng)查詢可以提供更好的位置先驗(yàn)，使得detr系列模型對(duì)不同圖像能夠動(dòng)態(tài)調(diào)整位置查詢，模型在預(yù)測(cè)目標(biāo)位置時(shí)更加精確，能夠更準(zhǔn)確地捕捉目標(biāo)的邊界。圖像中的細(xì)節(jié)更加敏感，能夠捕捉到更多的細(xì)微差別，能夠針對(duì)復(fù)雜背景下的遙感圖像做出更準(zhǔn)確的預(yù)測(cè)。本方法不僅提高目標(biāo)檢測(cè)精度，同時(shí)還能提升模型收斂速度。

40、(2)本發(fā)明針對(duì)查詢內(nèi)容固定單一的問題，設(shè)計(jì)了一個(gè)動(dòng)態(tài)自適應(yīng)權(quán)重生成模塊，根據(jù)輸入動(dòng)態(tài)調(diào)整權(quán)重，從全局角度考慮上下文信息進(jìn)行適應(yīng)各種目標(biāo)，為模型訓(xùn)練迭代提供更準(zhǔn)確的位置先驗(yàn)。

41、(3)本發(fā)明采用動(dòng)態(tài)自適應(yīng)查詢，根據(jù)輸入圖像特征自適應(yīng)動(dòng)態(tài)調(diào)整查詢，使得每個(gè)查詢負(fù)責(zé)的區(qū)域更適應(yīng)圖像，預(yù)測(cè)框更貼合目標(biāo)。尤其是對(duì)背景復(fù)雜的遙感圖像，本發(fā)明提出的方法能夠更好的識(shí)別密集或者有重疊的目標(biāo)實(shí)例，實(shí)現(xiàn)更精確的查詢優(yōu)化。此外，本發(fā)明提出的方法可以很容易集成到其他現(xiàn)有的detr變體中，進(jìn)一步提高遙感圖像目標(biāo)的檢測(cè)性能。