本發(fā)明涉及計(jì)算機(jī)視覺(jué)的目標(biāo)檢測(cè)，具體涉及一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法。

背景技術(shù)：

1、高速公路是交通網(wǎng)絡(luò)的重要組成部分，保障其安全暢通具有關(guān)鍵意義。然而，異物（如掉落的貨物、輪胎碎片、動(dòng)物等）可能對(duì)行車安全構(gòu)成嚴(yán)重威脅，導(dǎo)致事故，甚至造成人員傷亡。因此，部署一個(gè)可靠的異物檢測(cè)系統(tǒng)至關(guān)重要。目前，有研究在fasterr-cnn中引入dou-res殘差結(jié)構(gòu)進(jìn)行異物檢測(cè)，這個(gè)方法無(wú)法對(duì)小目標(biāo)進(jìn)行有效的檢測(cè)，改進(jìn)的yolov5算法通過(guò)計(jì)算圖像中的直線特征和采用clahe算法增強(qiáng)畫面對(duì)比度，改善了小目標(biāo)的檢測(cè)問(wèn)題，但是存在檢測(cè)精度低的問(wèn)題。高速公路異物檢測(cè)系統(tǒng)仍然面臨多種挑戰(zhàn)，主要表現(xiàn)在以下幾個(gè)方面：一、多樣化的異物類型:?異物的種類和尺寸各不相同，從掉落的貨物、輪胎碎片到動(dòng)物、金屬物體等，每種異物的形態(tài)、材質(zhì)和顏色都有差異，導(dǎo)致檢測(cè)模型難以泛化以識(shí)別所有類型和大小的異物；二、環(huán)境條件復(fù)雜:?光照條件從白天的強(qiáng)光到夜間的微光變化劇烈，再加上天氣因素如雨、雪、霧等，以及濕滑路面的反光，這些復(fù)雜環(huán)境會(huì)干擾傳感器的檢測(cè)性能，增加了任務(wù)的復(fù)雜性；三、檢測(cè)速度和準(zhǔn)確性:?在高速公路上，系統(tǒng)必須在極短時(shí)間內(nèi)做出準(zhǔn)確的檢測(cè)判斷，然而過(guò)多的誤檢會(huì)影響系統(tǒng)的可信度，而漏檢則帶來(lái)安全隱患，因此需要在實(shí)時(shí)性與檢測(cè)精度之間取得平衡。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法。

2、本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：

3、本發(fā)明提供了一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法，包括以下步驟：

4、s1、持續(xù)通過(guò)紅外傳感器，對(duì)不同光照條件下和不同天氣情況下的高速公路場(chǎng)景進(jìn)行數(shù)據(jù)采集，用于獲得紅外圖像數(shù)據(jù)，通過(guò)數(shù)據(jù)增廣對(duì)紅外圖像數(shù)據(jù)進(jìn)行預(yù)處理，生成訓(xùn)練數(shù)據(jù)，將所述訓(xùn)練數(shù)據(jù)按7:2:1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集；

5、s2、構(gòu)建基于mamba架構(gòu)的異物檢測(cè)網(wǎng)絡(luò)，所述異物檢測(cè)網(wǎng)絡(luò)包括學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)；

6、s3、基于所述訓(xùn)練集通過(guò)反向傳播算法訓(xùn)練教師網(wǎng)絡(luò)；

7、s4、基于所述教師網(wǎng)絡(luò)的結(jié)果和真實(shí)數(shù)據(jù)來(lái)訓(xùn)練學(xué)生網(wǎng)絡(luò)，得到目標(biāo)檢測(cè)網(wǎng)絡(luò)；

8、s5、將待識(shí)別的圖像輸入目標(biāo)檢測(cè)網(wǎng)絡(luò)，得到檢測(cè)結(jié)果。

9、進(jìn)一步地，所述步驟s2具體包括以下子步驟：

10、s21、輸入層將輸入圖像的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，調(diào)整輸入圖像的數(shù)據(jù)用于網(wǎng)絡(luò)處理，獲得第二圖像；

11、s22、通過(guò)多層次的卷積操作對(duì)第二圖像進(jìn)行多尺度特征提取，第二圖像經(jīng)過(guò)若干層的處理后，第二圖像的分辨率降低、通道數(shù)增加，獲得不同尺度的第三圖像；

12、s23、將不同尺度的第三圖像通過(guò)特征融合模塊進(jìn)行整合，獲得第四圖像；具體包括：特征融合模塊通過(guò)上采樣操作，對(duì)第三圖像的分辨率進(jìn)行恢復(fù)，并將不同尺度的第三圖像的特征結(jié)合在一起，用于增強(qiáng)模型對(duì)不同大小目標(biāo)的處理能力；

13、s24、通過(guò)檢測(cè)頭對(duì)第四圖像進(jìn)行目標(biāo)檢測(cè)，通過(guò)卷積和全連接，生成最終的檢測(cè)結(jié)果，包括目標(biāo)的類別和位置；將殘差模塊堆疊至四層作為教師網(wǎng)絡(luò)，單層的淺層網(wǎng)絡(luò)作為學(xué)生網(wǎng)絡(luò)；所述檢測(cè)頭還包括目標(biāo)一致性檢測(cè)，結(jié)合視頻幀的時(shí)序信息，提升異物檢測(cè)的精度和魯棒性；對(duì)于僅在單幀中短暫出現(xiàn)的目標(biāo)，系統(tǒng)會(huì)進(jìn)行二次確認(rèn)，判斷其是否是環(huán)境噪聲或光線反射。

14、優(yōu)選地，所述步驟s22具體包括：先通過(guò)mamba?block模塊進(jìn)行第二圖像的特征提取，之后將第二圖像輸入到resnet?block模塊，通過(guò)resnet?block模塊對(duì)第二圖像的特征進(jìn)行深度提??；

15、所述mamba?block模塊操作包括：首先通過(guò)常規(guī)卷積操作提取第二圖像的局部特征，接著通過(guò)?ss2d操作對(duì)第二圖像的空間信息進(jìn)行偏移處理，然后通過(guò)深度可分離卷積來(lái)降低計(jì)算量，減少參數(shù)的同時(shí)保持模型的高效性，mamba?block?中還包括?batchnormalization?和?relu?激活函數(shù)，用于確保特征在每個(gè)步驟中的穩(wěn)定性；

16、所述resnet?block?模塊通過(guò)兩層?3×3?卷積來(lái)提取第二圖像的高級(jí)特征；所述兩層?3×3?卷積還包括歸一化和?relu?激活函數(shù)，用于確保高級(jí)特征的穩(wěn)定性，resnetblock?還包括殘差連接，用于緩解梯度消失。

17、優(yōu)選地，所述步驟s3具體包括以下步驟：

18、s31、首先對(duì)輸入圖像進(jìn)行標(biāo)準(zhǔn)化和數(shù)據(jù)增強(qiáng)，用于網(wǎng)絡(luò)學(xué)習(xí)多樣化的場(chǎng)景信息，所述數(shù)據(jù)增強(qiáng)包括旋轉(zhuǎn)、翻轉(zhuǎn)和縮放，用于增加訓(xùn)練數(shù)據(jù)的多樣性，使教師網(wǎng)絡(luò)具備更強(qiáng)的泛化能力；

19、s32、然后輸入圖像通過(guò)教師網(wǎng)絡(luò)的多層?mamba?block?和?resnet?block?進(jìn)行前向傳播；在每一層，教師網(wǎng)絡(luò)通過(guò)卷積操作提取局部特征，再逐層下采樣以提取更多全局特征；所述局部特征和全局特征通過(guò)多尺度特征融合模塊進(jìn)行整合，用于網(wǎng)絡(luò)同時(shí)處理大小不同的目標(biāo)；

20、s33、最終提取到的高級(jí)特征進(jìn)入檢測(cè)頭，通過(guò)檢測(cè)頭進(jìn)行目標(biāo)分類和邊界框回歸，生成每個(gè)目標(biāo)的類別置信度和位置。

21、優(yōu)選地，所述步驟s33還包括：教師網(wǎng)絡(luò)輸出結(jié)果的同時(shí)生成軟標(biāo)簽；所述軟標(biāo)簽包括每個(gè)類別的預(yù)測(cè)值和各類別之間的概率分布信息，用于為學(xué)生網(wǎng)絡(luò)提供更加細(xì)粒度的學(xué)習(xí)信號(hào)；教師網(wǎng)絡(luò)通過(guò)計(jì)算第一損失函數(shù)來(lái)評(píng)估其預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的誤差；所述第一損失函數(shù)包括分類損失和回歸損失:,其中為分類損失，是分類損失的權(quán)重，為回歸損失，是回歸損失的權(quán)重；之后通過(guò)反向傳播更新教師網(wǎng)絡(luò)的權(quán)重；第一損失函數(shù)的梯度從檢測(cè)頭開始逐層向后傳遞，直到輸入層；網(wǎng)絡(luò)參數(shù)通過(guò)選擇的優(yōu)化器進(jìn)行更新，優(yōu)化器根據(jù)第一損失函數(shù)的梯度調(diào)整網(wǎng)絡(luò)的權(quán)重，用于最小化誤差；

22、訓(xùn)練過(guò)程中，驗(yàn)證集數(shù)據(jù)還用于評(píng)估教師網(wǎng)絡(luò)的性能表現(xiàn)；通過(guò)驗(yàn)證集的前向傳播，計(jì)算分類準(zhǔn)確率和平均精度均值判斷模型的準(zhǔn)確性和魯棒性，若驗(yàn)證集的性能達(dá)到了預(yù)設(shè)要求，則網(wǎng)絡(luò)訓(xùn)練效果良好繼續(xù)訓(xùn)練直到收斂。

23、優(yōu)選地，所述步驟s4具體包括：

24、通過(guò)輸入圖像和所對(duì)應(yīng)的真實(shí)標(biāo)簽輸入進(jìn)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練；學(xué)生網(wǎng)絡(luò)從教師網(wǎng)絡(luò)中獲取軟標(biāo)簽；輸入圖像經(jīng)過(guò)學(xué)生網(wǎng)絡(luò)的前向傳播，依次通過(guò)卷積層、mamba?block?和resnet?block?進(jìn)行特征提??；學(xué)生網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，計(jì)算所對(duì)應(yīng)的第二損失函數(shù)，所述第二損失函數(shù)包括硬標(biāo)簽損失和軟標(biāo)簽損失的加權(quán)：，其中為硬標(biāo)簽損失，為硬標(biāo)簽損失的權(quán)重系數(shù)，為軟標(biāo)簽損失，為軟標(biāo)簽損失的權(quán)重系數(shù)；之后通過(guò)反向傳播算法來(lái)計(jì)算梯度，更新學(xué)生網(wǎng)絡(luò)的權(quán)重；若學(xué)生網(wǎng)絡(luò)在驗(yàn)證集上的表現(xiàn)達(dá)到預(yù)設(shè)精度，訓(xùn)練過(guò)程結(jié)束，保存模型的權(quán)重，所述學(xué)生網(wǎng)絡(luò)還經(jīng)過(guò)輕量化設(shè)計(jì)，所述學(xué)生網(wǎng)絡(luò)通過(guò)知識(shí)蒸餾用于保持高效計(jì)算和高檢測(cè)精度的平衡。

25、優(yōu)選地，所述的步驟s5具體包括：網(wǎng)絡(luò)會(huì)預(yù)測(cè)每個(gè)目標(biāo)的類別，并為每個(gè)檢測(cè)到的目標(biāo)生成一個(gè)類別置信度，網(wǎng)絡(luò)選擇置信度最高的類別作為最終的預(yù)測(cè)結(jié)果；同時(shí)網(wǎng)絡(luò)還會(huì)輸出每個(gè)目標(biāo)的邊界框位置，通過(guò)非極大值抑制避免多個(gè)邊界框重復(fù)檢測(cè)同一目標(biāo)，最終輸出一組檢測(cè)結(jié)果，每個(gè)檢測(cè)結(jié)果包含目標(biāo)的類別、置信度分?jǐn)?shù)和邊界框位置。

26、本發(fā)明的有益效果是：

27、1）本發(fā)明技術(shù)方案通過(guò)采用mamba新型網(wǎng)絡(luò)架構(gòu)、多尺度特征融合、知識(shí)蒸餾、紅外傳感器和視頻幀時(shí)序信息的結(jié)合，不僅克服了現(xiàn)有異物檢測(cè)系統(tǒng)的局限，還展現(xiàn)出多方面的顯著優(yōu)勢(shì)。首先，mamba網(wǎng)絡(luò)架構(gòu)結(jié)合多尺度特征融合技術(shù)，能夠在不同尺寸和類型的異物檢測(cè)中實(shí)現(xiàn)更精準(zhǔn)的特征提取，特別是面對(duì)高速公路上小型碎片和大型障礙物時(shí)，系統(tǒng)的檢測(cè)精度顯著提高。其次，通過(guò)引入知識(shí)蒸餾技術(shù)，將復(fù)雜、高性能的教師模型中的知識(shí)提煉并傳遞給較輕量的學(xué)生模型，在保持檢測(cè)精度的同時(shí)，大幅減少了模型的計(jì)算量和內(nèi)存需求。這一輕量化設(shè)計(jì)使得系統(tǒng)在邊緣設(shè)備上實(shí)現(xiàn)高效部署，顯著提升了實(shí)時(shí)性和響應(yīng)速度。

28、2）本發(fā)明結(jié)合紅外傳感器和視頻幀時(shí)序信息的技術(shù)，系統(tǒng)能夠在夜間、低光照、強(qiáng)光反射、雨霧等復(fù)雜環(huán)境中保持穩(wěn)定的檢測(cè)效果。視頻幀時(shí)序信息進(jìn)一步通過(guò)分析幀間的連續(xù)性，降低了動(dòng)態(tài)背景和運(yùn)動(dòng)模糊帶來(lái)的誤檢和漏檢問(wèn)題，確保系統(tǒng)在復(fù)雜的動(dòng)態(tài)場(chǎng)景下依然具備高魯棒性。通過(guò)輕量化的知識(shí)蒸餾設(shè)計(jì)，系統(tǒng)不再依賴高計(jì)算資源，能夠在邊緣設(shè)備上實(shí)現(xiàn)實(shí)時(shí)、高效的異物檢測(cè)，并且大幅減少了數(shù)據(jù)傳輸?shù)膸捫枨蠛瓦\(yùn)行成本。整體而言，本發(fā)明方案在檢測(cè)精度、實(shí)時(shí)性、環(huán)境適應(yīng)性、誤檢與漏檢控制、以及邊緣設(shè)備部署等方面均優(yōu)于現(xiàn)有技術(shù)，極大地提升了系統(tǒng)的實(shí)用性和商業(yè)化價(jià)值。