本發(fā)明涉及圖像處理，特別涉及基于金字塔邊緣增強(qiáng)的自矯正低光照目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域中的基礎(chǔ)任務(wù)，在智慧城市建設(shè)、醫(yī)學(xué)診斷、農(nóng)業(yè)監(jiān)測(cè)、視頻監(jiān)控以及自動(dòng)駕駛等多個(gè)領(lǐng)域應(yīng)用廣泛。常見的目標(biāo)檢測(cè)算法根據(jù)實(shí)現(xiàn)方式，分為錨框方法和無錨框方法兩種：錨框目標(biāo)檢測(cè)方法根據(jù)檢測(cè)框的實(shí)現(xiàn)方式，分為二階和一階目標(biāo)檢測(cè)算法，二階目標(biāo)檢測(cè)算法有rcnn、fast?rcnn和faster?rcnn等；一階目標(biāo)檢測(cè)算法如ssd和yolo等。無錨框目標(biāo)檢測(cè)方法去除了錨框的使用，通過關(guān)鍵點(diǎn)的組合和定位來實(shí)現(xiàn)目標(biāo)檢測(cè)，簡(jiǎn)化了檢測(cè)流程，減少了冗余錨框，具有更好的泛化能力。無錨框目標(biāo)檢測(cè)方法有centernet、fcos(fully?convolutional?one-stage?object?detection)和基于transformer的目標(biāo)檢測(cè)算法等，其中基于transformer的無錨框目標(biāo)檢測(cè)算法具有全局信息捕捉、無錨框選擇和并行快速計(jì)算等優(yōu)點(diǎn)，在目標(biāo)檢測(cè)領(lǐng)域得到了廣泛應(yīng)用。

2、然而，盡管這些算法在光照充足、圖像清晰的常規(guī)環(huán)境下能夠取得令人滿意的檢測(cè)效果，但在復(fù)雜低光照環(huán)境下，如弱光甚至黑夜、含光源且光照不均勻、陰影和色彩失真等場(chǎng)景，因采集的圖像存在光照不足且亮度不均勻、目標(biāo)和背景對(duì)比度較低、受噪聲干擾嚴(yán)重和顏色色彩失真等難點(diǎn)，將通用目標(biāo)檢測(cè)算法直接應(yīng)用于低光照目標(biāo)檢測(cè)，存在檢測(cè)精度低、目標(biāo)定位不準(zhǔn)確、易出現(xiàn)錯(cuò)檢和漏檢等問題，因此，如何在復(fù)雜的低光照環(huán)境下實(shí)現(xiàn)高效且準(zhǔn)確的目標(biāo)檢測(cè)，成為了該領(lǐng)域亟待解決的重要問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的就在于為了解決上述的問題，而提供基于金字塔邊緣增強(qiáng)的自矯正低光照目標(biāo)檢測(cè)方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

3、根據(jù)本發(fā)明的一個(gè)方面，提供了基于金字塔邊緣增強(qiáng)的自矯正低光照目標(biāo)檢測(cè)方法，包括低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)設(shè)計(jì)和輕量化自矯正目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)兩個(gè)部分，其特征在于：

4、低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)設(shè)計(jì)部分：

5、gl-rtdetr首先將低光照?qǐng)D像輸入到genet網(wǎng)絡(luò)中，對(duì)其進(jìn)行低光照?qǐng)D像進(jìn)行增強(qiáng)，。genet首先將輸入圖像使用高斯金字塔對(duì)其進(jìn)行分解，得到四張不同尺度大小的圖像，在分別經(jīng)過基于邊緣先驗(yàn)的暗通道算法dnet，增強(qiáng)低光照目標(biāo)的紋理和邊緣輪廓特征，提高前景目標(biāo)和背景的對(duì)比度，再通過msr算法，增強(qiáng)圖像的整體亮度對(duì)比，得到較為清晰的圖像，最后將處理后的較低層圖像經(jīng)過上采樣融合，輸出增強(qiáng)后的低光照?qǐng)D像；

6、輕量化自矯正目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)：

7、增強(qiáng)的低光照?qǐng)D像輸入lsc-rtdetr目標(biāo)檢測(cè)網(wǎng)絡(luò)中，設(shè)計(jì)輕量化自矯正的backbone模塊，在增強(qiáng)特征提取能力的同時(shí)，建立相鄰像素之間的相關(guān)性，自矯正backbone輸出的特征圖，突出目標(biāo)的輪廓特征，進(jìn)一步提高低光照目標(biāo)的檢測(cè)和定位精度，減少網(wǎng)絡(luò)的參數(shù)計(jì)算量，加快了推理速度。

8、進(jìn)一步地，低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)設(shè)計(jì)部分是結(jié)合高斯金字塔、暗通道去霧算法和retinex算法的優(yōu)點(diǎn)，并結(jié)合低光照?qǐng)D像的特點(diǎn)，設(shè)計(jì)了一種用于低光照?qǐng)D像增強(qiáng)的網(wǎng)絡(luò)genet，genet首先對(duì)輸入圖像進(jìn)行高斯金字塔下采樣；

9、(1)

10、其中為高斯金字塔輸出的不同尺度圖像，為對(duì)輸入圖像進(jìn)行基于高斯金字塔的下采樣操作，在本技術(shù)中將設(shè)置為4，即進(jìn)行四次下采樣，輸出四張不同尺度的圖像，表示高斯濾波，每次高斯金字塔運(yùn)算后，圖像的寬度和高度各減半，分辨率是輸入圖像的0.25倍，根據(jù)輸入圖像的大小，共生成四層高斯金字塔圖像；

11、為突出低光照?qǐng)D像中目標(biāo)的紋理、輪廓和邊緣細(xì)節(jié)特征，使用基于邊緣特征的暗通道增強(qiáng)算法來增強(qiáng)目標(biāo)的輪廓特征，計(jì)算四層高斯金字塔輸出圖像的暗通道值

12、(2)

13、其中是輸入圖像在位置上的顏色通道的強(qiáng)度，是以為中心的卷積窗口，暗通道值即為輸入圖像某區(qū)域內(nèi)的rgb最小通道的強(qiáng)度，為計(jì)算rgb三個(gè)通道的像素最小值，這個(gè)最小值代表了該低光照?qǐng)D像像素在三個(gè)顏色通道中的“暗度”或“亮度”的最低水平，各個(gè)區(qū)域內(nèi)的低光照強(qiáng)度計(jì)算為：

14、(3)

15、其中，為選定區(qū)域內(nèi)的低光照強(qiáng)度，為選定區(qū)域內(nèi)像素點(diǎn)最大值，表示選定區(qū)域中亮度最高的像素值，對(duì)低光照?qǐng)D像進(jìn)行透射圖的粗估計(jì)：

16、(4)

17、其中，為低光照?qǐng)D像的粗估計(jì)投射圖；

18、為突出低光照目標(biāo)的邊緣細(xì)節(jié)和輪廓特征，使用基于邊緣特征先驗(yàn)的暗通道去霧算法，具體對(duì)透射圖的粗估計(jì)結(jié)果進(jìn)行調(diào)整和修正，調(diào)整后的透射圖估計(jì)為：

19、(5)

20、其中是一個(gè)預(yù)設(shè)的增量，用于加強(qiáng)邊緣位置的透射率，為輸入圖像的邊緣強(qiáng)度，如果是目標(biāo)邊緣則值為1，否則為0，邊緣強(qiáng)度計(jì)算為：

21、(6)

22、其中，邊緣強(qiáng)度由canny算子獲取，為確保透射率在[0,1]范圍內(nèi)，將式（5）透射圖調(diào)整和修正為：

23、(7)

24、其中為投射圖的最小值，通過投射圖的修正，使得投射圖映射在[0,1]之間，實(shí)現(xiàn)了投射率的修正和動(dòng)態(tài)調(diào)整，基于邊緣特征的暗通道增強(qiáng)算法增強(qiáng)后的圖像為：

25、(8)

26、利用邊緣特征的暗通道增強(qiáng)算法增強(qiáng)了低光照目標(biāo)的輪廓和邊緣細(xì)節(jié)特征，接著使用msr對(duì)低光照?qǐng)D像進(jìn)行整體亮度和對(duì)比度的增強(qiáng)，單尺度retinex(ssr)計(jì)算為：

27、(9)

28、其中為是以為標(biāo)準(zhǔn)差的高斯函數(shù)，為單ssr增強(qiáng)后的輸出圖像，為卷積操作，為經(jīng)過基于邊緣特征的暗通道增強(qiáng)算法的輸入圖像。msr輸出是在多個(gè)尺度下計(jì)算得到的ssr結(jié)果的線性組合：

29、(10)

30、其中為經(jīng)過msr增強(qiáng)后的輸出圖像，是選擇的尺度集合中第個(gè)尺度，本技術(shù)選擇rgb為三個(gè)顏色尺度，即。

31、進(jìn)一步地，輕量化自矯正目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)部分，backbone以resnet50作為rtdetr的主干特征提取網(wǎng)絡(luò)，為提高目標(biāo)間上下文聯(lián)系，輸出較為準(zhǔn)確的特征圖，提高目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能。受meta-mobile?block和自矯正卷積（self-calibrated?convolutions）啟發(fā)，將meta-mobile?block模塊嵌入到resnet50的p3、p4和p5輸出層中，并將meta-mobileblock結(jié)構(gòu)中最后一層1×1卷積替換為自矯正卷積，設(shè)計(jì)了一種輕量化的resnet50(scc-resnet50)。meta-mobile?block是一種專為輕量化與高效特征提取設(shè)計(jì)的網(wǎng)絡(luò)模塊，它巧妙地結(jié)合了殘差網(wǎng)絡(luò)（resnet）的殘差學(xué)習(xí)理念與移動(dòng)網(wǎng)絡(luò)的優(yōu)化策略。該模塊以殘差連接為基礎(chǔ)，僅包含卷積操作和高效的多頭自注意力機(jī)制（mhsa），摒棄了其他復(fù)雜結(jié)構(gòu)，確保了計(jì)算的簡(jiǎn)潔性。在模塊內(nèi)部，首先通過1×1卷積處理輸入特征，隨后利用高效擴(kuò)展窗口的多頭自注意力機(jī)制計(jì)算出關(guān)鍵（key）、查詢（query）和值（value）的位置信息，并將這兩步生成的特性進(jìn)行加權(quán)融合，以增強(qiáng)特征的表達(dá)能力。接著，使用深度可分離卷積（dw-conv）通過步幅自適應(yīng)實(shí)現(xiàn)下采樣，不僅有效降低了計(jì)算復(fù)雜度，還兼顧了動(dòng)態(tài)全局特征融合的優(yōu)勢(shì)，顯著提升了低光照目標(biāo)的特征提取。meta-mobile?block在設(shè)計(jì)上無需額外引入位置嵌入來為mhsa提供歸納偏置，進(jìn)一步簡(jiǎn)化了模型結(jié)構(gòu)，與常規(guī)卷積相比，dw-conv在輸入輸出特征圖相同的情況下，參數(shù)量?jī)H為常規(guī)卷積的36%，這一特性使得meta-mobile?block在實(shí)現(xiàn)高效特征提取的同時(shí)，也實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的輕量化設(shè)計(jì)。

32、進(jìn)一步地，將meta-mobile?block結(jié)構(gòu)中最后一層1×1卷積替換為自矯正卷積，自矯正卷積通過分解特征圖，在內(nèi)部設(shè)立擴(kuò)展每個(gè)卷積層的感受野，自矯正卷積通過一種新的自矯正操作，自適應(yīng)圍繞每個(gè)空間位置，構(gòu)建遠(yuǎn)程空間和通道間依賴關(guān)系，從而增強(qiáng)上下文信息、豐富輸出特征，并且自校正卷積簡(jiǎn)單通用，無需引入額外的參數(shù)和計(jì)算復(fù)雜性。

33、自矯正卷積將輸入特征圖拆分為兩個(gè)尺度空間，即原尺度特征空間和自矯正尺度空間。在自矯正尺度空間中，首先使用卷積核為對(duì)輸入特征進(jìn)行平均池化運(yùn)算，得到輸入在不同尺度上的權(quán)重，與輸入相加。卷積提取的特征經(jīng)過sigmoid激活函數(shù)進(jìn)行矯正，生成一個(gè)矯正后的權(quán)重圖，最終這個(gè)權(quán)重圖用于矯正原尺度特征空間中的特征圖，實(shí)現(xiàn)自矯正功能，再由卷積調(diào)整特征圖大小，提取經(jīng)過矯正卷積提取的特征。同時(shí)，在原尺度特征空間中，使用卷積對(duì)特征圖進(jìn)行卷積操作，提取原尺度特征。最后，將自矯正尺度空間輸出的特征和原尺度特征空間輸出的特征進(jìn)行拼接操作，得到包含兩個(gè)尺度空間信息的最終輸出特征。這個(gè)最終輸出特征既包含了原尺度特征的空間細(xì)節(jié)信息，又包含了自矯正尺度特征的上下文信息，從而提高了模型對(duì)圖像語義信息的提取和理解能力。

34、自矯正卷積整個(gè)過程計(jì)算為

35、(11)

36、(12)

37、(13)

38、(14)

39、其中，為最近鄰插值上采樣，以恢復(fù)圖像大小維度，為平均池化，建立各個(gè)特征圖內(nèi)像素、目標(biāo)空間位置構(gòu)建遠(yuǎn)程空間和通道間依賴關(guān)系，得到更豐富和準(zhǔn)確的特征圖。為卷積操作，為卷積核，為哈達(dá)瑪積，為激活函數(shù)sigmoid。

40、將meta-mobile?block模塊嵌入到resnet50的p3、p4和p5輸出層中，并將meta-mobile?block結(jié)構(gòu)中最后一層1×1卷積替換為自矯正卷積，設(shè)計(jì)的scc-resnet50，在減少冗余計(jì)算的同時(shí)，充分利用自矯正卷積特性，深入挖掘各個(gè)特征圖內(nèi)像素、目標(biāo)空間位置的依賴關(guān)系，得到更豐富和準(zhǔn)確的特征圖，提高分類精度。

41、矯正卷積corrected?conv將輸入特征計(jì)算為：

42、(15)

43、(16)

44、(17)

45、其中為concate特征拼接操作，為輸入特征，和為將輸入特征拆分的兩個(gè)特征空間，和分別為經(jīng)過自校正卷積和原尺度卷積提取到的特征，為經(jīng)過scc-resnet50網(wǎng)絡(luò)的輸出特征。

46、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

47、1.低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)設(shè)計(jì)：為提高低光照?qǐng)D像的整體亮度和目標(biāo)輪廓與背景的對(duì)比度，提高目標(biāo)檢測(cè)算法在低光照?qǐng)鼍爸械淖R(shí)別效果，本技術(shù)通過分析高斯金字塔的多尺度處理能力、暗通道去霧算法在環(huán)境光調(diào)整上的優(yōu)勢(shì)，以及retinex算法在色彩恢復(fù)方面的特性，創(chuàng)新性地設(shè)計(jì)了一種名為genet的低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)。

48、2.輕量化自矯正目標(biāo)檢測(cè)網(wǎng)絡(luò)改進(jìn)：為提高目標(biāo)間上下文聯(lián)系，輸出較為準(zhǔn)確的特征圖，提高目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能，本技術(shù)選擇以resnet50作為rtdetr的主干特征提取網(wǎng)絡(luò)。受meta-mobile?block和自矯正卷積（self-calibrated?convolutions）啟發(fā)，，將meta-mobile?block模塊嵌入到resnet50的p3、p4和p5輸出層中，并將meta-mobile?block結(jié)構(gòu)中最后一層1×1卷積替換為自矯正卷積，設(shè)計(jì)了一種輕量化的resnet50(scc-resnet50)，提出了lsc-rtdetr低光照目標(biāo)檢測(cè)算法。在實(shí)現(xiàn)輕量化的同時(shí)，自適應(yīng)地建立了各個(gè)特征圖間、目標(biāo)空間位置遠(yuǎn)程空間和通道間依賴關(guān)系，得到更豐富和準(zhǔn)確的特征圖，進(jìn)而根據(jù)特征圖進(jìn)行編碼和解碼，提高了目標(biāo)檢測(cè)的性能。