本發(fā)明涉及圖像數(shù)據(jù)處理，特別涉及一種低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法。

背景技術(shù)：

1、在低光照環(huán)境中，圖像細(xì)節(jié)的喪失和顏色失真為語(yǔ)義分割任務(wù)帶來(lái)了巨大的挑戰(zhàn)，尤其是在野外場(chǎng)景下的無(wú)人機(jī)拍攝圖像中，這種影響尤為顯著。為了解決這些問(wèn)題，深度學(xué)習(xí)模型在低光照條件下的語(yǔ)義分割中起到了至關(guān)重要的作用。以下是一些在該特定場(chǎng)景中的深度學(xué)習(xí)技術(shù)和研究方向：

2、卷積神經(jīng)網(wǎng)絡(luò)（cnn）：作為圖像處理任務(wù)的核心架構(gòu)，cnn在低光照語(yǔ)義分割中展現(xiàn)出了強(qiáng)大的能力，通過(guò)使用諸如u-net等經(jīng)典架構(gòu)，模型能夠同時(shí)捕獲圖像的局部和全局特征。在這種架構(gòu)中集成低光照條件下的數(shù)據(jù)，可以使模型更好地學(xué)習(xí)和適應(yīng)低光環(huán)境下的圖像特征。

3、多尺度特征提?。涸诘凸庹諚l件下，圖像的不同尺度上可能存在著不同程度的細(xì)節(jié)丟失和顏色偏差，通過(guò)多尺度特征提取方法，模型能夠更全面地捕捉圖像中的信息，有效提升低光照條件下的語(yǔ)義分割性能。

4、注意力機(jī)制：注意力機(jī)制能夠幫助模型在低光環(huán)境中更好地聚焦于具有重要語(yǔ)義信息的區(qū)域。由于在低光照下圖像的某些部分可能缺乏明顯的特征，引入注意力機(jī)制可以使模型在分割時(shí)集中資源，優(yōu)先處理這些關(guān)鍵區(qū)域，從而提升分割的準(zhǔn)確性。

5、數(shù)據(jù)增強(qiáng)技術(shù)：在低光照條件下，數(shù)據(jù)增強(qiáng)技術(shù)可以通過(guò)引入亮度調(diào)整、對(duì)比度增強(qiáng)、色彩校正等方法，幫助模型更好地適應(yīng)多樣化的光照變化，從而提升其在復(fù)雜光照條件下的表現(xiàn)。

6、此外，還包括遷移學(xué)習(xí)、光照歸一化、后處理技術(shù)等方法，它們共同作用，增強(qiáng)了模型在低光照環(huán)境下的圖像語(yǔ)義分割能力。為了進(jìn)一步提升無(wú)人機(jī)在野外低光照環(huán)境中的圖像處理效率，需要在這些方法的基礎(chǔ)上進(jìn)行整合和優(yōu)化，以實(shí)現(xiàn)更為高效的語(yǔ)義分割。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提高野外低光照環(huán)境中圖像的處理效率和質(zhì)量，提供一種低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法。

2、為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明實(shí)施例提供了以下技術(shù)方案：

3、低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，通過(guò)分割模型實(shí)現(xiàn)，所述分割模型包括光照特征提取網(wǎng)絡(luò)、圖像特征提取網(wǎng)絡(luò)、光照特征嵌入模塊、第一光照特征融合模塊、第二光照特征融合模塊；

4、所述方法包括以下步驟：

5、步驟1，將原始圖像分解為v通道光照?qǐng)D和rgb圖像，將v通道光照?qǐng)D輸入光照特征提取網(wǎng)絡(luò)，輸出多張光照引導(dǎo)圖；

6、步驟2，將多張光照引導(dǎo)圖輸入第一光照特征融合模塊后，得到光照引導(dǎo)融合圖；

7、步驟3，將rgb圖像輸入圖像特征提取網(wǎng)絡(luò)，輸出多張?zhí)卣鲌D，并將每張?zhí)卣鲌D與一張光照引導(dǎo)圖一一對(duì)應(yīng)輸入光照特征嵌入模塊進(jìn)行融合，輸出光照嵌入圖；

8、步驟4，將光照嵌入圖與光照引導(dǎo)融合圖輸入第二光照特征融合模塊后，得到光照嵌入融合圖；

9、步驟5，從光照嵌入融合圖中提取出分割結(jié)果。

10、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

11、（1）低光照條件下的語(yǔ)義分割準(zhǔn)確性提升：本發(fā)明通過(guò)引入光照特征嵌入模塊，有效地將光照信息與語(yǔ)義特征融合，使得分割模型能夠更好地適應(yīng)野外場(chǎng)景中的低光環(huán)境。通過(guò)在每個(gè)卷積層中動(dòng)態(tài)調(diào)整光照特征的權(quán)重，分割模型能夠在低光條件下保持對(duì)關(guān)鍵語(yǔ)義信息的準(zhǔn)確捕捉，從而顯著提升了語(yǔ)義分割的精度。

12、（2）細(xì)節(jié)信息的精確捕捉：estdc與3×3卷積核、7×7卷積核結(jié)合使用，增強(qiáng)了分割模型對(duì)圖像中細(xì)節(jié)特征的捕捉能力。3×3卷積核有助于提取細(xì)膩的局部特征，如邊緣和紋理，而7×7卷積核則確保了對(duì)全局信息的有效獲取。這種多尺度卷積核的組合，使得分割模型在處理低光環(huán)境下的復(fù)雜場(chǎng)景時(shí)，更加敏感于場(chǎng)景中微小且重要的變化，提升了模型的精細(xì)化分割能力。

13、（3）實(shí)時(shí)性和計(jì)算效率的提升：本發(fā)明在光照特征提取網(wǎng)絡(luò)和圖像特征提取網(wǎng)絡(luò)中采用了輕量級(jí)的estdc架構(gòu)，使得網(wǎng)絡(luò)在保持高效特征提取的同時(shí)，顯著減少了計(jì)算量和內(nèi)存占用。通過(guò)短期密集連接機(jī)制，estdc能夠在較淺的網(wǎng)絡(luò)結(jié)構(gòu)中實(shí)現(xiàn)深層次的特征融合，確保了分割模型在無(wú)人機(jī)實(shí)時(shí)處理任務(wù)中的應(yīng)用效果。這一設(shè)計(jì)提高了分割模型在低光環(huán)境下的實(shí)時(shí)性，適用于資源有限的嵌入式系統(tǒng)。

14、（4）特征圖的更大信息容量：通過(guò)光照特征嵌入圖模塊和第一光照特征融合模塊、第二光照特征融合模塊的組合，本發(fā)明生成的光照嵌入融合圖的信息更加豐富，包含了多層次的光照和語(yǔ)義特征。卷積操作進(jìn)一步優(yōu)化了光照嵌入融合圖的表達(dá)能力，使得分割模型能夠在復(fù)雜的低光場(chǎng)景中處理更多的特征信息，提升了整體的語(yǔ)義分割性能和魯棒性。

技術(shù)特征：

1.低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，通過(guò)分割模型實(shí)現(xiàn)，其特征在于：所述分割模型包括光照特征提取網(wǎng)絡(luò)、圖像特征提取網(wǎng)絡(luò)、光照特征嵌入模塊、第一光照特征融合模塊、第二光照特征融合模塊；

2.根據(jù)權(quán)利要求1所述的低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，其特征在于：所述步驟1中，將v通道光照?qǐng)D輸入光照特征提取網(wǎng)絡(luò)，輸出多張光照引導(dǎo)圖的步驟，包括：

3.根據(jù)權(quán)利要求2所述的低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，其特征在于：所述步驟2具體包括以下步驟：

4.根據(jù)權(quán)利要求3所述的低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，其特征在于：所述步驟3具體包括以下步驟：

5.根據(jù)權(quán)利要求4所述的低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，其特征在于：所述步驟4具體包括以下步驟：

6.根據(jù)權(quán)利要求1所述的低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，其特征在于：所述分割模型的總損失函數(shù)為：

技術(shù)總結(jié)
本發(fā)明涉及圖像數(shù)據(jù)處理技術(shù)領(lǐng)域，公開(kāi)低光環(huán)境下面向野外場(chǎng)景的航拍圖像語(yǔ)義分割方法，包括步驟：將原始圖像分解為V通道光照?qǐng)D和RGB圖像，將V通道光照?qǐng)D輸入光照特征提取網(wǎng)絡(luò)，輸出多張光照引導(dǎo)圖；將多張光照引導(dǎo)圖輸入第一光照特征融合模塊后，得到光照引導(dǎo)融合圖；將RGB圖像輸入圖像特征提取網(wǎng)絡(luò)，輸出多張?zhí)卣鲌D，并將每張?zhí)卣鲌D與一張光照引導(dǎo)圖一一對(duì)應(yīng)輸入光照特征嵌入模塊進(jìn)行融合，輸出光照嵌入圖；將光照嵌入圖與光照引導(dǎo)融合圖輸入第二光照特征融合模塊后，得到光照嵌入融合圖；從光照嵌入融合圖中提取出分割結(jié)果。本發(fā)明提高了野外低光照環(huán)境中圖像的處理效率和質(zhì)量。

技術(shù)研發(fā)人員：譚錦濤,劉曄璐,王致遠(yuǎn),屈若錕,李誠(chéng)龍
受保護(hù)的技術(shù)使用者：中國(guó)民用航空飛行學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19