本發(fā)明涉及圖像數(shù)據(jù)處理及圖像增強(qiáng)，具體的說是一種霧天場景下的圖像深度補(bǔ)全方法。

背景技術(shù)：

1、深度獲取是計算機(jī)視覺中一項(xiàng)關(guān)鍵的基礎(chǔ)問題，它能夠精確感知圖像中的幾何結(jié)構(gòu)，是許多下游應(yīng)用（如場景重建、三維目標(biāo)識別、自動駕駛和機(jī)器人導(dǎo)航等）的基礎(chǔ)和關(guān)鍵。特別是在自動駕駛和機(jī)器人導(dǎo)航的應(yīng)用中，大多數(shù)場景是室外環(huán)境。對于室外場景，目前主流且可靠的深度獲取方式是使用激光雷達(dá)。然而，高精度的激光雷達(dá)設(shè)備價格昂貴，一個64線掃描的激光雷達(dá)只能提供大約5％致密度的深度圖。并且，在霧天場景下，由于霧對激光信號的散射和衰減，以及散射造成的信號噪聲增加，都會加重激光雷達(dá)采集生成的深度圖的稀疏性，從而直接影響到應(yīng)用系統(tǒng)的安全性和可靠性。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明針對上述方案中存在的問題，提供了一種霧天場景下的圖像深度補(bǔ)全方法，以期能夠通過圖像深度補(bǔ)全生成密集深度圖，彌補(bǔ)霧天場景下激光雷達(dá)采集到的深度圖稀疏的問題，從而增強(qiáng)深度信息的適用性和有效性，使深度圖在更多應(yīng)用中得以利用。

2、本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種霧天場景下的圖像深度補(bǔ)全方法的特點(diǎn)在于，包括如下步驟：

4、a、使用攝像頭采集目標(biāo)場景的第g張圖像，且的維度為，其中，表示圖像的高度，表示圖像的寬度，表示圖像的通道數(shù)；

5、使用激光雷達(dá)同步采集目標(biāo)場景的第g個點(diǎn)云信息，并生成第g張稀疏深度圖，且的維度為，其中，1表示稀疏深度圖的通道數(shù)；

6、b、隨機(jī)生成取值范圍為[0.1,1]的第g個消光系數(shù)，并建立霧天大氣散射模型，從而利用所述霧天大氣散射模型對進(jìn)行模擬，得到以為標(biāo)簽的霧天圖像，進(jìn)而生成霧天模擬圖像集；

7、c、搭建圖像消光系數(shù)預(yù)測網(wǎng)絡(luò)，并輸入霧天模擬圖像集后，利用adam優(yōu)化算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最優(yōu)圖像消光系數(shù)預(yù)測模型；

8、d、搭建雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)，用于對和進(jìn)行特征提取和融合處理，得到第g個密集深度圖；

9、e、基于和構(gòu)建平均絕對誤差損失，從而利用adam優(yōu)化算法對所述雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計算以更新網(wǎng)絡(luò)參數(shù)，直到收斂為止，從而得到最優(yōu)的雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)模型，用于輸出對應(yīng)圖像的密集深度圖。

10、本發(fā)明所述的一種霧天場景下的圖像深度補(bǔ)全方法的特點(diǎn)也在于，所述c包括：

11、c1、搭建圖像消光系數(shù)預(yù)測網(wǎng)絡(luò)，依次包括：q個下采樣塊、t個全連接層；其中，所述第q級下采樣塊由第q級多層二維卷積層和第q級下采樣層組成；

12、所述第q級多層二維卷積層包括：y個二維卷積層，y個批歸一化層及y個relu激活函數(shù)層，其中，第y個二維卷積層的卷積核大小為,y=1,2,…,y；

13、當(dāng)q=1時，輸入第q級下采樣塊中進(jìn)行處理，輸出第q級下采樣特征圖；

14、當(dāng)q=2,3,…,q時，將第q-1級下采樣特征圖輸入第q級下采樣塊中進(jìn)行處理，并得到第q級下采樣特征圖；從而由第q級下采樣塊得最終輸出第q級下采樣特征圖；

15、經(jīng)過t個全連接層的處理后，輸出消光系數(shù)的預(yù)測值；

16、c2、基于和消光系數(shù)的真實(shí)值建立均方誤差損失，從而利用adam優(yōu)化算法對圖像消光系數(shù)預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計算以更新網(wǎng)絡(luò)參數(shù)，直至收斂為止，從而得到最優(yōu)圖像消光系數(shù)預(yù)測模型。

17、進(jìn)一步的，所述c1中的消光系數(shù)的預(yù)測值是按如下過程得到：

18、當(dāng)t=1時，輸入第t級全連接層中進(jìn)行處理，輸出第t級特征圖；

19、當(dāng)t=2,3,…,t-1時，將第t-1級特征圖輸入第t級全連接層中進(jìn)行處理，并得到第t級特征圖；

20、當(dāng)t=t時，將第t-1級特征圖輸入第t級全連接層中進(jìn)行處理，從而輸出消光系數(shù)的預(yù)測值；

21、進(jìn)一步的，所述d中的深度補(bǔ)全網(wǎng)絡(luò)是由結(jié)構(gòu)相同的第一主干和第二主干組成；其中，任一主干依次包括：第一卷積層、z級殘差塊、z個反卷積層、第二卷積層；其中，第z級殘差塊包括：第z級霧卷積層，第z級批歸一化層、第z級relu激活函數(shù)；

22、d1、第一主干中的第一卷積層對和進(jìn)行特征提取處理，得到第g個初始卷積特征圖，且的維度為，其中，表示的通道數(shù)；

23、d2、第一主干中的z級殘差塊對進(jìn)行處理，得到第z級殘差特征圖：

24、d3、將依次輸入z個反卷積層中進(jìn)行反卷積處理，得到第g個反卷積特征圖；

25、d4、第一主干中的第二卷積層對進(jìn)行特征提取處理，得到第g個第一主干密集深度圖，且的維度為，其中，表示的通道數(shù)；

26、d5、第二主干按照d1-d4的過程對和進(jìn)行特征提取和融合處理，從而得到第g個第二主干密集深度圖，且的維度為，其中，表示的通道數(shù)；

27、d6、將和在通道維度上進(jìn)行拼接后，獲得新的第g個密集深度圖。

28、進(jìn)一步的，所述d2包括：

29、當(dāng)z=1時，將作為第z-1個模塊的輸入并輸出殘差特征圖，并輸入第一主干的第z級霧卷積層中，從而利用式(1)得到第g個第z級全局對比度特征：

30、(1)

31、式(1)中，表示上位置為的像素值，表示上位置為的像素值；

32、第z級霧卷積層將劃分為個圖像塊，并利用式(2)得到第g個第z級第d個圖像塊的局部對比度特征：

33、(2)

34、式(2)中，表示被劃分為圖像塊的行數(shù)，表示被劃分為圖像塊的列數(shù)，且m=n；表示每一個圖像塊的高度，且，表示每一個圖像塊的寬度，且；表示上位置為的像素值；表示上位置為的像素值；

35、第z級霧卷積層利用式(3)得到第g個第z級全局熵特征：

36、(3)

37、式(3)中，表示中像素的亮度值；表示在位置處，亮度值為的概率，并有：

38、(4)

39、式(4)中，為狄拉克函數(shù)；

40、第z級霧卷積層利用式(5)得到第g個第z級原始圖像特征：

41、(5)

42、式(5)中，表示周邊環(huán)境固有大氣光a映射的的圖像背景；表示中的任一像素點(diǎn)的位置，為位置的透射率，并有：

43、(6)

44、式(6)中，表示位置處的場景深度，為消光系數(shù)預(yù)測模型輸出的霧天圖像的消光系數(shù)；

45、當(dāng)z=2,3,…,z時，將作為第z級殘差塊的輸入，并得到相應(yīng)輸出的第g個殘差特征圖；從而由第z級殘差塊得到最終輸出的第g個殘差特征圖，且的維度為，其中，表示的通道數(shù)。

46、進(jìn)一步的，所述d3包括：

47、當(dāng)z=1時，第z級反卷積層對進(jìn)行處理，輸出第g個第z級反卷積特征圖：

48、當(dāng)z=2,3,…,z時，所述第z級反卷積層利用式(7)對第g個第z-1級反卷積特征圖和第g個第z-z級殘差特征圖進(jìn)行殘差連接處理，并得到第g個第z級反卷積特征圖；從而由第z級反卷積層得到最終輸出的第g個第z級反卷積特征圖，且的維度為，其中，表示的高度，表示的寬度，表示的通道數(shù)；

49、(7)。

50、本發(fā)明一種電子設(shè)備，包括存儲器以及處理器的特點(diǎn)在于，所述存儲器用于存儲支持處理器執(zhí)行所述一種霧天場景下的圖像深度補(bǔ)全方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

51、本發(fā)明一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序的特點(diǎn)在于，?所述計算機(jī)程序被處理器運(yùn)行時執(zhí)行所述一種霧天場景下的圖像深度補(bǔ)全方法的步驟。

52、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

53、1.本發(fā)明針對激光雷達(dá)采集生成的深度圖較為稀疏，并且，在霧天場景下，由于霧對激光信號的散射和衰減，以及散射造成的信號噪聲增加，會加重激光雷達(dá)采集生成的深度圖的稀疏性的問題，提出了一種霧天場景下的圖像深度補(bǔ)全方法：通過建立雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)，使用圖像引導(dǎo)深度補(bǔ)全方法，對原始稀疏深度圖進(jìn)行補(bǔ)全，從而生成密集深度圖。此方法能夠利用rgb圖像豐富的紋理信息引導(dǎo)稀疏深度圖的補(bǔ)全，從而大幅提升稀疏深度圖的實(shí)用性和適用范圍，為計算機(jī)視覺、自動駕駛、機(jī)器人導(dǎo)航等領(lǐng)域提供更準(zhǔn)確和完整的三維信息。

54、2.?本發(fā)明通過使用霧天大氣散射模型將晴天圖像模擬為霧天圖像，從而生成霧天模擬圖像集。這種模擬方法，相對于直接采集霧天場景下的圖像，具有成本低、效率高、參數(shù)可控、場景一致性好、安全性高等優(yōu)勢。此方法能夠適用于大規(guī)模數(shù)據(jù)集的生成和模型的魯棒性測試，能夠在實(shí)際采集困難或不安全的情況下，為研究和應(yīng)用提供有力支持。