本技術(shù)涉及圖像處理,尤其涉及一種圖像增強(qiáng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、?隨著汽車(chē)電動(dòng)化和智能化的發(fā)展,高階輔助駕駛與無(wú)人駕駛越來(lái)越備受關(guān)注,在高階輔助駕駛與無(wú)人駕駛過(guò)程中,需要對(duì)車(chē)身周?chē)沫h(huán)境信息進(jìn)行采集。然而在使用車(chē)載攝像頭采集汽車(chē)周?chē)鷪D像時(shí),由于光照、天氣等因素,可能使得采集到的圖像不夠清晰,導(dǎo)致車(chē)輛無(wú)法準(zhǔn)確感知周?chē)h(huán)境信息,從而影響行車(chē)安全。因此,如何提高車(chē)載攝像頭所采集的圖像的清晰度,成為亟待解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供了一種圖像增強(qiáng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),以解決現(xiàn)有技術(shù)中車(chē)載攝像頭所采集的汽車(chē)周?chē)鷪D像因光照、天氣等因素影響,導(dǎo)致清晰度較低的問(wèn)題。
2、第一方面,本技術(shù)提供了一種圖像增強(qiáng)方法,所述方法包括:
3、獲取原始彩色圖像,并對(duì)所述原始彩色圖像進(jìn)行顏色空間轉(zhuǎn)換,得到轉(zhuǎn)換后圖像;
4、計(jì)算所述轉(zhuǎn)換后圖像對(duì)應(yīng)的梯度矩陣和增強(qiáng)信息矩陣,并基于所述梯度矩陣和所述增強(qiáng)信息矩陣,確定出所述轉(zhuǎn)換后圖像對(duì)應(yīng)的增強(qiáng)能量矩陣;
5、對(duì)所述轉(zhuǎn)換后圖像進(jìn)行高斯濾波,得到濾波圖,并基于所述轉(zhuǎn)換后圖像與所述濾波圖,得到掩模能量矩陣;
6、基于所述掩模能量矩陣和所述增強(qiáng)能量矩陣,對(duì)所述轉(zhuǎn)換后圖像中的邊緣區(qū)域和細(xì)節(jié)區(qū)域進(jìn)行能量增強(qiáng),得到目標(biāo)中間圖像;
7、對(duì)所述目標(biāo)中間圖像進(jìn)行顏色空間轉(zhuǎn)換,得到能量增強(qiáng)后的彩色圖像。
8、可選地,所述計(jì)算所述轉(zhuǎn)換后圖像對(duì)應(yīng)的梯度矩陣和增強(qiáng)信息矩陣,包括:
9、分別計(jì)算所述轉(zhuǎn)換后圖像中各像素點(diǎn)對(duì)應(yīng)的水平梯度信息和垂直梯度信息,并基于各像素點(diǎn)對(duì)應(yīng)的水平梯度信息和垂直梯度信息,得到所述轉(zhuǎn)換后圖像對(duì)應(yīng)的梯度矩陣,其中,所述梯度矩陣中的各元素用于表征各像素點(diǎn)對(duì)應(yīng)的綜合梯度信息,各像素點(diǎn)對(duì)應(yīng)的綜合梯度信息是根據(jù)各像素點(diǎn)對(duì)應(yīng)的水平梯度信息和垂直梯度信息綜合確定得到;
10、分別計(jì)算所述轉(zhuǎn)換后圖像中各像素點(diǎn)對(duì)應(yīng)的鄰域平均像素值,并將各像素點(diǎn)對(duì)應(yīng)的鄰域平均像素值與各像素點(diǎn)對(duì)應(yīng)的像素值進(jìn)行比較,根據(jù)各像素點(diǎn)的比較結(jié)果,得到所述轉(zhuǎn)換后圖像對(duì)應(yīng)的增強(qiáng)信息矩陣,其中,所述增強(qiáng)信息矩陣中的各元素用于表征各像素點(diǎn)的增強(qiáng)信息,各像素點(diǎn)的增強(qiáng)信息是根據(jù)各像素點(diǎn)的比較結(jié)果確定得到。
11、可選地,所述各像素點(diǎn)的增強(qiáng)信息采用如下公式進(jìn)行表示:
12、;
13、其中,表示所述轉(zhuǎn)換后圖像中的第i行第j列的像素點(diǎn)的增強(qiáng)信息,表示所述轉(zhuǎn)換后圖像中的第i行第j列的像素點(diǎn)的像素值,表示增強(qiáng)信息強(qiáng)度的權(quán)重系數(shù),表示第i行第j列的像素點(diǎn)的鄰域,所述鄰域的大小為s×s,表示所述鄰域中的任一像素點(diǎn),表示所述鄰域內(nèi)各像素點(diǎn)的像素值之和。
14、可選地,所述基于所述梯度矩陣和所述增強(qiáng)信息矩陣,確定出所述轉(zhuǎn)換后圖像對(duì)應(yīng)的增強(qiáng)能量矩陣,包括:
15、基于所述增強(qiáng)信息矩陣,確定出預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的脈沖值,其中,所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與所述轉(zhuǎn)換后圖像中的像素點(diǎn)一一對(duì)應(yīng);
16、獲取所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的脈沖值閾值,并基于各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的脈沖值和閾值,確定出各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的點(diǎn)火狀態(tài),其中,所述點(diǎn)火狀態(tài)包括點(diǎn)火成功和點(diǎn)火失敗,其中,滿(mǎn)足所述點(diǎn)火成功的條件是脈沖值大于或等于相等時(shí)刻對(duì)應(yīng)的閾值,滿(mǎn)足所述點(diǎn)火失敗的條件是脈沖值小于相等時(shí)刻對(duì)應(yīng)的閾值;
17、基于各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的點(diǎn)火狀態(tài)和各像素點(diǎn)在不同時(shí)刻對(duì)應(yīng)的增強(qiáng)能量,得到所述增強(qiáng)能量矩陣,其中,各像素點(diǎn)在不同時(shí)刻對(duì)應(yīng)的增強(qiáng)能量是基于所述梯度矩陣計(jì)算得到。
18、可選地,所述基于所述增強(qiáng)信息矩陣,確定出預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的脈沖值,包括:
19、基于所述增強(qiáng)信息矩陣,確定所述轉(zhuǎn)換后圖像中各像素點(diǎn)對(duì)應(yīng)的增強(qiáng)信息;
20、獲取所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元在上一時(shí)刻對(duì)應(yīng)的脈沖值、各神經(jīng)元每次點(diǎn)火需要消耗的脈沖值、各神經(jīng)元與鄰域神經(jīng)元之間的權(quán)重系數(shù)、各神經(jīng)元從鄰域神經(jīng)元接收到的脈沖值,以及所述濾波圖中各像素點(diǎn)的像素值;
21、判斷所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元在點(diǎn)火后所產(chǎn)生的脈沖值是否大于預(yù)設(shè)閾值;
22、在所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中存在點(diǎn)火后所產(chǎn)生的脈沖值大于所述預(yù)設(shè)閾值的第一類(lèi)神經(jīng)元的情況下,基于各所述第一類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的增強(qiáng)信息、各所述第一類(lèi)神經(jīng)元在上一時(shí)刻對(duì)應(yīng)的脈沖值、各所述第一類(lèi)神經(jīng)元每次點(diǎn)火需要消耗的脈沖值、各所述第一類(lèi)神經(jīng)元與鄰域神經(jīng)元之間的權(quán)重系數(shù)、各所述第一類(lèi)神經(jīng)元從鄰域神經(jīng)元接收到的脈沖值,以及所述濾波圖中各所述第一類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的像素值,確定各所述第一類(lèi)神經(jīng)元在當(dāng)前時(shí)刻對(duì)應(yīng)的脈沖值;
23、在所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中存在點(diǎn)火后所產(chǎn)生的脈沖值小于或等于所述預(yù)設(shè)閾值的第二類(lèi)神經(jīng)元的情況下,基于各所述第二類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的增強(qiáng)信息、各所述第二類(lèi)神經(jīng)元在上一時(shí)刻對(duì)應(yīng)的脈沖值、各所述第二類(lèi)神經(jīng)元與鄰域神經(jīng)元之間的權(quán)重系數(shù)、各所述第二類(lèi)神經(jīng)元從鄰域神經(jīng)元接收到的脈沖值,以及各所述濾波圖中所述第二類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的像素值,確定所述第二類(lèi)神經(jīng)元在當(dāng)前時(shí)刻對(duì)應(yīng)的脈沖值。
24、可選地,所述基于各神經(jīng)元在不同時(shí)刻對(duì)應(yīng)的點(diǎn)火狀態(tài)和各像素點(diǎn)在不同時(shí)刻對(duì)應(yīng)的增強(qiáng)能量,得到所述增強(qiáng)能量矩陣,包括:
25、基于所述梯度矩陣,確定所述轉(zhuǎn)換后圖像中各像素點(diǎn)對(duì)應(yīng)的目標(biāo)梯度方向;
26、基于各像素點(diǎn)對(duì)應(yīng)的目標(biāo)梯度方向,確定各像素點(diǎn)在各自鄰域的目標(biāo)梯度方向上的多個(gè)鄰域像素點(diǎn)所對(duì)應(yīng)的像素值與權(quán)重值的加權(quán)求和結(jié)果,其中,各鄰域像素點(diǎn)所對(duì)應(yīng)的權(quán)重值與目標(biāo)梯度方向?qū)?yīng)的卷積算子的值一一對(duì)應(yīng);
27、在所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中存在點(diǎn)火狀態(tài)為點(diǎn)火成功的第三類(lèi)神經(jīng)元的情況下,將各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的加權(quán)求和結(jié)果確定為各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的權(quán)重系數(shù),并基于各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的權(quán)重系數(shù)和各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的增強(qiáng)信息,確定出各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的增強(qiáng)能量;
28、在所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中存在點(diǎn)火狀態(tài)為點(diǎn)火失敗的第四類(lèi)神經(jīng)元的情況下,將各所述第四類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)的增強(qiáng)能量設(shè)置為零;
29、根據(jù)各所述第三類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)對(duì)應(yīng)的增強(qiáng)能量和各所述第四類(lèi)神經(jīng)元所對(duì)應(yīng)的像素點(diǎn)對(duì)應(yīng)的增強(qiáng)能量,得到所述增強(qiáng)能量矩陣。
30、可選地,所述基于所述掩模能量矩陣和所述增強(qiáng)能量矩陣,對(duì)所述轉(zhuǎn)換后圖像中的邊緣區(qū)域和細(xì)節(jié)區(qū)域進(jìn)行能量增強(qiáng),得到目標(biāo)中間圖像,包括:
31、計(jì)算所述掩模能量矩陣和所述增強(qiáng)能量矩陣的乘積,并根據(jù)計(jì)算結(jié)果得到初始中間圖像,其中,所述初始中間圖像中僅包括所述轉(zhuǎn)換后圖像中的能量增強(qiáng)后的邊緣區(qū)域和細(xì)節(jié)區(qū)域的圖像;
32、將所述初始中間圖像和所述轉(zhuǎn)換后圖像進(jìn)行疊加,得到所述目標(biāo)中間圖像,其中,所述目標(biāo)中間圖像包括所述轉(zhuǎn)換后圖像中的能量增強(qiáng)后的邊緣區(qū)域和細(xì)節(jié)區(qū)域的圖像,以及未進(jìn)行能量增強(qiáng)的平坦區(qū)域的圖像。
33、第二方面,本技術(shù)還提供了一種圖像增強(qiáng)裝置,所述裝置包括:
34、第一轉(zhuǎn)換模塊,用于獲取原始彩色圖像,并對(duì)所述原始彩色圖像進(jìn)行顏色空間轉(zhuǎn)換,得到轉(zhuǎn)換后圖像;
35、確定模塊,用于計(jì)算所述轉(zhuǎn)換后圖像對(duì)應(yīng)的梯度矩陣和增強(qiáng)信息矩陣,并基于所述梯度矩陣和所述增強(qiáng)信息矩陣,確定出所述轉(zhuǎn)換后圖像對(duì)應(yīng)的增強(qiáng)能量矩陣;
36、濾波模塊,用于對(duì)所述轉(zhuǎn)換后圖像進(jìn)行高斯濾波,得到濾波圖,并基于所述轉(zhuǎn)換后圖像與所述濾波圖,得到掩模能量矩陣;
37、能量增強(qiáng)模塊,用于基于所述掩模能量矩陣和所述增強(qiáng)能量矩陣,對(duì)所述轉(zhuǎn)換后圖像中的邊緣區(qū)域和細(xì)節(jié)區(qū)域進(jìn)行能量增強(qiáng),得到目標(biāo)中間圖像;
38、第二轉(zhuǎn)換模塊,用于對(duì)所述目標(biāo)中間圖像進(jìn)行顏色空間轉(zhuǎn)換,得到能量增強(qiáng)后的彩色圖像。
39、第三方面,本技術(shù)還提供了一種電子設(shè)備,包括處理器、通信接口、存儲(chǔ)器和通信總線(xiàn),其中,處理器,通信接口,存儲(chǔ)器通過(guò)通信總線(xiàn)完成相互間的通信;
40、存儲(chǔ)器,用于存放計(jì)算機(jī)程序;
41、處理器,用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí),實(shí)現(xiàn)第一方面中任一項(xiàng)所述的圖像增強(qiáng)方法。
42、第四方面,本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任一項(xiàng)所述的圖像增強(qiáng)方法。
43、本技術(shù)提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn):本技術(shù)提供的該方法,通過(guò)獲取原始彩色圖像,并對(duì)所述原始彩色圖像進(jìn)行顏色空間轉(zhuǎn)換,得到轉(zhuǎn)換后圖像;計(jì)算所述轉(zhuǎn)換后圖像對(duì)應(yīng)的梯度矩陣和增強(qiáng)信息矩陣,并基于所述梯度矩陣和所述增強(qiáng)信息矩陣,確定出所述轉(zhuǎn)換后圖像對(duì)應(yīng)的增強(qiáng)能量矩陣;對(duì)所述轉(zhuǎn)換后圖像進(jìn)行高斯濾波,得到濾波圖,并基于所述轉(zhuǎn)換后圖像與所述濾波圖,得到掩模能量矩陣;基于所述掩模能量矩陣和所述增強(qiáng)能量矩陣,對(duì)所述轉(zhuǎn)換后圖像中的邊緣區(qū)域和細(xì)節(jié)區(qū)域進(jìn)行能量增強(qiáng),得到目標(biāo)中間圖像;對(duì)所述目標(biāo)中間圖像進(jìn)行顏色空間轉(zhuǎn)換,得到能量增強(qiáng)后的彩色圖像。通過(guò)上述方式,可以利用對(duì)原始彩色圖像進(jìn)行顏色空間轉(zhuǎn)換后得到的轉(zhuǎn)換后圖像的梯度矩陣和增強(qiáng)信息矩陣,得到增強(qiáng)能量矩陣,然后再基于轉(zhuǎn)換后圖像的掩模能量矩陣和增強(qiáng)能量矩陣,對(duì)轉(zhuǎn)換后圖像中的邊緣區(qū)域和細(xì)節(jié)區(qū)域進(jìn)行能量增強(qiáng),這樣,可以有效提高原始彩色圖像的清晰度,進(jìn)而提高了行車(chē)安全性。