專利名稱：彩色圖像去霧處理方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像處理領域，更具體地說，涉及彩色圖像去霧處理方法和系統(tǒng)。
背景技術：
在霧、霾等天氣條件下，大氣中懸浮的大量微小水滴和氣溶膠的散射作用會使視 頻/圖像嚴重降質(zhì)(請參見圖1)，因此，需要對降質(zhì)視頻/圖像進行處理，恢復出真實場景 圖像。降質(zhì)視頻與降質(zhì)圖像的處理基本相同，這是因為視頻是由多幀圖像組成，只要分別對 組成視頻的每一幀圖像進行處理，即可實現(xiàn)對降質(zhì)視頻的處理。而一幅在霧、霾等天氣條件下拍攝的降質(zhì)圖像可視為由天空亮度、真實場景圖像 和大氣耗散圖像共同作用的結(jié)果，且三者相互間沒有關聯(lián)。這就為降質(zhì)圖像/視頻真實場 景的復原提供了契機。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明實施例提供了彩色圖像去霧處理方法和系統(tǒng)，以實現(xiàn)降質(zhì)視頻/ 圖像的真實場景復原。為了實現(xiàn)上述目的，本發(fā)明實施例提供了如下方案一種彩色圖像去霧處理方法，包括獲取降質(zhì)圖像各像素點的顏色分量；對所述降質(zhì)圖像的天空亮度的各顏色分量進行估值，得到天空亮度顏色分量估計利用所述&和所述各像素點的顏色分量對上述降質(zhì)圖像進行處理，得到粗估計的 大氣耗散圖像；對所述粗估計的大氣耗散圖像進行雙邊濾波，得到經(jīng)雙邊濾波處理的大氣耗散圖 像；利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原處理。優(yōu)選的，所述利用和所述各像素點的顏色分量對所述降質(zhì)圖像進行處理，得到 粗估計的大氣耗散圖像的具體實現(xiàn)方式為將各像素點的顏色分量I。(x)與&的比值與1之間的最小值，作為相應像素點經(jīng)
校正后的顏色分量/〖(Χ),其中，X表示所述降質(zhì)圖像中任一像素點的空間坐標；將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點對應的大氣耗散粗 估計值，由所述大氣耗散粗估計值得到對應的粗估計的大氣耗散圖像。優(yōu)選的，所述利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原 處理的具體實現(xiàn)方式為 利用公式代(Λ)= cV ‘ ； 7對所述降質(zhì)圖像進行去霧還原處理，其中，
1-Γ⑷
P c(x)表示場景反照率顏色分量，盧(JC)表示經(jīng)雙邊濾波處理的大氣耗散圖像的各像素點 所對應的大氣耗散值，K的取值范圍為0. 9 1。優(yōu)選的，所述對所述降質(zhì)圖像的天空亮度進行估值，得到天空亮度顏色分量估計 值義的具體實現(xiàn)方式為分別以所述降質(zhì)圖像中每一像素點為中心設定其鄰域，選取位于所述鄰域范圍內(nèi) 的各像素點的顏色分量中的最小值，作為所述中心的中心最小值；對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中心確定包括所述中心的圖 像塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的比例；將邊緣所包含的像素數(shù)所占的比例不大于預設平坦閾值，且中心最小值不小于預 設亮度閾值的像素點所組成的區(qū)域確定為候選天空區(qū)域；當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所述降質(zhì)圖像上方的候選天空區(qū) 域確定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為天空區(qū)域；選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值作為相應的天空亮度顏色分量
估計值義。優(yōu)選的，所述對所述粗估計的大氣耗散圖像進行雙邊濾波的具體實現(xiàn)方式為對 所述粗估計的大氣耗散圖像進行高斯型雙邊濾波。優(yōu)選的，所述預設平坦閾值為0. 001。優(yōu)選的，所述預設亮度閾值為所述中心最小值中的最大值的95%。一種彩色圖像去霧處理系統(tǒng)，包括顏色分量獲取單元，用于獲取降質(zhì)圖像各像素點的顏色分量；天空亮度估值單元，用于對所述降質(zhì)圖像天空亮度的各顏色分量進行估值，得到
天空亮度顏色分量估計值；大氣耗散圖像粗估計單元，用于利用所述&和所述各像素點的顏色分量對所述降 質(zhì)圖像進行處理，得到粗估計的大氣耗散圖像；大氣耗散圖像細估計單元，用于對所述粗估計的大氣耗散圖像進行雙邊濾波，得 到經(jīng)雙邊濾波處理的大氣耗散圖像；反照率恢復單元，用于經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧 還原處理。優(yōu)選的，所述大氣耗散圖像粗估計單元包括校正子單元，用于將各像素點的顏色分量Ic(X)與義的比值與1之間的最小值，作
為相應像素點經(jīng)校正后的顏色分量，其中，X表示所述降質(zhì)圖像中任一像素點的空間 坐標；粗估計子單元，用于將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點 對應的大氣耗散粗估計值，由所述大氣耗散粗估計值得到對應的粗估計的大氣耗散圖像。
5
優(yōu)選的，所述天空亮度估值單元包括中心最小值獲取子單元，用于分別以所述降質(zhì)圖像中每一像素點為中心設定其鄰 域，選取位于所述鄰域范圍內(nèi)的各像素點的顏色分量中的最小值，作為所述中心的中心最 小值；比例獲取子單元，用于對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中心 確定包括所述中心的圖像塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的比 例；候選天空區(qū)域獲取子單元，用于將邊緣所包含的像素數(shù)所占的比例不大于預設平 坦閾值，且中心最小值不小于預設亮度閾值的像素點所組成的區(qū)域確定為候選天空區(qū)域；天空區(qū)域選取子單元，用于當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所述 降質(zhì)圖像上方的候選天空區(qū)域確定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為天 空區(qū)域；天空亮度值估計子單元，用于選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值作 為相應的天空亮度顏色分量估計值&。可見，本發(fā)明實施例所提供的技術方案對彩色降質(zhì)圖像進行處理得到大氣耗散圖 像，并對天空亮度進行了估計，最后根據(jù)天空亮度估計值以及上述大氣耗散圖像對彩色降 質(zhì)圖像的真實場景圖像進行復原，從而達到了對彩色降質(zhì)視頻/圖像的去霧效果。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。圖1為霧、霾天氣下拍攝的降質(zhì)圖像；圖2為本發(fā)明實施例所提供的彩色圖像去霧處理方法的流程圖；圖3為本發(fā)明實施例所提供的彩色圖像去霧處理方法的另一流程圖；圖4為本發(fā)明實施例所提供的彩色圖像去霧處理方法的又一流程圖；圖5為本發(fā)明實施例所提供的彩色圖像去霧處理方法的又一流程圖；圖6為本發(fā)明實施例所提供的圖1所示圖像的邊緣圖像；圖7為本發(fā)明實施例所提供的彩色圖像去霧處理方法的又一流程圖；圖8為本發(fā)明實施例所提供的去霧處理后的圖像；圖9為圖1所示圖像對應的飽和度分量的直方圖；圖10為圖8所示圖像對應的飽和度分量的直方圖；圖11為圖1所示圖像對應的色調(diào)極坐標直方圖；圖12為圖8所示圖像對應的色調(diào)極坐標直方圖；圖13為本發(fā)明實施例所提供的彩色圖像去霧處理系統(tǒng)結(jié)構示意圖；圖14為本發(fā)明實施例所提供的彩色圖像去霧處理系統(tǒng)另一結(jié)構示意圖；圖15為本發(fā)明實施例所提供的彩色圖像去霧處理系統(tǒng)另一結(jié)構示意圖。
具體實施例方式為了引用和清楚起見，下文中使用的技術名詞、簡寫或縮寫總結(jié)如下景深場景中物體到成像設備之間的距離；連通分量令S代表一幅圖像中像素的子集。如果在S中全部像素之間存在一個 通路，則可以說任兩個像素P和q在S中是連通的。對于S中的任何像素P，S中連通到該 像素的像素集稱為S的連通分量。下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。一幅彩色圖像由多個像素點組成，每一像素點的像素值包括多種顏色分量，即該 像素點在每一顏色通道中都具有灰度值。通常，在霧、霾等天氣條件下窄波段攝像機所拍攝 彩色降質(zhì)圖像I (χ)的單色大氣散射模型可用公式1表示I(X) = Ap (X)e-0d(x)+A(l-e-ed(x))(1)其中，χ表示任一像素點的空間坐標，A表示天空亮度，P (χ)表示χ點的場景反照 率，d(x)表示χ點的景深，β是大氣散射系數(shù)。Ap (x)e-0dW為衰減模型，而A(l-e_ed(x)) 為環(huán)境光模型，二者疊加則為上述單色大氣散射模型。I (χ)包括多個顏色分量，以R(紅)、G(綠)、B (藍)為例，在一幅彩色圖像中，每 一像素點的像素值由不同的RGB顏色分量值決定(如無特殊聲明，以下所有實施例將以RGB 顏色分量為對象對本發(fā)明的技術方案進行闡述)。或者也可以說，每一像素點最終呈現(xiàn)的顏 色由該像素點對應的RGB通道的灰度值(RGB通道的灰度值即為RGB顏色分量值)來共同決 定假定RGB三通道的灰度值的取值范圍為0 255，那么，在某一像素點三個通道的灰度 值相等時，該像素點顯示出的顏色為白色、黑色或灰色。例如，三通道灰度值分別為255 (R)、 255 (G), 255 (B)時，顯示出白色，而三通道的灰度值分別為0 (R)、0 (G)、0 (B)時，顯示出黑 色；當三通道的灰度值分別為255 (R)、0 (G)、0 (B)時，顯示出紅色。上述提及的顏色分量I。(x)可用公式2表示IC(X) =AcP c(X)e-ed(x)+Ac (l-e-0d(x))(2)其中，c表示顏色通道(在本發(fā)明所有描述中，如無特殊聲明，均以c表示顏色通 道)，c = {R，G，B}，A。表示天空亮度的顏色分量，P。(x)表示χ點的場景反照率的顏色分 量。如將l-e_ed(x)用大氣耗散圖像V(X)替代(即V(x) = l-e_ed(x))，則公式1可變換 為公式3:I(x) = Ap (χ) (l_V(x))+AV(x)(3)相應的，公式2可變換為公式4 Ic (x) = Ac P c (χ) (1-V (χ)) +AcV (χ)(4)其中，V(x)是僅關于景深d(χ)的增函數(shù)，0 < V(X) < 1。需要注意的是，公式1至4其成像是灰度圖像，也就是說對彩色圖像的每個顏色分 量單獨處理，因此上述I(x)、A、P (χ)均為三維向量，即在紅、綠、藍三個通道上都有分量， 而d(x)、V(x)為標量，至于Ic(X)、AC、Pc(X)則分別對應上述I(x)、A、P (χ)在某一通道的顏色分量。另外，上述I(x)、I。(x)、d(X)、V(X)、P。(X)以及P (X)，從整幅圖像來講是矩陣， 但對于某個特定點來講，100、1。00、(100、￥00、口 (X)以及Pc(X)又可表示具體的數(shù)值。前已述及，降質(zhì)圖像可視為由天空亮度、真實場景圖像和大氣耗散圖像共同作用 的結(jié)果。上述P (x)(或三通道對應的P。(x))即與真實場景圖像相映射，對降質(zhì)視頻/圖 像的處理，可視為對彩色降質(zhì)圖像中每一像素點對應的P (χ)的取值進行求解的過程。由 于降質(zhì)視頻與降質(zhì)圖像的處理基本相同，因此如無特別聲明，以下所有實施例將以降質(zhì)圖 像處理為對象對本發(fā)明的技術方案進行闡述。本實施例公開了一種彩色圖像去霧處理方法，以實現(xiàn)降質(zhì)視頻/圖像的真實場景復原。參見圖2，上述方法至少包括以下步驟步驟Si、獲取降質(zhì)圖像各像素點的顏色分量Ι。(χ)；對于單個像素點來說，其所對應的R、G、B顏色分量值是確定的。由于圖像是二維 空間，其寬為W個像素，高為H個像素，因此I。(x)中的χ代表矢量，χ也可用(m，η)表示， 其中，0 ^ m^ ff-Ι,Ο彡η彡!1-1，111、11、1、!1均為非負整數(shù)。步驟S2、對降質(zhì)圖像的天空亮度的各顏色分量Α。進行估值，得到天空亮度顏色分 量估計值步驟S3、利用&和上述各像素點的顏色分量I。(x)對上述降質(zhì)圖像進行處理，得到 粗估計的大氣耗散圖像；上述對粗估計的大氣耗散圖像的獲取，可先利用^和上述各像素點的顏色分量 Ic(x)對上述降質(zhì)圖像進行處理以獲取粗估計的大氣傳播圖像t(x)，由于大氣耗散圖像也 可表示為l-t(x)，因此獲取了粗估計的大氣傳播圖像后，只要經(jīng)過簡單轉(zhuǎn)化就可得到粗估 計的大氣傳播圖像。在本發(fā)明以后的實施例中，還將對步驟S3的具體實現(xiàn)進行詳細描述。步驟S4、對所述粗估計的大氣耗散圖像進行雙邊濾波，得到經(jīng)雙邊濾波處理的大 氣耗散圖像；而經(jīng)雙邊濾波處理的大氣耗散圖像，可用各像素點對應的大氣耗散顏色分量 浐(X)來表示。步驟S5、利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原處理?？梢姡景l(fā)明實施例所提供的技術方案對彩色降質(zhì)圖像進行處理得到大氣耗散圖 像，并對天空亮度進行了估計，最后根據(jù)天空亮度估計值以及上述大氣耗散圖像對彩色降 質(zhì)圖像的真實場景圖像進行復原，從而達到了對彩色降質(zhì)視頻/圖像的去霧效果。另外，步 驟S4中的雙邊濾波，可對與當前像素點位置相近、且數(shù)值相差不大的像素點賦以較大的權 重，而對數(shù)值相差較大的像素點，盡管位置上很近也賦以較小的權重，從而可有效地抑制物 體邊緣處由于景深突變而引入的Halo效應。在本發(fā)明其他實施例中，參見圖3，以上實施例中的步驟S3具體實現(xiàn)步驟可為步驟S31、將各像素點的顏色分量與又的比值(Ic{x)/Ac )與1之間的最小值作 為相應像素點經(jīng)校正后的顏色分量< (^)；
8
因而，公式4可以簡化為公式5
(5)步驟S32、將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點對應的大 氣耗散粗估計值f (JC)。由于霧、霾的存在，隨著場景到成像設備距離的增加，捕獲的圖像像素值逐漸變 亮，因此，圖像中的霧可用來作為估計大氣耗散圖像V(X)的依據(jù)。大氣耗散圖像V(X)受兩 個條件的約束1)1 ≥ V(X)≥0;即V(X)為正值；2) V(X)≤ ((I)^V(X)不大于((X)
中的最小值。因此，可使用/^X)中的最小值來粗略估計大氣耗散圖像V(X)在各像素點的 取值。舉例來說，假設6個像素點的顏色分量I。(x)的取值如下表2所示表2 當天空亮度A。被估計為(230，250，230)時，《(Χ)的取值如下表3 表3 由表3可見，括號中大于1的值(1.04,1. 02,1. 11)都校正到1。相應的，的取值如下表4所示表 4 而在本實施例中，步驟S5的具體實現(xiàn)方式可為步驟S51、利用公式代
對p。(x)進行求解。由于步驟S31中將/; (JC)中的最小值作為對應的f (JC)的值，因此，和斤(JC) 的差值很可能接近0，而天空區(qū)域?qū)? -斤(X)趨于，在這種情形下，直接使用由公式5
變形獲得的
來恢復場景反照率會導致天空區(qū)域的顏色嚴重失真。 v ‘ I-F(jc)
為了避免0/0型的不確定值(或者非常小的兩數(shù)相除)，參見圖4，在本發(fā)明另一實施例中， 步驟S5的具體實現(xiàn)方式可為步驟S52、以
對pc(x)進行求解。與步驟S51相比，步驟S52的公式中引入一個因子κ。κ的取值范圍為0.9 1， 其取值依賴于上述降質(zhì)圖像中天空區(qū)域所占的比例。平坦的天空區(qū)域由于壓縮和鏡頭光學 結(jié)構等因素可能造成偽輪廓，因此，為了圖像的顯示效果，天空區(qū)域越大，κ取值應越小。以上實施例主要對大氣耗散值的估計進行了介紹，下面的實施例將對Α。的估值進 行介紹。在本實施例中，參見圖5，步驟S2具體可以以下步驟加以實現(xiàn)步驟S21、分別以所述降質(zhì)圖像中每一像素點為中心設定其鄰域，選取位于所述鄰 域范圍內(nèi)的各像素點的顏色分量中的最小值，作為所述中心的中心最小值IminOO ；步驟S21可用公式6來表示 其中，Q1(X)表示以χ所表示像素點為中心的鄰域，在本實施例中，Q1(X)為一正 方形區(qū)域，該正方形區(qū)域的邊長可等于上述W和H中最小值的0. 025。而在求取Imin(X)時，存在三種方式方式一、先對鄰域范圍內(nèi)三個通道分別選取 三個最小值，再從上述三個最小值中選取出最小的數(shù)值作為中心最小值；方式二、先選出領 域范圍內(nèi)每一像素點的最小顏色分量，再從上述多個最小顏色分量中選取出最小的數(shù)值作 為中心最小值。方式三、不分通道，直接從多個灰度值中選擇最小的數(shù)值作為中心最小值?，F(xiàn)對方式一舉例加以說明，假定Q1(X)內(nèi)有9個像素點，各個像素點的顏色分量 Ic(X)如下表5所示表 5 在求取中心最小值，既可分別選出RGB通道中各自的最小值-30、11和33，再從 30、11和33中選取11作為中心的中心最小值。步驟S22、對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中心確定包括所述 中心的圖像塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的比例Nrate(X)；步驟S22的具體實現(xiàn)方式為對所述降質(zhì)圖像進行邊緣檢測(對于圖1所示的降質(zhì)圖像，其邊緣檢測圖像可參 見圖6)，以χ點為例，以χ點為中心設定鄰域Ω2(χ)。Ω2(χ)即為以χ點為中心的圖像塊， 統(tǒng)計在Ω2(χ)內(nèi)檢測出的邊緣所包含的像素點數(shù)與整個Ω2(χ)內(nèi)所包含像素點總數(shù)之間 的比例Nedge(x)。Ω2(χ)與上述Q1(X)所包括的像素點數(shù)可以相同也可以不同，在本實施 例中，Ω2(χ)和Q1(X)中所包括的像素點數(shù)相同。本領域技術人員可根據(jù)需要進行靈活設 計，在此不作贅述。在求取各像素點的Nrafe(X)時，既可按一定順序?qū)蒂|(zhì)圖像的所有像素點對應的 Nedge(X)進行計算，也可以同時對多個像素點進行并行處理，以縮短處理時間。對某一圖像塊來說，其邊緣表明圖像塊內(nèi)部各像素點的灰度值存在較大的差異， 而一圖像塊檢測出的邊緣越多，說明其灰度越不平坦。因此，Nedge(X)可反映出圖像塊內(nèi)的 灰度平坦性，Nedge(X)越大，說明該圖像塊的灰度平坦性越差。步驟S23、將邊緣像素數(shù)所占的比例不大于預設平坦閾值，且中心最小值不小于預 設亮度閾值的像素點所組成的區(qū)域確定為候選天空區(qū)域；步驟S24、當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所述降質(zhì)圖像上方的候 選天空區(qū)域確定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為天空區(qū)域；步驟S25、選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值作為Α。的估計值&?，F(xiàn)有圖像處理技術中，一般直接用最亮的像素點對應的灰度值來估計A。，這種估 計易受到高亮度孤立點或白色物體的影響，從而導致求解出的P。(X)與真實場景圖像對應 的實際場景反照率存在較大的偏差。在圖像中，天空具有灰度平坦、亮度較高，并且一般位 于圖像上方的特性。在本發(fā)明實施例中，對天空區(qū)域的選取亦遵循了上述特性候選天空區(qū) 域內(nèi)各像素點的中心最小值均不小于預設亮度閾值，也即候選天空區(qū)域內(nèi)各像素點的灰度 值(即亮度)的均值都較高，遵循了天空亮度較高的特性；而候選天空區(qū)域的邊緣像素數(shù)所 占的比例不大于預設平坦閾值，則遵循了天空灰度平坦的特性。在選取過程中，高亮度孤立 點已經(jīng)排除在選擇之列，也在一定程度上減少了將白色物體誤當作天空區(qū)域的機率；而當 上述即候選天空區(qū)域為多個時，最接近降質(zhì)圖像上方的即候選天空區(qū)域被最終確定為天空 區(qū)域，則遵循了天空一般位于圖像上方的特性，進一步降低誤檢的概率。需要指出的是，步驟S21中對Q1(X)的選取，還可將上述W和H中最小值除以80 并取整得到r，使用2r+l作為正方形區(qū)域的邊長。以像素數(shù)為320X240的彩色圖像為例， 可以χ所表示像素點為中心畫一邊長為7(240/80 = 3)的正方形區(qū)域，該正方形區(qū)域即為 鄰域Q1(X)。而Q1(X)的選取將影響后續(xù)對候選天空區(qū)域的判定。這是因為，如果Q1(X)
11的范圍大于實際天空區(qū)域的范圍，那么該領域內(nèi)的中心最小值將會偏低，從而導致其小于 預設亮度閾值被過濾掉。一般情況下，Q1(X)的最小邊長為3個像素點所占的長度，也即在 鄰域內(nèi)至少有9個像素點。當然，Q1(X)的邊長依實際要求還可有其他的選擇，在具體實現(xiàn) 時，本領域技術人員可進行靈活設計，只要盡可能避免誤選和漏選即可，在此不作贅述。本領域普通技術人員可以理解上述所有實施例方法中的全部或部分流程，是可以 通過計算機程序來指令相關的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì) 中，所述程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為 磁碟、光盤、只讀存儲記憶體(Read-Only Memory,ROM)或隨機存儲記憶體(Random Access Memory, RAM)等。下面將以基于計算機的視頻處理為例對本發(fā)明公開的去霧處理方法進行更詳細 的闡述。參見圖7，本實施例所提供的去霧處理方法包括步驟SlOl 從彩色降質(zhì)的視頻序列中讀取一幀待處理的圖像；步驟S102、獲取該幀圖像中三基色顏色分量I。(x)；步驟S103、獲取該幀圖像中每一像素點的中心最小值Imin(X),其中， 在本實施例中，對Imin(X)的求取，是先選出領域范圍內(nèi)每一像素點的最小顏色分 量，再從上述多個最小顏色分量中選取出最小的數(shù)值作為中心最小值。現(xiàn)舉一例加以說明，假定Q1(X)內(nèi)有9個像素點，各個像素點的顏色分量如上表5 所示，則先選出各像素點的最小顏色分量(請參見下表6)表6 然后從上表6中選出最小的數(shù)值11作為中心最小值。步驟S104、將該幀圖像轉(zhuǎn)換為灰度圖像，利用Carmy算子進行邊緣檢測，對檢測出 的邊緣圖像進行分塊統(tǒng)計，計算各圖像塊中邊緣像素數(shù)所占的比例，記為Nrate(X)；步驟S105、將邊緣像素數(shù)所占的比例Nedge(X)不大于預設平坦閾值Tp，且中心最小 值Imin(X)不小于預設亮度閾值Tv的像素點所組成的區(qū)域確定為候選天空區(qū)域；在本實施例中，Tv為降質(zhì)圖像中所有像素點的中心最小值中的最大值的95%，Tp 為 0. 001。在具體實現(xiàn)時，計算機先對隊dge(x)不大于Tp的像素點標為1，而對隊大于 Tp的像素點標為0，得到二值化圖像Si。然后，對Imin(X)不小于Tv的像素點標為1，而對 Ifflin(X)小于Tv的像素點標為0，得到二值化圖像S2。再將S1與S2進行與操作，得到二值化 圖像S3。二值化圖像S3中標1的各像素點所組成區(qū)域即為候選天空區(qū)域。步驟S106、對候選天空區(qū)域標記連通分量；一個候選天空區(qū)域?qū)粋€連通分量，計算機對步驟S105中的二值化圖像S3中 的連通分量進行標記，以便于后續(xù)的掃描識別。
12
在實際中，對連通分量進行標記的目的是方便計算機對不同的連通分量進行識 別，一般情況下，可將二值化值為1的候選天空區(qū)域?qū)倪B通分量，依次標記為1，2，…， η，η表示連通分量的個數(shù)。步驟S107、選取從該幀圖像上方向下掃描到的第一個帶標記的連通分量作為天空 區(qū)域，從該天空區(qū)域?qū)母黝伾至恐羞x取最大值作為Α。的估計值i ；也即，先分別選出天空區(qū)域內(nèi)R、G、B通道各自的最大灰度值，將其作為A。的估計值為。S108、進行大氣耗散圖像的粗估計取/e(JC)/又與1之間的最小值作為校正后 的顏色分量,并將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點對應的 f (JC) (f (JC)表示的圖像為灰度圖像)； S109、進行大氣耗散圖像的細估計細估計是對經(jīng)步驟S108粗估計后的大氣耗散圖像進行雙邊濾波平滑處理。雙邊 濾波是一種邊緣保持的低通或平滑濾波。本實施例主要對經(jīng)粗估計后的大氣耗散圖像進行 了高斯型雙邊濾波，以得到濾波后的大氣耗散值P(JC)。步驟S109可用公式7: 來實現(xiàn)，其中，x、y表示像素點的空間坐標，Gr0i和為兩個高斯函數(shù)，s為空間域， R為強度域(即顏色分量域/灰度值域)，O s為空間域高斯函數(shù)的尺寸，σ ^為強度域高斯
函數(shù)的尺度，高斯函數(shù)的表達式為Git (x) = , Wp為歸一化系數(shù)， 在本實施例中，利用兩個高斯平滑函數(shù)和分別考察鄰域像素點在位置(空 間域)和數(shù)值(強度域)上與當前像素之間的相似性，獲取鄰域像素點的權重。由于雙邊濾波是一種非線性濾波，空域卷積的快速算法不再適用。本實施例采用 了快速高斯雙邊濾波算法對雙邊濾波加以實現(xiàn)_將雙邊濾波看作是在乘積空間SXR中的 三維高斯濾波，并使用信號處理的框架來計算首先對S和R進行降采樣，構造降采樣后的 解空間，然后在高維空間使用低通濾波。降采樣抵消了高維空間卷積操作的時間開銷，并且 沒有明顯的精度損失。最后通過線性插值來獲得最終的雙邊濾波結(jié)果。當然，上述&,還可用其他函數(shù)代替，比如
Huber 函數(shù)

Tukey 函數(shù) Lorentz 函數(shù) S110、利用公式
對Ρ。(χ)進行求解，以實現(xiàn)對真實場景
的復原(在本實施例中，κ取0.95)。以圖1所示的降質(zhì)圖像為例，本發(fā)明的去霧處理方法 所獲得的去霧圖像可參見圖8。S111、判斷視頻序列中所有的圖像幀是否均處理完畢，如果否，轉(zhuǎn)到步驟S101，否 則，結(jié)束。在霧、霾等天氣條件下拍攝的降質(zhì)圖像/視頻序列，其飽和度和對比度均較真實 場景低。圖像去霧處理方法即需要恢復真實場景的視見度，并同時保持真實場景的真實顏 色。圖9為圖1所示降質(zhì)圖像飽和度分量的直方圖(直方圖中橫坐標為飽和度，縱坐 標是概率)，圖10為利用本發(fā)明所提供的去霧處理方法對圖1所示降質(zhì)圖像進行去霧處理 后得到的圖像(也即圖8所示圖像)飽和度分量的直方圖，經(jīng)對比可以看出，本發(fā)明提供的 去霧處理方法提高了圖像的飽和度，并且，兩幅圖像飽和度分量的直方圖形狀基本保持一 致，這表明該方法同時保持了飽和度的自然特性。而對比度可以通過方差來度量，對RGB圖像進行主成分分析(Principle Component Analysis，PCA)，主成分的特征值就是其方差。圖1所示降質(zhì)圖像的特征值分別 為0. 1597,0. 0019,0. 0003，而利用本發(fā)明所提供的去霧處理方法對其進行處理后得到的圖 像的特征值分別為7. 7401,0. 0103,0. 0084。從上述特征值可以看出，經(jīng)本發(fā)明提供的去霧 處理方法處理后，圖像有更大的方差，從而提高了其對比度。至于顏色保持方面，可以色調(diào)極坐標直方圖加以描述。圖11為圖1所示降質(zhì)圖像 的色調(diào)極坐標直方圖，圖12為利用本發(fā)明所提供的去霧處理方法對圖1所示降質(zhì)圖像進行 處理后得到的圖像(也即圖8所示圖像)的色調(diào)極坐標直方圖。其中，色調(diào)用色度盤上關 于紅色軸的夾角來度量，色調(diào)值以角度表示，其取值范圍為W，360)。色調(diào)極坐標直方圖在 單位圓中表示圖像所有色調(diào)出現(xiàn)的概率。經(jīng)對比可以看出，在飽和度較高的區(qū)域，色調(diào)大體上保持一致。綜上可知，本發(fā)明所提供去霧處理方法在提高飽和度以及對比度的同時還保持了 真實場景的真實顏色。步驟Slll 判斷視頻序列中的所有圖像幀是否處理完畢，如果是，結(jié)束處理，如果 否，轉(zhuǎn)到步驟SlOl。以上所有實施例中所提供的方法均可用于計算機視覺領域。計算機視覺是一門研 究如何使機器“看”的科學，更進一步的說，就是指用攝影機和電腦代替人眼對目標進行識 別、跟蹤和測量等機器視覺，并進一步做圖形處理，用電腦處理成為更適合人眼觀察或傳送 給儀器檢測的圖像。為了提高計算機視覺的智能化，上述所有方法在進行圖像處理之前，可 加入“判斷圖像/視頻是否為霧、霾天氣下拍攝到的降質(zhì)圖像/視頻”或“判斷是否為霧、霾 天氣”的步驟，以決定是否轉(zhuǎn)入降質(zhì)圖像處理。另外，在上述所有實施例中，在獲取降質(zhì)圖像各像素點的顏色分量時，還可將獲取 的灰度值取值范圍在0 255之間的顏色分量除以255作為I。(x)，然后再進行后續(xù)操作。與之相對應，本發(fā)明實施例還提供了彩色圖像去霧處理系統(tǒng)，圖13示出了上述系 統(tǒng)的一種結(jié)構，包括顏色分量獲取單元1、天空亮度估值單元2、大氣耗散值粗估計單元3、 大氣耗散值細估計單元4和反照率恢復單元5，其中顏色分量獲取單元1，用于獲取降質(zhì)圖像各像素點的顏色分量；天空亮度估值單元2，用于對上述降質(zhì)圖像的天空亮度的各顏色分量進行估值，得
到天空亮度顏色分量估計值&；大氣耗散圖像粗估計單元3，用于利用所述&和所述各像素點的顏色分量對上述 降質(zhì)圖像進行處理，得到粗估計的大氣耗散圖像；大氣耗散圖像細估計單元4，用于對所述粗估計的大氣耗散圖像進行雙邊濾波，得 到經(jīng)雙邊濾波處理的大氣耗散圖像；其詳細內(nèi)容可參見本發(fā)明說明書的方法所對應的實施 例。反照率恢復單元5，用于利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進 行去霧還原處理。在本發(fā)明另一實施例中，參見圖14，上述實施例中的大氣耗散圖像粗估計單元可 包括校正子單元31，用于將各像素點的顏色分量I。(x)與^的比值與1之間的最小值， 作為相應像素點經(jīng)校正后的顏色分量(x)；取值子單元32，用于將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點 對應的大氣耗散粗估計值，由上述大氣耗散粗估計值得到對應的粗估計的大氣耗散圖像。 其詳細內(nèi)容可參見本發(fā)明說明書的方法所對應的實施例。相應的，反照率恢復單元5可使用公式
對P。(x)進行求 解。在本發(fā)明另一實施例中，參見圖15，上述天空亮度估值單元可包括
中心最小值獲取子單元21，用于分別以所述降質(zhì)圖像中每一像素點為中心設定其 鄰域，選取位于所述鄰域范圍內(nèi)的各像素點的顏色分量中的最小值，作為所述中心的中心 最小值；比例獲取子單元22，用于對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中 心確定包括所述中心的圖像塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的 比例；候選天空區(qū)域獲取子單元23，用于將邊緣所包含的像素數(shù)所占的比例不大于預 設平坦閾值，且中心最小值不小于預設亮度閾值的像素點所組成的區(qū)域確定為候選天空區(qū) 域；天空區(qū)域選取子單元24，用于當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所 述降質(zhì)圖像上方的候選天空區(qū)域確定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為 天空區(qū)域；天空亮度值估計子單元25，用于選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值 作為相應的天空亮度顏色分量估計值。在上述系統(tǒng)實施例中，各單元的相應功能既可使用計算機程序也可使用硬件加以 實現(xiàn)。例如，校正子單元31對于Tc的計算，在具體實現(xiàn)時，可分別對I。(χ)和&取
對數(shù)得到1η 。(χ)和Inie，使用減法器將lnl。(x)與Inj相減，再對相減的結(jié)果進行指數(shù)變
換，得到/c(x)/ic的取值，而在/c(JC)/ic與1之間取最小值可使用數(shù)值比較器加以實現(xiàn)。
同理，反照率恢復單元5的運算也可以使用與上述類似的實現(xiàn)方式加以實現(xiàn)。在此不作贅 述。本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他 實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的系統(tǒng) 而言，由于其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說 明即可。對所公開的實施例的上述說明，使本領域?qū)I(yè)技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。 對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的 一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明 將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一 致的最寬的范圍。
權利要求
一種彩色圖像去霧處理方法，其特征在于，包括獲取降質(zhì)圖像各像素點的顏色分量；對所述降質(zhì)圖像的天空亮度的各顏色分量進行估值，得到天空亮度顏色分量估計值利用所述和所述各像素點的顏色分量對上述降質(zhì)圖像進行處理，得到粗估計的大氣耗散圖像；對所述粗估計的大氣耗散圖像進行雙邊濾波，得到經(jīng)雙邊濾波處理的大氣耗散圖像；利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原處理。FSA00000231149000011.tif,FSA00000231149000012.tif
2.如權利要求1所述的方法，其特征在于，所述利用 c和所述各像素點的顏色分量對所述降質(zhì)圖像進行處理，得到粗估計的大氣 耗散圖像的具體實現(xiàn)方式為將各像素點的顏色分量Ic(x)與 c的比值與1之間的最小值，作為相應像素點經(jīng)校正 后的顏色分量I'c(x)其中，χ表示所述降質(zhì)圖像中任一像素點的空間坐標；將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點對應的大氣耗散粗估計 值，由所述大氣耗散粗估計值得到對應的粗估計的大氣耗散圖像。
3.如權利要求2所述的方法，其特征在于，所述利用經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原處理的具體 實現(xiàn)方式為利用公式 對所述降質(zhì)圖像進行去霧還原處理，其中，ρc(x)表示場景反照率顏色分量，^V(x)表示經(jīng)雙邊濾波處理的大氣耗散圖像的各像素點所對應 的大氣耗散值，K的取值范圍為0.9 1。
4.如權利要求3所述的方法，其特征在于，所述對所述降質(zhì)圖像的天空亮度進行估值，得到天空亮度顏色分量估計值 c的具體實現(xiàn)方式為分別以所述降質(zhì)圖像中每一像素點為中心設定其鄰域，選取位于所述鄰域范圍內(nèi)的各 像素點的顏色分量中的最小值，作為所述中心的中心最小值；對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中心確定包括所述中心的圖像 塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的比例；將邊緣所包含的像素數(shù)所占的比例不大于預設平坦閾值，且中心最小值不小于預設亮 度閾值的像素點所組成的區(qū)域確定為候選天空區(qū)域；當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所述降質(zhì)圖像上方的候選天空區(qū)域確 定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為天空區(qū)域；選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值作為相應的天空亮度顏色分量估計值 c.
5.如權利要求1至4任一項所述的方法，其特征在于，所述對所述粗估計的大氣耗散圖像進行雙邊濾波的具體實現(xiàn)方式為對所述粗估計的大氣耗散圖像進行高斯型雙邊濾波。
6.如權利要求1至5任一項所述的方法，其特征在于，所述預設平坦閾值為0.001。
7.如權利要求1至5任一項所述的方法，其特征在于，所述預設亮度閾值為所述中心最 小值中的最大值的95%。
8.一種彩色圖像去霧處理系統(tǒng)，其特征在于，包括 顏色分量獲取單元，用于獲取降質(zhì)圖像各像素點的顏色分量；天空亮度估值單元，用于對所述降質(zhì)圖像天空亮度的各顏色分量進行估值，得到天空亮度顏色分量估計值大氣耗散圖像粗估計單元，用于利用所述&和所述各像素點的顏色分量對所述降質(zhì)圖 像進行處理，得到粗估計的大氣耗散圖像；大氣耗散圖像細估計單元，用于對所述粗估計的大氣耗散圖像進行雙邊濾波，得到經(jīng) 雙邊濾波處理的大氣耗散圖像；反照率恢復單元，用于經(jīng)雙邊濾波處理的大氣耗散圖像對所述降質(zhì)圖像進行去霧還原 處理。
9.如權利要求8所述的系統(tǒng)，其特征在于，所述大氣耗散圖像粗估計單元包括 校正子單元，用于將各像素點的顏色分量I。(x)與&的比值與1之間的最小值，作為相應像素點經(jīng)校正后的顏色分量<(X),其中，χ表示所述降質(zhì)圖像中任一像素點的空間坐 標；粗估計子單元，用于將每一像素點經(jīng)校正后的顏色分量中的最小值作為該像素點對應 的大氣耗散粗估計值，由所述大氣耗散粗估計值得到對應的粗估計的大氣耗散圖像。
10.如權利要求8所述的系統(tǒng)，其特征在于，所述天空亮度估值單元包括中心最小值獲取子單元，用于分別以所述降質(zhì)圖像中每一像素點為中心設定其鄰域， 選取位于所述鄰域范圍內(nèi)的各像素點的顏色分量中的最小值，作為所述中心的中心最小 值；比例獲取子單元，用于對所述降質(zhì)圖像進行邊緣檢測，分別以每一像素點為中心確定 包括所述中心的圖像塊，計算在所述圖像塊內(nèi)檢測出的邊緣所包含的像素數(shù)所占的比例；候選天空區(qū)域獲取子單元，用于將邊緣所包含的像素數(shù)所占的比例不大于預設平坦閾 值，且中心最小值不小于預設亮度閾值的像素點所組成的區(qū)域確定為候選天空區(qū)域；天空區(qū)域選取子單元，用于當所述候選天空區(qū)域的數(shù)量為多個時，將最接近所述降質(zhì) 圖像上方的候選天空區(qū)域確定為天空區(qū)域，否則，直接將所述候選天空區(qū)域確定為天空區(qū) 域；天空亮度值估計子單元，用于選取所述天空區(qū)域內(nèi)各顏色分量中的最大像素值作為相 應的天空亮度顏色分量估計值&。
全文摘要
本發(fā)明公開了彩色圖像去霧處理方法和系統(tǒng)，以實現(xiàn)降質(zhì)視頻/圖像的真實場景復原。上述方法包括獲取降質(zhì)圖像各像素點的顏色分量；對降質(zhì)圖像的天空亮度的各顏色分量進行估值，得到天空亮度顏色分量估計值；利用天空亮度顏色分量估計值和各像素點的顏色分量對上述降質(zhì)圖像進行處理，得到粗估計的大氣耗散圖像；對粗估計的大氣耗散圖像進行雙邊濾波，得到經(jīng)雙邊濾波處理的大氣耗散圖像；利用經(jīng)雙邊濾波處理的大氣耗散圖像對上述降質(zhì)圖像進行去霧還原處理?？梢?，本發(fā)明的技術方案對彩色降質(zhì)圖像進行處理得到大氣耗散圖像，并對天空亮度進行了估計，最后根據(jù)天空亮度估計值以及上述大氣耗散圖像對真實場景圖像進行復原，從而達到了去霧效果。
文檔編號G06T5/00GK101908210SQ20101025384
公開日2010年12月8日 申請日期2010年8月13日 優(yōu)先權日2010年8月13日
發(fā)明者李大鵬, 禹晶, 肖創(chuàng)柏 申請人:北京工業(yè)大學