本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域,具體涉及一種基于retinex變分框架的自適應(yīng)亮度不均變分校正方法。其中,retinex變分框架是利用變分法求解retinex理論的意思,在勻光變分圖像處理中是常用說(shuō)法。
背景技術(shù):
隨著計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的迅速發(fā)展,基于圖像/視頻的工作系統(tǒng)目前己經(jīng)滲透到各行各業(yè)之中,例如目標(biāo)識(shí)別、自動(dòng)導(dǎo)航、智能監(jiān)控、地形勘測(cè)、自動(dòng)駕駛和民用拍攝等領(lǐng)域,在國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展中發(fā)揮了不可忽視的作用。但是在傳感器成像過(guò)程中,由于受到大氣、光照等環(huán)境因素以及傳感器系統(tǒng)內(nèi)部因素的影響,圖像往往呈現(xiàn)亮度、色調(diào)以及反差分布不均勻的現(xiàn)象。這不僅影響圖像的目視效果,更會(huì)影響與圖像有關(guān)的一些后續(xù)處理,如特征提取、目標(biāo)識(shí)別、分類(lèi)、解釋等。利用不均勻性校正方法對(duì)降質(zhì)圖像進(jìn)行后續(xù)處理,提高圖像質(zhì)量、增強(qiáng)圖像細(xì)節(jié)信息,可以提高圖像中有效信息的提取,提升基于圖像/視頻的系統(tǒng)性能,即勻光處理。因此,深入研究圖像勻光處理方法具有重要的理論與實(shí)際應(yīng)用價(jià)值。
迄今為止,國(guó)內(nèi)外學(xué)者提出了許多校正圖像亮度不均的方法,如直方圖均衡、同態(tài)濾波、mask勻光法和retinex變分框架模型等。直方圖均衡化的基本思想是把原始圖像的直方圖變換成均勻分布的形式,以增強(qiáng)像素灰度值的動(dòng)態(tài)范圍,達(dá)到提高圖像整體對(duì)比度的效果,但直方圖均衡化僅涉及像素亮度,而與像素方位無(wú)關(guān),因此僅對(duì)部分特殊圖像效果較好,適用性不強(qiáng)。同態(tài)濾波是在頻率域的運(yùn)算,它同時(shí)對(duì)圖像的低頻和高頻部分進(jìn)行處理,突出高頻削弱低頻,對(duì)圖像亮度不均勻性有很好的平衡作用,但其濾波函數(shù)設(shè)計(jì)及參數(shù)選定需要有一定的技巧和經(jīng)驗(yàn)。mask勻光法假設(shè)圖像中的不均勻現(xiàn)象為加性噪聲,此加法模型可能會(huì)導(dǎo)致局部模糊和色彩失真,并且隨著圖像幅度的變大,該方法中的高斯模糊窗口就要越大,運(yùn)算量就會(huì)成比例增加。retinex理論指出圖像可以分解成反射分量與光照分量?jī)刹糠郑瑑烧叩某朔e即為圖像本身,該理論的實(shí)質(zhì)就是從已知的觀測(cè)圖像中求解反射分量和光照分量。retinex理論本質(zhì)上是一個(gè)病態(tài)問(wèn)題,可以通過(guò)增加正則化先驗(yàn)來(lái)進(jìn)行求解,全變差(gillesaubertandpierrekornprobst,mathematicalproblemsinimageprocessing:partialdifferentialequationsandthecalculusofvariations(secondedition).springer.2009.)是最常用的正則化先驗(yàn)。kimmel等人(kimmelron,eladmichael,andetal.avariationalframeworkforretinex.internationaljournalofcomputervision,2003,52(1):7-23)基于合理的假設(shè)提出retinex變分框架,先估計(jì)光照分量再求取反射分量,具體流程如圖2所示,該模型具有較好的性能,而且能夠融合各種先驗(yàn)約束,因此引起了國(guó)內(nèi)外學(xué)者們的廣泛關(guān)注。michael等人(michaelk.ngandwangwei.atotalvariationmodelforretinex.siamjournalonimagingsciences,2011,4(1):345-365.)在retinex變分框架下用全變差的思想來(lái)描述反射分量的性質(zhì),并將其帶入到求解模型中,從而提出一個(gè)能分離光照分量和反射分量的全變差變分校正模型(tvre)。蘭霞等人(lanxia,zhangliangpei,andetal.,aspatiallyadaptiveretinexvaraitionalmodelfortheunevenintensitycorrectionofremotesensingimages,signalprocessing,2014,101:19-34.)利用圖像的空間信息構(gòu)建自適應(yīng)權(quán)重函數(shù)控制反射分量的全變差正則化約束的強(qiáng)度,并采用反射分量均值逼近灰度中值約束即gw準(zhǔn)則防止局部曝光過(guò)度,從而構(gòu)造出一個(gè)基于空間信息的自適應(yīng)變分校正模型來(lái)分離光照分量和反射分量(sarv)。
分裂bregman迭代法(tomgoldsteinandstanleyosher.thesplitbregmanmethodforl1-regularizedproblems.siamjournalonimagingsciences.2009(2):323-343.)是求解非線(xiàn)性變分校正模型最有效的方法,其基本思想是引入輔助變量,替換原變分校正模型中較難處理部分,如不可分離項(xiàng)、非光滑項(xiàng)、非線(xiàn)性項(xiàng)等,從而簡(jiǎn)化變分校正模型的求解,再通過(guò)添加懲罰項(xiàng)替換等式約束,保證新線(xiàn)性變分校正模型與原非線(xiàn)性變分校正模型同解,最后采用交替最小方法(tonyf.chanandchiu-kwongwong.totalvariationblinddeconvolution.ieeetransactionsimageprocessing.1998(7):370-375.)求解新線(xiàn)性變分校正模型。
目前retinex變分校正模型都是基于對(duì)數(shù)變換將retinex理論的乘法模型轉(zhuǎn)變成加法模型建立的變分校正模型。由于對(duì)數(shù)變換的性質(zhì)是對(duì)數(shù)值較低的部分進(jìn)行拉伸,而對(duì)于數(shù)值較高的部分則有壓縮的效果,如圖3所示。此性質(zhì)反映到圖像中,即是提高暗區(qū)域像素值之間的差值,提升對(duì)比度,增強(qiáng)邊緣信息,同時(shí)對(duì)亮區(qū)域起著相反的效果。因此對(duì)觀測(cè)圖像進(jìn)行對(duì)數(shù)變換后,會(huì)模糊和損失亮區(qū)域的邊緣和細(xì)節(jié)信息,而圖像反射率所包含的一項(xiàng)重要信息正是圖像中的邊緣信息,因此基于對(duì)數(shù)變換建立的retinex變分校正模型計(jì)算出的勻光校正圖像會(huì)存在邊緣模糊和細(xì)節(jié)丟失的現(xiàn)象,如michael等人提出的tvre方法和蘭霞等人提出的sarv方法,雖然相對(duì)其它方法能夠獲得較好的勻光校正圖像,但由于觀測(cè)圖像對(duì)數(shù)變換后會(huì)模糊和損失亮區(qū)域的邊緣和細(xì)節(jié)信息,從而導(dǎo)致勻光校正圖像也存在邊緣模糊和細(xì)節(jié)丟失的現(xiàn)象(圖4c,4d,圖5c,5d,圖6c,6d,圖7b,7c,圖8b,8c,圖9b,9c,圖10b,10c)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的不足之處,提供一種無(wú)需經(jīng)過(guò)對(duì)數(shù)變換,在消除圖像亮度不均勻現(xiàn)象的同時(shí),有效保持圖像本身的色彩和細(xì)節(jié)信息的自適應(yīng)亮度不均變分校正方法。
本發(fā)明的上述目的可以通過(guò)以下措施來(lái)達(dá)到,一種基于變分框架的自適應(yīng)亮度不均變分校正方法,具有如下技術(shù)特征:
利用光學(xué)成像探測(cè)系統(tǒng)獲取不均勻退化圖像s作為觀測(cè)圖像,且大小為m*n;根據(jù)觀測(cè)圖像空間特征構(gòu)建自適應(yīng)權(quán)重函數(shù)w(x,y);運(yùn)用原始retinex理論構(gòu)造關(guān)于光照分量l和反射分量r的變分校正模型e(r,l),通過(guò)自適應(yīng)權(quán)重函數(shù)w(x,y)自適應(yīng)控制變分校正模型e(r,l)中反射分量r在不同像素點(diǎn)的全變差正則化約束||▽r||的強(qiáng)度,在反射分量邊緣處施加較小的全變差正則化約束||▽r||,保持反射分量r的邊緣特征,而在反射分量r平坦區(qū)域施加較大的全變差正則化約束||▽r||;并采用反射分量r均值逼近灰度中值約束,即gw準(zhǔn)則防止局部曝光過(guò)度;再根據(jù)分裂bregman迭代法引入輔助變量d,將非線(xiàn)性的變分校正模型e(r,l)轉(zhuǎn)化成線(xiàn)性的變分校正模型e′(r,l),然后利用交替最小化方法求解上述線(xiàn)性變分校正模型e′(r,l)得到光照分量l和反射分量r,最后對(duì)反射分量r取整得到勻光校正圖像g,其中m和n為自然數(shù)。
本發(fā)明相比于現(xiàn)有技術(shù)具有如下有益效果:
本發(fā)明針對(duì)傳統(tǒng)retinex方法的不足,采用原始retinex理論,無(wú)需經(jīng)過(guò)對(duì)數(shù)變換,消除傳統(tǒng)模型中對(duì)數(shù)變換導(dǎo)致的邊緣模糊和細(xì)節(jié)丟失現(xiàn)象;然后利用差分特征值作為邊緣指示算子構(gòu)建自適應(yīng)權(quán)重函數(shù),自適應(yīng)控制變分校正模型中反射分量的全變差正則化約束的強(qiáng)度,在邊緣處施加較小的全變差正則化約束保持圖像的邊緣特征,而在平坦區(qū)域施加較大的全變差正則化約束;其次采用反射分量均值逼近灰度中值約束即gw準(zhǔn)則防止局部曝光過(guò)度;最后采用分裂bregman迭代方法和交替最小化方法快速求解該模型獲得較好的校正結(jié)果(圖4e,圖5e,圖6e,圖7d,圖8d,圖9d,圖10d),從而克服傳統(tǒng)基于對(duì)數(shù)變換建立的retinex變分校正模型計(jì)算出的勻光校正圖像存在邊緣模糊和細(xì)節(jié)丟失的不足。
本發(fā)明引入峰值信噪比(psnr)和結(jié)構(gòu)相似法(ssim)兩個(gè)評(píng)價(jià)因子對(duì)模擬實(shí)驗(yàn)進(jìn)行客觀定量評(píng)價(jià)。表1是實(shí)驗(yàn)圖4,圖5,圖6的客觀評(píng)估結(jié)果。
表1
本發(fā)明能夠更好的保持邊緣特征,并且校正圖像與原始圖像的強(qiáng)度更加地接近,這是因?yàn)椋?/p>
1)本發(fā)明采用原始retinex理論,無(wú)需經(jīng)過(guò)對(duì)數(shù)變換,消除傳統(tǒng)模型中對(duì)數(shù)變換導(dǎo)致的邊緣模糊和細(xì)節(jié)丟失現(xiàn)象;
2)利用性能優(yōu)良的差分特征值作為邊緣指示算子構(gòu)建自適應(yīng)權(quán)重函數(shù),自適應(yīng)控制變分校正模型中反射分量在在不同像素點(diǎn)的全變差正則化約束的強(qiáng)度,在邊緣處施加較小的全變差正則化約束,保持反射分量的邊緣特征,而在平坦區(qū)域施加較大的全變差正則化約束;
3)采用反射分量均值逼近灰度中值約束即gw準(zhǔn)則防止局部曝光過(guò)度,能夠獲得最好的結(jié)果(圖4e,圖5e,圖6e,圖7d,圖8d,圖9d,圖10d)。
此外,從表1展示的客觀評(píng)價(jià)可以看出,本發(fā)明獲得較高的psnr和ssim值,這說(shuō)明無(wú)論是在灰度信息還是結(jié)構(gòu)特征方面,獲得的結(jié)果都能夠較好地表示原始的清晰圖像,這與視覺(jué)對(duì)比結(jié)果是一致的。總之,在視覺(jué)效果和量化評(píng)估的比較中,具有明顯優(yōu)勢(shì)。
附圖說(shuō)明
圖1是本發(fā)明基于變分框架的自適應(yīng)亮度不均變分校正方法流程圖。
圖2是retinex變分校正模型計(jì)算流程示意圖。
圖3是對(duì)數(shù)變換示意圖。
圖4a、4b、4c、4d和4e是武漢圖像水平模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖。
圖5a、5b、5c、5d和5e是武漢圖像垂直模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖。
圖6a、6b、6c、6d和6e是武漢圖像高斯模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖。
圖7a、7b、7c和7d是第一幅真實(shí)退化圖像勻光校正實(shí)驗(yàn)對(duì)比示意圖。
圖8是圖7中摳出部分區(qū)域的放大結(jié)果比較。
圖9a、9b、9c和9d是第二幅真實(shí)退化圖像勻光校正實(shí)驗(yàn)對(duì)比示意圖。
圖10是圖9中摳出部分區(qū)域的放大結(jié)果比較。
具體實(shí)施方式
參閱圖1。根據(jù)本發(fā)明,利用光學(xué)成像探測(cè)系統(tǒng)獲取不均勻退化圖像s作為觀測(cè)圖像,且大小為m*n;根據(jù)觀測(cè)圖像空間特征構(gòu)建自適應(yīng)權(quán)重函數(shù)w(x,y);運(yùn)用原始retinex理論構(gòu)造關(guān)于光照分量l和反射分量r的變分校正模型e(r,l),通過(guò)自適應(yīng)權(quán)重函數(shù)w(x,y)自適應(yīng)控制變分校正模型e(r,l)中反射分量r在不同像素點(diǎn)的全變差正則化約束||▽r||的強(qiáng)度,在反射分量邊緣處施加較小的全變差正則化約束||▽r||,保持反射分量r的邊緣特征,而在反射分量r平坦區(qū)域施加較大的全變差正則化約束||▽r||;并采用反射分量r均值逼近灰度中值約束,即gw準(zhǔn)則防止局部曝光過(guò)度;再根據(jù)分裂bregman迭代法引入輔助變量d,將非線(xiàn)性的變分校正模型e(r,l)轉(zhuǎn)化成線(xiàn)性的變分校正模型e′(r,l),然后利用交替最小化方法求解上述線(xiàn)性變分校正模型e′(r,l)得到光照分量l和反射分量r,最后對(duì)反射分量r取整得到勻光校正圖像g,其中m和n為自然數(shù)。具體過(guò)程包括:
(1)根據(jù)觀測(cè)圖像空間特征構(gòu)建自適應(yīng)權(quán)重函數(shù)w(x,y),1≤x≤m,1≤y≤n,x和y分別為給定像素在x軸和y軸的坐標(biāo)值,均為自然數(shù),包括以下過(guò)程:
(1.1)計(jì)算差分特征值d(x,y),1≤x≤m,1≤y≤n;
差分特征值d(x,y)定義為:
d(x,y)=(λ1-λ2)λ1w(s(x,y))
其中λ1表示hessian矩陣最大的特征值,λ2表示另外一個(gè)特征值,w(s(x,y))是平衡因子,計(jì)算公式如下:
式中,s(x,y)表示觀測(cè)圖像s在(x,y)坐標(biāo)處的像素值;max(σ)和min(σ)分別是觀測(cè)圖像s的最大和最小灰度級(jí)變化值。對(duì)于一個(gè)給定的坐標(biāo)為(x,y)的像素,其灰度級(jí)變化σ(x,y)從它的3×3鄰域計(jì)算得到:
其中,i和j是整數(shù);
(1.2)構(gòu)建自適應(yīng)權(quán)重函數(shù)
(2)利用自適應(yīng)權(quán)重函數(shù)w(x,y)構(gòu)造關(guān)于光照分量l和反射分量r的變分校正模型e(r,l):
s.t.l≥s,and0≤r≤1
其中,α,β和μ都是非負(fù)正則化參數(shù),l是光照分量,r是反射分量,▽表示梯度算子,w是自適應(yīng)權(quán)重函數(shù)。
(3)利用分裂bregman迭代法計(jì)算變分校正模型e(r,l)得到光照分量和反射分量,包括以下過(guò)程:
(3.1)由于全變差正則化約束||▽r||是非平滑和不可分離的,引入輔助變量d,將變分校正模型e(r,l)轉(zhuǎn)化為如下有約束的變分校正模型:
s.t.l≥s,0≤r≤1,andd=▽r
(3.2)增加一個(gè)懲罰項(xiàng),將有約束的變分校正模型e(r,l)轉(zhuǎn)化為無(wú)約束的變分校正模型e′(r,l):
s.t.l≥s,and0≤r≤1
式中,λ是一個(gè)非負(fù)參數(shù)。
(3.3)通過(guò)交替最小化方法求解變分校正模型e′(r,l),具體步驟如下:
(3.3.1)初始化α,β,μ,λ,l0=s,r0=1,b0=(bx,by)=0,k=0,其中b是bregman輔助參數(shù),k為計(jì)數(shù)參數(shù);
(3.3.2)計(jì)算輔助變量dk+1:
(3.3.3)計(jì)算反射分量
(3.3.4)利用反射分量
(3.3.5)利用輔助變量dk+1和反射分量rk+1更新輔助變量bk+1:bk+1=bk-(dk+1-▽rk+1);
(3.3.6)計(jì)算光照分量
(3.3.7)利用光照分量
(3.3.8)直到終止條件(||rk+1-rk||/||rk+1||≤εrand||lk+1-lk||/||lk+1||≤εl)滿(mǎn)足,否則,令計(jì)數(shù)參數(shù)k=k+1,繼續(xù)執(zhí)行(3.3.2)。
(4)對(duì)反射分量取整得到勻光校正圖像g=uint(rk+1),灰度圖像uint()表示8位取整運(yùn)算,彩色圖像uint()表示對(duì)r、g和b三通道8位取整運(yùn)算。
實(shí)例:
圖4是武漢圖像水平模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖;圖4a是獲取的武漢圖像,圖4b是水平模擬退化圖像;圖4c是michael等人提出的tvre方法勻光校正圖像;圖4d是蘭霞等人提出的sarv方法勻光校正圖像;圖4e是本發(fā)明自適應(yīng)亮度不均變分校正圖像。
圖5是武漢圖像垂直模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖;圖5a是獲取的武漢圖像,圖5b是垂直模擬退化圖像;圖5c是michael等人提出的tvre方法勻光校正圖像;圖5d是蘭霞等人提出的sarv方法勻光校正圖像;圖5e是本發(fā)明自適應(yīng)亮度不均變分校正圖像。
圖6是武漢圖像高斯模擬退化勻光校正實(shí)驗(yàn)對(duì)比示意圖;圖6a是獲取的武漢圖像,圖6b是高斯模擬退化圖像;圖6c是michael等人提出的tvre方法勻光校正圖像;圖6d是蘭霞等人提出的sarv方法勻光校正圖像;圖6e是本發(fā)明自適應(yīng)亮度不均變分校正圖像。
圖7是第一幅真實(shí)退化圖像勻光校正實(shí)驗(yàn)對(duì)比示意圖;圖7a是獲取的真實(shí)退化圖像;圖7b是michael等人提出的tvre方法勻光校正圖像;圖7c是蘭霞等人提出的sarv方法勻光校正圖像;圖7d是本發(fā)明自適應(yīng)亮度不均變分校正圖像。
圖8是圖7中摳出部分區(qū)域的放大結(jié)果比較;圖8a是圖7a真實(shí)退化圖像截取部分區(qū)域放大圖像;圖8b是圖7btvre方法勻光校正圖像截取部分區(qū)域放大圖像;圖8c是圖7csarv方法勻光校正圖像截取部分區(qū)域放大圖像;圖8d是圖7d本發(fā)明自適應(yīng)亮度不均變分校正圖像截取部分區(qū)域放大圖像。
圖9是第二幅真實(shí)退化圖像勻光校正實(shí)驗(yàn)對(duì)比示意圖;圖9a是獲取的真實(shí)退化圖像;圖9b是michael等人提出的tvre方法勻光校正圖像;圖9c是蘭霞等人提出的sarv方法勻光校正圖像;圖9d是本發(fā)明自適應(yīng)亮度不均變分校正圖像。
圖10是圖9中摳出部分區(qū)域的放大結(jié)果比較;圖10a是圖9a真實(shí)退化圖像截取部分區(qū)域放大圖像;圖10b是圖9btvre方法勻光校正圖像截取部分區(qū)域放大圖像;圖10c是圖9csarv方法勻光校正圖像截取部分區(qū)域放大圖像;圖10d是圖9d本發(fā)明自適應(yīng)亮度不均變分校正圖像截取部分區(qū)域放大圖像。
本發(fā)明不僅局限于上述具體實(shí)施方式,本領(lǐng)域一般技術(shù)人員根據(jù)本發(fā)明公開(kāi)的內(nèi)容,可以采用其它多種具體實(shí)施方式實(shí)施本發(fā)明,因此,凡是采用本發(fā)明的設(shè)計(jì)結(jié)構(gòu)和思路,做一些簡(jiǎn)單的變化或更改的設(shè)計(jì),都落入本發(fā)明保護(hù)的范圍。