專利名稱：一種數(shù)字圖像增強(qiáng)方法
技術(shù)領(lǐng)域：
本發(fā)明是一種新的數(shù)字圖像處理方法，是使用視覺神經(jīng)動(dòng)力學(xué)模型進(jìn)行數(shù)字圖像的動(dòng)態(tài)范圍壓縮、圖像增強(qiáng)、顏色恒定以及顏色保真度增強(qiáng)處理的新技術(shù)。
背景技術(shù)：
目前，人工成像設(shè)備的輸出圖像和生理視覺系統(tǒng)的真實(shí)感知之間的差距，是一個(gè)普遍而又常常十分嚴(yán)重的問題。導(dǎo)致這一問題存在是由于下述兩個(gè)局限性1.外部光照光譜成分的變化導(dǎo)致成像設(shè)備輸出的圖像出現(xiàn)顏色失真，即所謂顏色恒定性問題。2.成像設(shè)備有限的動(dòng)態(tài)輸出范圍導(dǎo)致輸出圖像常常丟失場(chǎng)景光照較暗區(qū)域的細(xì)節(jié)和顏色信息，即所謂動(dòng)態(tài)范圍壓縮問題。對(duì)于非顏色成像，主要解決動(dòng)態(tài)范圍壓縮問題，即如何使成像設(shè)備輸出圖像在場(chǎng)景中光照強(qiáng)度巨大差異條件下，合理表現(xiàn)整個(gè)場(chǎng)景中的細(xì)節(jié)信息。
顏色恒定性問題一般指成像設(shè)備在人工光源照明下的輸出圖像和日光照明下的輸出圖像存在明顯光譜顏色偏差的現(xiàn)象。目前對(duì)于此問題，如果是常規(guī)攝影，攝影師一般通過手動(dòng)選用不同感光底片以及采用不同的濾光鏡組合來(lái)補(bǔ)償這種差異；而對(duì)于數(shù)字成像設(shè)備，目前則只能通過采用手動(dòng)選擇濾鏡來(lái)補(bǔ)償光譜偏移。而所使用的這些光譜校正手段均不具備動(dòng)態(tài)范圍壓縮能力，相較人眼視覺觀察，對(duì)于場(chǎng)景中光照暗區(qū)的細(xì)節(jié)常常無(wú)法同時(shí)真實(shí)顯示。
動(dòng)態(tài)范圍壓縮的問題反映為場(chǎng)景中存在光照強(qiáng)度的巨大差異(常常超過10000∶1)和常用的有限的數(shù)字圖像輸出范圍(一般是8bit量化，最大256)之間的不匹配。這種不匹配導(dǎo)致了成像輸出圖像的細(xì)節(jié)表現(xiàn)力遠(yuǎn)較人眼視覺感知弱。
經(jīng)過數(shù)億年進(jìn)化，人眼視覺系統(tǒng)在這兩個(gè)方面表現(xiàn)出優(yōu)秀的性能。人眼視覺系統(tǒng)不僅能夠?qū)Υ嬖诰薮蠊庹諒?qiáng)度差異的景象清晰成像，也能在環(huán)境光譜分布變化時(shí)在相當(dāng)大的程度上保持對(duì)景物顏色的正確感知。因此，從生理視覺屬性角度出發(fā)，建立相應(yīng)的機(jī)器視覺系統(tǒng)是此類問題的一種合理解決之道。Center-surround shunting方程便是一種對(duì)視網(wǎng)膜神經(jīng)節(jié)細(xì)胞的光刺激響應(yīng)進(jìn)行電生理模擬的生理物理學(xué)理論模型，其最初由Stephen Grossberg提出，這一視覺神經(jīng)元模型及其擴(kuò)展隨后在一些相關(guān)學(xué)科如自動(dòng)控制、模式識(shí)別等方面得到了應(yīng)用。
在圖像處理領(lǐng)域，center-surround shunting方程已經(jīng)有一些應(yīng)用。Grossberg利用此方程作為合成孔徑雷達(dá)圖像處理的預(yù)處理手段，為合成孔徑雷達(dá)圖像的后續(xù)降噪處理提供輸入。該方程的另一個(gè)應(yīng)用是Waxman等人使用該方程模擬響尾蛇的紅外、可見光雙模式感光細(xì)胞，從而將可見光圖像和熱成像圖像有機(jī)的合并，形成融合圖像供觀察。然而，未曾見到center-surround shunting方程同時(shí)實(shí)現(xiàn)動(dòng)態(tài)范圍壓縮和顏色恒定性，并提供逼近真實(shí)視覺感知的圖像結(jié)果的應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明提供一種可改善黑白和彩色數(shù)字圖像質(zhì)量的方法，能夠?qū)⒉町惥薮蟮妮斎雱?dòng)態(tài)范圍區(qū)間進(jìn)行顯著壓縮到限定的輸出動(dòng)態(tài)范圍內(nèi)，同時(shí)，能夠提供獨(dú)立于場(chǎng)景光照光譜分布的彩色圖像輸出，在此基礎(chǔ)上，本發(fā)明還在于提高輸出圖像的質(zhì)量，使得輸出圖像能逼近視覺系統(tǒng)在不同光照情況下，對(duì)實(shí)際場(chǎng)景所產(chǎn)生的真實(shí)感知影像。
為實(shí)現(xiàn)上述目的，主要流程如下1.圖像動(dòng)態(tài)范圍壓縮對(duì)輸入數(shù)字圖像的每個(gè)像素點(diǎn)進(jìn)行動(dòng)態(tài)范圍調(diào)整。利用擴(kuò)展的錐細(xì)胞響應(yīng)函數(shù)方程將圖像強(qiáng)度進(jìn)行非線性變化。
2.圖像對(duì)比度提取。
利用center-surround shunting方程提取模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞刺激響應(yīng)的圖像對(duì)比度。對(duì)圖像對(duì)比度的提取可在不同大小的空間分辨率，也就是空間尺度上進(jìn)行。然后將不同尺度的對(duì)比度信息進(jìn)行合并，以便合理包含不同尺度下的圖像信息。此時(shí)，單獨(dú)的對(duì)比度圖像可以獨(dú)立抽取顯示，以滿足不同使用場(chǎng)合的需要。
3.對(duì)比度調(diào)制及輸出。
利用流程2獲得的對(duì)比度圖像對(duì)由流程1獲得的輸出圖像進(jìn)行調(diào)制，以反映視覺神經(jīng)元對(duì)圖像對(duì)比度感知的刺激強(qiáng)度受外界光照強(qiáng)度大小的影響，然后，調(diào)制信號(hào)再與流程1的輸出信號(hào)合并形成逼近真實(shí)視覺感知的圖像輸出，獲得最終顯示。


圖1是算法系統(tǒng)流程圖。
圖2是對(duì)比度提取模塊的算法流程圖。
圖3是顏色恒定性圖例。
圖4是單尺度和多尺度對(duì)比度圖像圖例。
圖5是本發(fā)明在不同成像類型的應(yīng)用圖例，其中，左列是原圖，右列是處理結(jié)果。
具體實(shí)施例方式
主要符號(hào)列表Ik(i，j)坐標(biāo)為(i，j)的第k個(gè)光譜顏色通道的圖像強(qiáng)度。
Ik′(i，j) 經(jīng)過動(dòng)態(tài)范圍壓縮調(diào)整的圖像強(qiáng)度。
rk(i，j)景物反射率。
Lk(i，j)景物光照照度。
Ck(i，j)中心窗口圖像。
Sk，n(i，j) 第n個(gè)尺度上的環(huán)繞窗口圖像。
N所使用的空間尺度總數(shù)。N≥1σGaussian窗口的標(biāo)準(zhǔn)差。如果帶有下標(biāo)c、s則分別指代中心窗口利環(huán)繞窗口的對(duì)應(yīng)參數(shù)。如果帶有下標(biāo)n，則表示第n個(gè)尺度的對(duì)應(yīng)參量。
wGaussian窗口模板。如果帶有下標(biāo)c、s則分別指代中心窗口和環(huán)繞窗口的對(duì)應(yīng)參量；如果帶有下標(biāo)n，則表示第n個(gè)尺度的對(duì)應(yīng)參量。
*卷積算子。
A衰減常數(shù)[ω]+max(ω，0)xk，xkON、OFF神經(jīng)節(jié)細(xì)胞的刺激響應(yīng)輸出。如果帶有下標(biāo)n，則表示第n個(gè)尺度的對(duì)應(yīng)參量。
msxk， ON，OFF細(xì)胞刺激的多尺度輸出。
ξn第n個(gè)尺度下對(duì)比度圖像的權(quán)重因子Gain 增益因子。
Offset 直流偏移量dk(i，j)輸出對(duì)比度圖像。如果帶有下標(biāo)n，則表示第n個(gè)尺度的對(duì)應(yīng)參量。
Outk(i，j) 最終輸出圖像。如果帶有下標(biāo)n，則表示第n個(gè)尺度的對(duì)應(yīng)參量。
本方法的核心思想是根據(jù)視覺神經(jīng)生理物理學(xué)的研究成果來(lái)完成數(shù)字圖像處理工作，提高圖像的顯示質(zhì)量。人類視覺在響應(yīng)外界巨大的強(qiáng)度變化或者外界光照存在明顯的光譜偏移的光刺激時(shí)，具有很強(qiáng)的適應(yīng)性能，因此，有可能通過模擬人類視覺在這方面的生理屬性來(lái)指導(dǎo)圖像處理工作。本方法在眾多描述視覺系統(tǒng)不同生理屬性的生物物理模型中，通過對(duì)一種描述視網(wǎng)膜神經(jīng)節(jié)刺激響應(yīng)的模型center-surroundshunting方程的特殊實(shí)現(xiàn)和拓展，并且結(jié)合描述視網(wǎng)膜錐細(xì)胞響應(yīng)的Weber法則的特殊擴(kuò)展，來(lái)完成圖像增強(qiáng)和顏色平衡的目的。
步驟1根據(jù)圖1，景物經(jīng)過圖像采集和A/D轉(zhuǎn)換后變成黑白或彩色數(shù)字圖像，數(shù)字圖像Ik(i，j)由像素空間坐標(biāo)、強(qiáng)度以及光譜通道唯一標(biāo)識(shí)，其中，對(duì)于黑白圖像，三個(gè)光譜通道的值相同。然后，數(shù)字圖像分別進(jìn)入動(dòng)態(tài)范圍壓縮模塊和對(duì)比度提取模塊進(jìn)行處理。
對(duì)于動(dòng)態(tài)范圍壓縮模塊，根據(jù)生理學(xué)研究成果中的Weber法則，視網(wǎng)膜錐細(xì)胞受光照后的刺激響應(yīng)與刺激強(qiáng)度的對(duì)數(shù)近似成正比，那么，經(jīng)過動(dòng)態(tài)范圍壓縮后的圖像強(qiáng)度值為Ik′(i，j)＝log[Ik(i，j)] (1)這一輸出圖像強(qiáng)度用以模擬視網(wǎng)膜錐細(xì)胞的神經(jīng)圖像輸出。
步驟2根據(jù)圖2，數(shù)字圖像的對(duì)比度提取模塊可以切分成N個(gè)彼此獨(dú)立的空間尺度上的對(duì)比度提取操作。對(duì)于任意一個(gè)空間尺度n，視網(wǎng)膜ON、OFF神經(jīng)節(jié)細(xì)胞的響應(yīng)輸出由以下center-surround shunting方程描述ON細(xì)胞響應(yīng)xk，n(i，j)ddtxk,n(i,j)=-Axk,n(i,j)+[1-xk,n(i,j)]Ck(i,j)-[1+xk,n(i,j)]Sk,n(i,j)---(2)]]>OFF細(xì)胞響應(yīng)xk，n(i，j)ddtx‾k,n(i,j)=-Ax‾k,n(i,j)+[1-x‾k,n(i,j)]Sk,n(i,j)-[1+x‾k,n(i,j)]Ck(i,j)---(3)]]>本方法使用Gaussian窗口函數(shù)w(i,j)=12πσ2exp(-i2+j22σ2)---(4)]]>實(shí)現(xiàn)中心和環(huán)繞窗口的卷積濾波，即Ck(i，j)＝Ik(i，j)*wc(i，j) (5)Sk，n(i，j)＝Ik(i，j)*ws，n(i，j) (6)本發(fā)明使用center-surround shunting方程在達(dá)到平衡態(tài)時(shí)的解作為圖像的對(duì)比度信息ON細(xì)胞xk,n(i,j)=[Ck(i,j)-Sk,n(i,j)A+Ck(i,j)+Sk,n(i,j)]+---(7)]]>OFF細(xì)胞
x‾k,n(i,j)=[Sk,n(i,j)-Ck(i,j)A+Ck(i,j)+Sk,n(i,j)+---(8)]]>可以看出，ON、OFF細(xì)胞輸出分別提取了圖像在尺度n上的正負(fù)對(duì)比度信息，圖2對(duì)此處計(jì)算流程進(jìn)行了分解。
可以從式(7)、(8)得到本方法的顏色恒定性，也就是輸出圖像獨(dú)立于外界光譜。根據(jù)物理光學(xué)，圖像信號(hào)是場(chǎng)景中的表面反射率和環(huán)境入射光強(qiáng)度的乘積，即Ik(i，j)＝rk(i，j)Lk(i，j) (9)代入(7)、(8)式，有xk(i,j)=[rk(i,j)Lk(i,j)-r‾k,n(i,j)L‾k,n(i,j)A+rk(i,j)Lk(i,j)+r‾k,n(i,j)L‾k,n(i,j)]+---(10)]]>此處，本方法以O(shè)N細(xì)胞為例說(shuō)明，OFF細(xì)胞的輸出和ON細(xì)胞的輸出對(duì)稱，其處理類似，下同。式中，rk，n、Lk，n分別是r、L在尺度n上的環(huán)繞空間域平均值。如果衰減常數(shù)A的大小與局部光刺激強(qiáng)度相比可以忽略，即A＜＜Ik(i，j)，那么在假設(shè)環(huán)境光空間緩慢變化而表面反射率在景物邊界突變的條件下，即Lk(i，j)≈Lk，n(i，j)，有xk(i,j)≈[rk(i,j)-r‾k,n(i,j)rk(i,j)+r‾k,n(i,j)]+---(11)]]>由此，通過去除環(huán)境光照度生成一個(gè)僅僅依賴于表面反射率的圖像。滿足上式的近似條件在絕大多數(shù)自然環(huán)境情況下都是成立的。對(duì)于條件不能嚴(yán)格滿足的情況，例如對(duì)于實(shí)驗(yàn)室制造的極特殊條件照明，反射率比值的影響一般也超過環(huán)境光照度比值的作用。顏色恒定性例子見圖3。
多尺度的操作是為了模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞對(duì)于不同尺度的光刺激具有不同的選擇性響應(yīng)輸出的生理屬性，并可提供更好的視覺處理效果，其具體實(shí)現(xiàn)通過對(duì)不同尺度下的對(duì)比度信息進(jìn)行加權(quán)求和得到msxk(i,j)=Σn=1Nξnxk,n(i,j)msxk‾(i,j)=Σn=1Nξnx‾k,n(i,j)---(12)]]>式中，權(quán)重因子滿足Σn=1Nξn=1---(13)]]>多尺度對(duì)比度處理和單尺度操作的區(qū)別在于使用相同大小的中心窗口模板，而環(huán)繞窗口尺寸不同。即，對(duì)于不同尺度的對(duì)比度操作，分別采用不同大小的σs，n來(lái)確定環(huán)繞窗口的尺寸以及模板窗口數(shù)值。所使用的尺度總數(shù)以及每個(gè)尺度的權(quán)重系數(shù)分配可以根據(jù)實(shí)際需要確定。一般的，對(duì)于常規(guī)數(shù)字圖像，采用大、中、小三個(gè)尺度并對(duì)每個(gè)尺度進(jìn)行等權(quán)重分配，就足以獲得滿意效果。單尺度處理結(jié)果以及多尺度的示例見圖4，其中，多尺度處理結(jié)果是采用三個(gè)尺度(σs，1＝10，σs，2＝50，σs，3＝180)加權(quán)求和的結(jié)果。
單尺度或多尺度對(duì)比度提取的結(jié)果，可以獨(dú)立輸出以滿足特殊需要，見圖1中滿足特殊需要的對(duì)比度圖像輸出模塊。對(duì)尺度n上的對(duì)比度圖像的輸出進(jìn)行顯示的特殊實(shí)現(xiàn)如下式dk，n(i，j)＝Gain[xk，n(i，j)-xk，n(i，j)]+offset(14)對(duì)于多尺度，則dk(i,j)=Gain[msxk(i,j)-msxk‾(i,j)]+offset---(15)]]>式(14)、(15)中的常數(shù)直流偏移量和常數(shù)增益因子對(duì)于每個(gè)顏色通道保持一致。
步驟3單獨(dú)的對(duì)比度輸出圖像并不能完全提供逼近真實(shí)視覺感知的圖像，因?yàn)橐曈X系統(tǒng)并非完全僅僅對(duì)圖像中的對(duì)比度信息產(chǎn)生響應(yīng)刺激，圖像中的直流成分同樣影響視覺成像。本方法通過采用對(duì)對(duì)比度圖像進(jìn)行調(diào)制和合并的特殊實(shí)現(xiàn)將數(shù)字圖像的直流成分和對(duì)比度信息有機(jī)結(jié)合，提供逼近真實(shí)視覺感知的圖像處理結(jié)果，流程圖見圖1的調(diào)制和合并模塊，此過程以公式形式表述如下Outk，n(i，j)＝Gain{[xk，n(i，j)-xk，n(i，j)]×I′(i，j)}+offset×I′(i，j) (16)多尺度Outk(i,j)=Gain{[msxk(i,j)-msxk‾(i,j)]×I′(i,j)}+offset×I′(i,j)--(17)]]>同樣，增益因子和直流偏移量對(duì)每個(gè)顏色通道保持一致。
式(16)、(17)是最終的處理表達(dá)式，經(jīng)過大量的試驗(yàn)證明，這一處理方法是廣泛而且有效的，能提供非常理想的圖像處理結(jié)果。圖5是本方法對(duì)不同成像類型的處理結(jié)果圖例。
本方法可以應(yīng)用在一切處理結(jié)果供視覺觀察的場(chǎng)合，例如以下典型領(lǐng)域(a)軍事提供良好的軍事偵察圖像，為指揮員決策提供具有豐富細(xì)節(jié)層次的目標(biāo)圖像。
(b)遙感目標(biāo)區(qū)域圖像細(xì)節(jié)的增強(qiáng)，對(duì)遙感圖像巨大的動(dòng)態(tài)范圍進(jìn)行壓縮，提供適合人眼觀測(cè)的圖像表征。
(c)醫(yī)學(xué)提高CT，核磁共振，X射線等圖像的品質(zhì)，合理增強(qiáng)細(xì)節(jié)，為醫(yī)務(wù)人員準(zhǔn)確辨識(shí)生理組織以及判斷病情提供高品質(zhì)的醫(yī)學(xué)造影圖像。
(d)民用提高數(shù)字成像設(shè)備的成像品質(zhì)，在圖像有損壓縮存儲(chǔ)前提供盡可能多而且合理的圖像細(xì)節(jié)。
(e)工業(yè)提高無(wú)損探測(cè)圖像的清晰度，為后續(xù)處理提供高品質(zhì)前端圖像信息。
因此，本方法具有廣泛應(yīng)用前景。
權(quán)利要求
本發(fā)明是一種數(shù)字圖像增強(qiáng)方法，權(quán)利要求如下1.這是一種數(shù)字圖像增強(qiáng)的方法，包含以下步驟a)圖像強(qiáng)度變換。將數(shù)字圖像Ik(i，j)按照公式(1)的形式進(jìn)行強(qiáng)度變換，將數(shù)字圖像變換到對(duì)數(shù)域；b)圖像對(duì)比度提取。使用公式(7)、(8)進(jìn)行單尺度的數(shù)字圖像對(duì)比度提取，其中使用公式(5)、(6)對(duì)數(shù)字圖像進(jìn)行加窗濾波平均計(jì)算。此步驟提取的對(duì)比度信息能單獨(dú)進(jìn)行顯示輸出。提取對(duì)比度的操作可以在多尺度空間進(jìn)行。c)由步驟(a)、(b)獲得的處理結(jié)果按照公式(16)的形式進(jìn)行調(diào)制和合并，形成最終輸出圖像。如果在步驟b)使用多尺度對(duì)比度提取，則使用式(17)形成輸出。
2.按照權(quán)利要求1的方法，對(duì)圖像進(jìn)行對(duì)比度提取可在多個(gè)尺度上進(jìn)行，包含以下步驟a)使用不同大小的環(huán)繞Gaussian模板窗口對(duì)數(shù)字圖像卷積濾波，并按照權(quán)利要求1的步驟b)的方法構(gòu)建不同尺度上的對(duì)比度圖像。b)使用公式(12)構(gòu)建輸出多尺度對(duì)比度圖像。
3.按照權(quán)利要求1、2的方法，將單尺度對(duì)比度圖像獨(dú)立進(jìn)行輸出顯示時(shí)，公式表述見式(14)，如果使用多尺度對(duì)比度圖像獨(dú)立輸出顯示，公式表述見式(15)，兩式中的增益因子和直流偏移量對(duì)每個(gè)顏色通道保持一致，均為常數(shù)。
4.按照權(quán)利要求1、2的方法，對(duì)圖像提取對(duì)比度的時(shí)候，每一個(gè)尺度上的中心窗口、環(huán)繞窗口的窗口函數(shù)均唯一使用Gaussian模板窗口函數(shù)。
5.按照權(quán)利要求1、2的方法，每一尺度上的中心窗口的尺寸均為一個(gè)像素。
6.按照權(quán)利要求1、2的方法，在每一尺度上構(gòu)建環(huán)繞Gaussian模板窗口時(shí)，環(huán)繞Gaussian窗口模板的標(biāo)準(zhǔn)差常數(shù)范圍均位于圖像長(zhǎng)、寬數(shù)值中的較大值的1％到這一較大值的75％構(gòu)成的區(qū)間內(nèi)。
7.按照權(quán)利要求2的方法，權(quán)重系數(shù)滿足公式(13)。
8.按照權(quán)利要求1、2的方法，常數(shù)A的取值范圍從1到輸入數(shù)字圖像量化區(qū)間上限的10倍。
9.按照權(quán)利要求1、2的方法，按照公式(16)、(17)得到顯示輸出數(shù)字圖像，其中增益因子和直流偏移量對(duì)于每個(gè)顏色光譜通道保持一致，均為常數(shù)。
全文摘要
一種提高彩色和黑白數(shù)字圖像顯示質(zhì)量的增強(qiáng)方法。算法原理源自視覺神經(jīng)動(dòng)力學(xué)研究，包括步驟1.圖像動(dòng)態(tài)范圍重映射。對(duì)每個(gè)光譜通道的圖像進(jìn)行非線性強(qiáng)度變換。2.對(duì)圖像提取對(duì)比度。根據(jù)實(shí)際需要可使用單尺度或多尺度窗口模板對(duì)圖像卷積，以獲得數(shù)字圖像的單尺度或多尺度對(duì)比度信息。不同尺度的對(duì)比度信息處理分別在不同方面提高圖像質(zhì)量，即顏色保真度、細(xì)節(jié)增強(qiáng)等方面，然后對(duì)每個(gè)尺度上的對(duì)比度信息進(jìn)行合并，以同時(shí)集成不同尺度的處理對(duì)圖像信息的不同方面的改善。3.圖像合并。使用步驟2獲得的對(duì)比度信息對(duì)步驟1獲得的變換后的圖像強(qiáng)度進(jìn)行調(diào)制，再合并變換后的圖像強(qiáng)度形成輸出圖像。輸出圖像能提供非常逼近人眼觀察的圖像質(zhì)量。
文檔編號(hào)G06T5/00GK1696975SQ200410038010
公開日2005年11月16日 申請(qǐng)日期2004年5月14日 優(yōu)先權(quán)日2004年5月14日
發(fā)明者蒲恬, 張捷 申請(qǐng)人:蒲恬, 張捷