本發(fā)明涉及計(jì)算機(jī)圖像高動(dòng)態(tài)范圍成像技術(shù)領(lǐng)域，特別涉及一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法。

背景技術(shù)：

在數(shù)字成像系統(tǒng)中，成像器件將接收到的光信號(hào)轉(zhuǎn)化為電信號(hào)，再經(jīng)過(guò)數(shù)字量化形成數(shù)字圖像。然而由于自然場(chǎng)景的輻照度范圍遠(yuǎn)大于成像器件的動(dòng)態(tài)范圍，因此發(fā)展了高動(dòng)態(tài)范圍成像技術(shù)，使得高動(dòng)態(tài)范圍的自然場(chǎng)景能夠被有效紀(jì)錄。

高動(dòng)態(tài)范圍成像技術(shù)可通過(guò)兩個(gè)技術(shù)途徑實(shí)現(xiàn)：成像器件以及數(shù)字圖像。前者基于數(shù)字電路技術(shù)，拓寬成像器件的光電響應(yīng)范圍，以更高位的數(shù)字信號(hào)輸出目標(biāo)輻照度，然而該方法需要更高的工藝和成本，并且必須配置昂貴的高位數(shù)顯示器才能推廣應(yīng)用。然后數(shù)字圖像技術(shù)卻沒(méi)有這么高的要求，因而基于數(shù)字圖像技術(shù)的高動(dòng)態(tài)范圍成像得到了廣泛的應(yīng)用，諸如在手機(jī)攝像、工業(yè)監(jiān)測(cè)、安防監(jiān)控和生物成像等領(lǐng)域。

基于數(shù)字圖像技術(shù)的高動(dòng)態(tài)范圍成像的主流技術(shù)方案包括：

(1)色調(diào)映射，基于目標(biāo)場(chǎng)景的多曝光圖像序列，估計(jì)成像器件的響應(yīng)曲線，得到目標(biāo)場(chǎng)景輻照度的估計(jì)值，再利用映射函數(shù)將高動(dòng)態(tài)范圍(hdr)輻照度映射到低動(dòng)態(tài)范圍(ldr)像素值，使之可直接在常規(guī)顯示器上顯示和使用。但是色調(diào)映射需要較多的ldr圖像才能較準(zhǔn)確地估計(jì)目標(biāo)場(chǎng)景的hdr輻照度，同時(shí)需要設(shè)計(jì)合理的色調(diào)映射函數(shù)，以符合人眼視覺(jué)為目標(biāo)將hdr壓縮到ldr；現(xiàn)有色調(diào)映射技術(shù)在多曝光圖像數(shù)量過(guò)少時(shí)，會(huì)造成相機(jī)響應(yīng)曲線的估計(jì)誤差甚至失敗，而過(guò)多的曝光圖像數(shù)量又會(huì)引入較大的時(shí)間代價(jià)，較難實(shí)時(shí)應(yīng)用在諸如手機(jī)、汽車(chē)及工業(yè)檢測(cè)等領(lǐng)域。

(2)曝光融合，將目標(biāo)場(chǎng)景的多張ldr圖像直接融合為一張ldr圖像，無(wú)需色調(diào)映射中的hdr輻照度估計(jì)這一步驟，相比色調(diào)映射具有更好的實(shí)時(shí)性和靈活性。曝光融合的關(guān)鍵是權(quán)重函數(shù)的設(shè)計(jì)，它的作用是合理選擇多曝光圖像序列中的有用信息，并整合在一張ldr圖像中以呈現(xiàn)目標(biāo)hdr場(chǎng)景。

現(xiàn)有曝光融合技術(shù)采用多分辨率框架實(shí)現(xiàn)不同權(quán)重的圖像融合，而諸如哈爾小波框架會(huì)造成圖像中的方塊效應(yīng)，復(fù)雜小波框架及拉普拉斯金字塔又造成過(guò)多的時(shí)間和內(nèi)存的消耗，在曝光融合效果上，常存在過(guò)曝和欠曝區(qū)域的細(xì)節(jié)丟失，場(chǎng)景中亮度反轉(zhuǎn)等缺陷。

技術(shù)實(shí)現(xiàn)要素：

為解決以上技術(shù)問(wèn)題，本發(fā)明提供兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法?；诙嗥毓夂蛨D像融合技術(shù)，有效解決ldr成像器件和顯示設(shè)備無(wú)法捕獲和呈現(xiàn)hdr目標(biāo)的問(wèn)題，實(shí)現(xiàn)從多張ldr圖像直接合成單張ldr的hdr快速成像。

本發(fā)明的一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法，包括：

將低動(dòng)態(tài)范圍ldr多曝光圖像序列分解在lab顏色空間，得到亮度序列和顏色序列；

根據(jù)所述亮度序列計(jì)算亮度全局權(quán)重函數(shù)；

根據(jù)多曝光圖像序列的總行數(shù)、總列數(shù)和總張數(shù)建立虛擬坐標(biāo)系，基于所述虛擬坐標(biāo)系對(duì)所述亮度序列進(jìn)行超像素分割，建立多曝光圖像的超像素分割結(jié)構(gòu)，基于所述的超像素分割結(jié)構(gòu)，將亮度序列在行數(shù)列數(shù)平面上分割為多個(gè)超像素計(jì)算單元，獲得亮度細(xì)節(jié)權(quán)重函數(shù)，將顏色序列在行數(shù)列數(shù)平面上分割為多個(gè)超像素計(jì)算單元，獲得顏色細(xì)節(jié)權(quán)重函數(shù)；

利用所述亮度全局權(quán)重函數(shù)和亮度細(xì)節(jié)權(quán)重函數(shù)對(duì)所述亮度序列進(jìn)行加權(quán)求和得到融合亮度分量；利用所述顏色細(xì)節(jié)權(quán)重函數(shù)對(duì)顏色序列進(jìn)行加權(quán)求和得到融合顏色分量。

采用所述融合亮度分量和融合顏色分量進(jìn)行曝光融合

本發(fā)明從時(shí)間軸角度構(gòu)建亮度全局權(quán)重函數(shù)，確保曝光融合圖像的亮度分布與真實(shí)hdr場(chǎng)景相符合，從圖像平面角度構(gòu)建細(xì)節(jié)權(quán)重函數(shù)，并結(jié)合亮度顏色分離的方法提取目標(biāo)細(xì)節(jié)，實(shí)現(xiàn)了一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合技術(shù)；同時(shí)利用超像素以計(jì)算單元構(gòu)建局部常量的細(xì)節(jié)權(quán)重函數(shù)，可充分提取局部細(xì)節(jié)信息，避免了過(guò)曝和欠曝區(qū)域的細(xì)節(jié)丟失以及亮度反轉(zhuǎn)缺陷，且無(wú)需多分辨率等復(fù)雜融合過(guò)程，操作簡(jiǎn)單，時(shí)間代價(jià)小。

附圖說(shuō)明

圖1為本發(fā)明兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法優(yōu)選實(shí)施例流程示意圖；

圖2為本發(fā)明的亮度全局權(quán)重函數(shù)與細(xì)節(jié)權(quán)重函數(shù)示意圖；

圖3為本發(fā)明的亮度顏色分離特征示意圖；

圖4為本發(fā)明的兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的直接曝光融合流程圖；

圖5為本發(fā)明的超像素網(wǎng)格計(jì)算單元示意圖；

圖6為本發(fā)明的曝光融合方法與傳統(tǒng)方法對(duì)比結(jié)果。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)一步詳細(xì)說(shuō)明。

本發(fā)明提出的一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法，遵循曝光融合技術(shù)的一般路線，例如，mertenst,kautzj,reethfv.exposurefusion[c]//conferenceoncomputergraphics&applications.ieeecomputersociety,2007:382-390)，首先根據(jù)多張ldr圖像計(jì)算權(quán)重函數(shù)，用于衡量輸入圖像中的特征以怎樣的比例整合至輸出圖像，然后根據(jù)權(quán)重函數(shù)對(duì)輸入圖像序列實(shí)施直接加權(quán)相加，輸出一張符合人眼視覺(jué)的、呈現(xiàn)hdr目標(biāo)場(chǎng)景的ldr圖像，能夠用于后續(xù)計(jì)算機(jī)視覺(jué)和模式識(shí)別等操作，并能夠直接在傳統(tǒng)的ldr顯示設(shè)備上使用。

本發(fā)明提出的一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的直接曝光融合方法，如圖1所示，包括以下步驟：

s1、圖像序列分解

設(shè)輸入的低動(dòng)態(tài)范圍ldr多曝光圖像序列為{ii}，其中i＝1,2,...n指圖像序列編號(hào)，總共n幅ldr多曝光圖像，所述多曝光圖像序列就是不同曝光時(shí)間t1,t2,t3…下獲得的圖像。

將n幅ldr多曝光圖像在lab顏色空間進(jìn)行分解，得到亮度序列{li}，顏色序列{ai}與{bi}，即每幅ldr多曝光圖像經(jīng)過(guò)分解得到亮度分量和顏色分量。

lab顏色空間分解就指把彩色圖像信號(hào)經(jīng)分色、分別放大校正，再經(jīng)過(guò)矩陣變換電路得到亮度信號(hào)和兩個(gè)色差信號(hào)。

s2、亮度全局權(quán)重函數(shù)設(shè)計(jì)

首先，根據(jù)亮度序列在對(duì)數(shù)域計(jì)算有效亮度{li}：

其中l(wèi)og(·)是自然對(duì)數(shù)函數(shù)，lmin和lmax指有效亮度范圍，分別優(yōu)選取值2％和98％

然后，計(jì)算每幅圖像的平均有效亮度{mi}：

其中ni是有效亮度li中非零元素的個(gè)數(shù)。

再次，假設(shè)ldr多曝光圖像序列{ii}的平均有效亮度的中值為mj，于是設(shè)計(jì)如下亮度全局權(quán)重函數(shù)

其中，表示第i幅ldr多曝光圖像的亮度全局權(quán)重函數(shù)，exp(·)是自然指數(shù)函數(shù)。

本發(fā)明亮度全局權(quán)重函數(shù)ωh從亮度角度分析了輸入ldr圖像序列的亮度特征，當(dāng)平均有效亮度mi較小時(shí)，說(shuō)明圖像中包含了較多的欠曝區(qū)域，反之則包含了較多的過(guò)曝區(qū)域。而中間有效亮度mj則能較真實(shí)地反映高動(dòng)態(tài)范圍hdr目標(biāo)場(chǎng)景的亮度分布，于是以mj為參考設(shè)計(jì)亮度全局權(quán)重函數(shù)ωh，為輸入ldr圖像序列賦予全局權(quán)重值，以便可在融合圖像中保全hdr目標(biāo)場(chǎng)景的亮度分布特征。

s3、細(xì)節(jié)權(quán)重函數(shù)設(shè)計(jì)

記輸入低動(dòng)態(tài)范圍ldr多曝光圖像序列{ii}的維度是r×c×n，r、c、n分別表示圖像的總行數(shù)、總列數(shù)和總張數(shù)，并建立如下虛擬坐標(biāo)系，即行數(shù)軸u、列數(shù)軸v、張數(shù)軸t虛擬坐標(biāo)系：

其中u,v,t分別表示圖像序列{ii}的行數(shù)、列數(shù)和張數(shù)，于是第t幅圖像的第r行第c列處的亮度值可表示為l(r,c,t)。

基于所述的虛擬坐標(biāo)系，對(duì)亮度序列{li}進(jìn)行超像素分割，包括：

首先，在uv平面(行數(shù)軸-列數(shù)軸平面)上均勻放置m個(gè)種子點(diǎn)，設(shè)某種子點(diǎn)為p(r0,c0)，其鄰域內(nèi)的點(diǎn)為p(r1,c1)，于是針對(duì)多曝光圖像亮度序列{li}設(shè)計(jì)如下亮度距離判據(jù)dl：

其意義是衡量種子點(diǎn)與其鄰域內(nèi)各像素點(diǎn)間的亮度距離，對(duì)低動(dòng)態(tài)范圍ldr多曝光圖像序列{ii}而言，計(jì)算不同曝光圖像中的所有亮度距離的平均值。

同理可設(shè)計(jì)如下空間距離判據(jù)ds：

它衡量了種子點(diǎn)與其鄰域內(nèi)各像素點(diǎn)間的歐式距離。

因此，根據(jù)所述的亮度距離判據(jù)dl和空間距離判據(jù)ds，以均勻放置在uv平面上的m個(gè)種子點(diǎn)為基準(zhǔn)，采用分割算法，例如slic(achantar,shajia,smithk,etal.slicsuperpixelscomparedtostate-of-the-artsuperpixelmethods[j].ieeetransactionsonpatternanalysis&machineintelligence,2012,34(11):2274-82)等分割算法，可將多曝光圖像亮度序列{li}在uv平面上分割為多個(gè)超像素區(qū)域rij，其中i＝1,2,...n，j＝1,2,...m，表示第i幅圖像的第j個(gè)超像素區(qū)域，然后以單個(gè)超像素區(qū)域?yàn)橛?jì)算單元，設(shè)計(jì)如下的亮度細(xì)節(jié)權(quán)重函數(shù)和顏色細(xì)節(jié)權(quán)重函數(shù)

其中，表示第i幅ldr多曝光圖像的亮度細(xì)節(jié)權(quán)重函數(shù)，表示第i幅ldr多曝光圖像的顏色細(xì)節(jié)權(quán)重函數(shù)，函數(shù)mean(·)和std(·)分別表示求平均值和求標(biāo)準(zhǔn)差，表示超像素區(qū)域rij的亮度，和表示超像素區(qū)域rij的顏色分量，由上述lab顏色空間分解得到，rx是歸一化亮度值，其值是0-1之間取值的常量，優(yōu)選取0.5。

細(xì)節(jié)權(quán)重函數(shù)從細(xì)節(jié)角度詮釋了多曝光圖像序列的權(quán)重大小，對(duì)每一幅ldr圖像而言，以超像素區(qū)域rij為計(jì)算單元，從有效亮度ωv1和顏色飽和度ωv2兩方面分析了圖像中哪些區(qū)域包含了較多的細(xì)節(jié)，進(jìn)而為其分配較大的權(quán)重值。

本發(fā)明以超像素區(qū)域?yàn)橛?jì)算單元的好處包括：(1)超像素區(qū)域內(nèi)不存在縫隙、光暈等鬼影；(2)以超像素區(qū)域?yàn)橛?jì)算單元的操作方式能夠盡可能地提取到局部區(qū)域的細(xì)節(jié)；(3)超像素分割后可降低權(quán)重函數(shù)的計(jì)算時(shí)間。

s4、融合方法設(shè)計(jì)

作為一種可實(shí)現(xiàn)方式，設(shè)計(jì)如下曝光融合策略：

利用所述亮度全局權(quán)重函數(shù)和亮度細(xì)節(jié)權(quán)重函數(shù)對(duì)所述亮度序列進(jìn)行加權(quán)求和得到融合亮度分量

利用所述顏色細(xì)節(jié)權(quán)重函數(shù)對(duì)顏色序列進(jìn)行加權(quán)求和得到融合顏色分量

上述公式中，lf表示融合亮度分量，af和bf表示融合顏色分量，整個(gè)融合過(guò)程直接在空域內(nèi)完成，無(wú)須多分辨率分解框架，操作簡(jiǎn)單。

本發(fā)明以超像素為計(jì)算單元，有效保障了融合圖像的局部連續(xù)性，但是以上方案在相鄰超像素邊界可能存在不連續(xù)性，在融合圖像上表現(xiàn)為塊狀效應(yīng)，本發(fā)明為進(jìn)一步消除塊狀效應(yīng)，對(duì)細(xì)節(jié)權(quán)重函數(shù)實(shí)施如下優(yōu)化：

其中和指優(yōu)化的細(xì)節(jié)權(quán)重函數(shù)，gf(·)是導(dǎo)向?yàn)V波器，導(dǎo)向?yàn)V波器不是本發(fā)明重點(diǎn)，具體技術(shù)細(xì)節(jié)參見(jiàn)hek,sunj,tangx.guidedimagefiltering.[j].ieeetransactionsonsoftwareengineering,2013,35(6):1397-1409，導(dǎo)向?yàn)V波器使得優(yōu)化的細(xì)節(jié)權(quán)重函數(shù)滿足：

其中∝代表線性關(guān)系，代表圖像的梯度。

優(yōu)化操作為細(xì)節(jié)權(quán)重函數(shù)提供了與圖像亮度相似的梯度特征，一方面有效解決超像素區(qū)域間的不連續(xù)性，消除塊狀效應(yīng)，另一方面為直接曝光融合提供更優(yōu)化的條件。

因此，作為一種優(yōu)選實(shí)現(xiàn)方式，設(shè)計(jì)如下直接曝光融合策略

本發(fā)明提出的一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的直接曝光融合方法，其多曝光圖像序列可視為三維空間中的數(shù)據(jù)點(diǎn)，如圖2所示，維度u和v衡量了圖像的二維平面空間，分別代表圖像的行數(shù)和列數(shù)，而維度t衡量了圖像序列的時(shí)間，代表圖像序列的張數(shù)。曝光融合則將三維空間的圖像數(shù)據(jù)融合至二維空間，形成一張二維的圖像，基于此思想，本發(fā)明從三維空間出發(fā)，設(shè)計(jì)了亮度全局權(quán)重函數(shù)和細(xì)節(jié)權(quán)重函數(shù)。

如圖2所示，所述的亮度全局權(quán)重函數(shù)ωh在維度t方向上為圖像序列{ii}分配全局權(quán)重值，它衡量了圖像序列在時(shí)間維度上的亮度變化，以中間有效亮度為參考，保障了目標(biāo)場(chǎng)景亮度分布在融合圖像中的體現(xiàn)。所述的細(xì)節(jié)權(quán)重函數(shù)ωv在維度u和v組成的平面上，衡量了單幅圖像上的局部細(xì)節(jié)變化，分別利用亮度和顏色信息充分提取了目標(biāo)場(chǎng)景的細(xì)節(jié)。綜上所述，本發(fā)明從u-v-t三維空間出發(fā)，構(gòu)建了亮度全局權(quán)重函數(shù)確保了所述的曝光融合方法的亮度分布特征，構(gòu)建了細(xì)節(jié)權(quán)重函數(shù)確保了所述的曝光融合方法的細(xì)節(jié)呈現(xiàn)特征。

亮度全局權(quán)重函數(shù)和細(xì)節(jié)權(quán)重函數(shù)的具體實(shí)施如圖3、圖4所示，將輸入的rgb圖像在lab空間分解得到l分量、a分量和b分量，接著利用l分量計(jì)算所述的亮度全局權(quán)重函數(shù)ωh和細(xì)節(jié)權(quán)重函數(shù)ωv1，利用a分量和b分量計(jì)算所述的細(xì)節(jié)權(quán)重函數(shù)ωv2。同理在圖像融合階段，分別在l分量、a分量和b分量進(jìn)行重構(gòu)，再合成rgb圖像并得到最終的融合圖像。因此，本發(fā)明基于亮度顏色分離的特征，構(gòu)建了融合權(quán)重函數(shù)并分離地實(shí)現(xiàn)了圖像融合。

若僅使用所述的亮度全局權(quán)重函數(shù)實(shí)施直接曝光融合，融合圖像雖能呈現(xiàn)目標(biāo)細(xì)節(jié)，但對(duì)比度低下；若僅使用所述的細(xì)節(jié)權(quán)重函數(shù)實(shí)施直接曝光融合，融合圖像將存在非常嚴(yán)重的鬼影。導(dǎo)致該現(xiàn)象的原因是：亮度全局權(quán)重函數(shù)是一個(gè)全局常量，雖無(wú)鬼影亦無(wú)法體現(xiàn)細(xì)節(jié)，而細(xì)節(jié)權(quán)重函數(shù)的特點(diǎn)是局部不連續(xù)，雖體現(xiàn)細(xì)節(jié)但存在嚴(yán)重鬼影。基于該現(xiàn)象，本發(fā)明提出使用超像素思想構(gòu)建一個(gè)局部常量的權(quán)重函數(shù)，即以超像素為計(jì)算單元，如圖5示意，能夠有效保證局部區(qū)域的連續(xù)性，又能充分體現(xiàn)目標(biāo)細(xì)節(jié)。而后，借助邊緣保持的導(dǎo)向?yàn)V波消除超像素操作造成的塊狀效應(yīng)，避免了復(fù)雜的多分辨多尺度圖像融合框架而直接實(shí)現(xiàn)融合。

最終將lab空間的融合圖像轉(zhuǎn)換到rgb顏色空間，得到一張兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合圖像，如圖6所示，對(duì)比了本發(fā)明比較于傳統(tǒng)方法的有益之處，如第一行圖像所示，傳統(tǒng)方法的實(shí)線橢圓區(qū)域p1對(duì)比本發(fā)明方法的虛線橢圓區(qū)域p2，前者無(wú)法清晰呈現(xiàn)鐵塔的較暗細(xì)節(jié)，而本發(fā)明更能體現(xiàn)hdr場(chǎng)景的各處細(xì)節(jié)；又如第二行圖像所示，傳統(tǒng)方法的直方圖r1對(duì)比本發(fā)明方法的直方圖r2，前者的兩個(gè)峰值更集中向中間靠攏，與真實(shí)hdr場(chǎng)景亮度分布相違背，而本發(fā)明則能較好地呈現(xiàn)hdr場(chǎng)景的亮暗對(duì)比，因此兼顧了hdr場(chǎng)景的亮度分布和細(xì)節(jié)呈現(xiàn)。

本發(fā)明提出的一種兼顧亮度分布和細(xì)節(jié)呈現(xiàn)的曝光融合方法，具有四大特征：(1)亮度分布特征，充分考慮hdr目標(biāo)場(chǎng)景的亮度分布在融合圖像中的體現(xiàn)，并設(shè)計(jì)了亮度全局權(quán)重函數(shù)保全亮度分布特征；(2)細(xì)節(jié)呈現(xiàn)特征，充分提取hdr目標(biāo)場(chǎng)景的局部細(xì)節(jié)，利用超像素思想設(shè)計(jì)了細(xì)節(jié)權(quán)重函數(shù)；(3)亮度顏色分離特征，在lab空間分別對(duì)亮度和顏色通道賦予不同的權(quán)重函數(shù)，充分提取目標(biāo)的細(xì)節(jié)與顏色特征；(4)直接融合特征，僅利用邊緣保持濾波器消除超像素塊效應(yīng)，無(wú)須多分辨多頻帶等復(fù)雜操作直接實(shí)現(xiàn)圖像融合。

本發(fā)明基于多曝光和圖像融合技術(shù)，有效解決ldr成像器件和顯示設(shè)備無(wú)法捕獲和呈現(xiàn)hdr目標(biāo)的問(wèn)題，實(shí)現(xiàn)從多張ldr圖像直接合成單張ldr的hdr成像，滿足hdr目標(biāo)在亮度分布和細(xì)節(jié)呈現(xiàn)兩方面的需求，本發(fā)明可為ldr成像系統(tǒng)提供一種靈活的快速的hdr成像功能，可廣泛應(yīng)用于工業(yè)成像、安全監(jiān)控、全景相機(jī)和手機(jī)攝像頭等存在高動(dòng)態(tài)或?qū)拕?dòng)態(tài)輻照度的場(chǎng)合。

以上所舉實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)進(jìn)行了進(jìn)一步的詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所舉實(shí)施例僅為本發(fā)明的優(yōu)選實(shí)施方式而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)對(duì)本發(fā)明所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。