本發(fā)明涉及數(shù)字圖像處理領(lǐng)域技術(shù)，且特別是有關(guān)于一種有基于塊匹配動(dòng)態(tài)估計(jì)算法去鬼影的高動(dòng)態(tài)視頻合成方法。
背景技術(shù)：
：在圖像領(lǐng)域中,動(dòng)態(tài)范圍(DynamicRange)指在圖像可顯示范圍內(nèi)最大灰度值與最小灰度值之間的比率。對于真實(shí)世界中的自然場景，從直射的太陽光到樹下的陰影，最亮的光照亮度與最暗光照亮度的比值大約有104個(gè)數(shù)量級(jí)，因此稱之為高動(dòng)態(tài)范圍。然而，在目前大部分的彩色圖像中，各個(gè)通道由于存儲(chǔ)位數(shù)的限制，能夠表示的范圍僅為0-255灰度級(jí)，因此稱圖像的動(dòng)態(tài)范圍為低動(dòng)態(tài)范圍(LowDynamicRange，后簡稱LDR)。人類視覺系統(tǒng)在光線強(qiáng)弱不同的情況下，依然可以利用自身的調(diào)節(jié)感知到整個(gè)場景的信息。然而數(shù)碼相機(jī)很難做到這一點(diǎn)，它的成像過程實(shí)際上就是真實(shí)世界的高動(dòng)態(tài)范圍到相機(jī)的低動(dòng)態(tài)范圍的映射，這是一個(gè)非線性的過程。當(dāng)曝光度被設(shè)定后，拍攝設(shè)備很難兼顧過亮和過暗的地方，容易形成曝光過度和曝光不足的情況，例如在室內(nèi)拍攝站在有陽光射入的窗前的人像時(shí)，很難同時(shí)清晰地拍攝人臉部細(xì)節(jié)與窗外的景象。這類圖像中像素值與場景中對應(yīng)點(diǎn)的亮度值不是成正比的關(guān)系，造成了照片/視頻對現(xiàn)實(shí)世界的低還原。為了讓圖像或視頻更為真實(shí)，可以盡可能地展示整個(gè)復(fù)雜光強(qiáng)場景的信息，同時(shí)又不會(huì)導(dǎo)致色彩偏差太大，圖像失真，高動(dòng)態(tài)范圍(HighDynamicRange，后簡稱HDR)的概念被提出。目前，對于HDR視頻的研究還未成熟。雖然已有能夠直接獲得HDR的拍攝設(shè)備以及直接顯示HDR的顯示設(shè)備，但是，由于尚未制定統(tǒng)一的HDR編碼標(biāo)準(zhǔn)，HDR在應(yīng)用級(jí)別上的發(fā)展還需要一個(gè)很長的過程。2010年，SovietMontage公布了一段使用兩臺(tái)5DmarkIIS拍攝的HDR影片，它使用一個(gè)分光鏡來解決不同位置的相機(jī)的視角差問題。RED和Arri公司也開發(fā)了針對HDR的感光芯片。民用產(chǎn)品中，Cannon的5D3自帶HDR照片拍攝模式，Sony更是開發(fā)除了HDRmovie功能。然而，這些產(chǎn)品和技術(shù)由于價(jià)格昂貴或?qū)υO(shè)備要求較高的原因，很難在消費(fèi)級(jí)別的設(shè)備上有所突破。另一種獲得HDR視頻的途徑是利用一個(gè)可以改變曝光時(shí)間的照相機(jī)，在拍攝一個(gè)場景的過程中不斷地快速改變其曝光時(shí)間，以獲得一組不同曝光度交替的圖像序列。然后，利用HDR圖像生成的方法和一些視頻編碼的方式來獲得最終的HDR視頻。這類方法需要解決因?yàn)檫\(yùn)動(dòng)物體過快而產(chǎn)生的圖片校準(zhǔn)問題，因?yàn)樽罱K視頻的每一幀是由前面的一組不同曝光度圖片合成的，如果運(yùn)動(dòng)物體的移動(dòng)速度較快，而照相機(jī)難以達(dá)到相應(yīng)的拍攝速度，就會(huì)導(dǎo)致最后不同曝光度圖片運(yùn)用復(fù)雜的方法進(jìn)行校準(zhǔn)，而且短時(shí)間內(nèi)不停地進(jìn)行反復(fù)的曝光度改變對設(shè)備來說也是個(gè)苛刻的要求。HDR圖像通常由多張不同曝光度下靜止的LDR圖像合成，然而，這種方法對于HDR視頻并不適用，原因在于當(dāng)拍攝視頻時(shí)，場景中的運(yùn)動(dòng)物體在每一幀中所處位置并不相同，因此，如果直接使用不同曝光度下的幀進(jìn)行合成，將會(huì)在合成的HDR圖像中出現(xiàn)多個(gè)相同的運(yùn)動(dòng)物體，也就是所謂的鬼影。技術(shù)實(shí)現(xiàn)要素：本發(fā)明目的在于提供一種基于塊匹配動(dòng)態(tài)估計(jì)算法去鬼影的高動(dòng)態(tài)視頻合成方法，通過運(yùn)動(dòng)估計(jì)對鬼影區(qū)域進(jìn)行檢測，并通過融合算法去除鬼影合成HDR視頻幀。為達(dá)成上述目的，本發(fā)明提出一種基于塊匹配動(dòng)態(tài)估計(jì)算法去鬼影的高動(dòng)態(tài)視頻合成方法，包括下列步驟：(1)塊匹配：從輸入的圖片序列中選定參考幀和當(dāng)前幀，進(jìn)行灰度化處理后采用ARPS3塊匹配算法計(jì)算出當(dāng)前幀的運(yùn)動(dòng)向量；(2)運(yùn)動(dòng)區(qū)域標(biāo)定：使用步驟(1)中計(jì)算得到的運(yùn)動(dòng)向量來檢測當(dāng)前幀和參考幀各自的運(yùn)動(dòng)區(qū)域，對特定圖像的運(yùn)動(dòng)區(qū)域進(jìn)行合并，并在二值位圖上進(jìn)行標(biāo)記；(3)去鬼影HDR圖像合成步驟：首先進(jìn)行去鬼影操作，即利用在步驟(2)中獲得的二值位圖對根據(jù)ExposureFusion算法計(jì)算得到的權(quán)重圖進(jìn)行改進(jìn)，需要進(jìn)行融合的圖像在改進(jìn)后的權(quán)重圖的指導(dǎo)下進(jìn)行融合，以得到最終的HDR圖像即視頻幀。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下有益效果：本發(fā)明開創(chuàng)性地使用了塊匹配運(yùn)動(dòng)估計(jì)算法對會(huì)造成鬼影的運(yùn)動(dòng)區(qū)域進(jìn)行檢測，并依據(jù)檢測結(jié)果對需要合成的LDR圖像序列進(jìn)行運(yùn)動(dòng)區(qū)域標(biāo)注，再根據(jù)運(yùn)動(dòng)區(qū)域?qū)xposureFusion算法中的權(quán)重加以改進(jìn)，生成去鬼影HDR圖像并合成視頻。通過實(shí)驗(yàn)證明，本發(fā)明能夠較好地提高通過不同曝光值的LDR視頻序列生成HDR視頻的質(zhì)量。附圖說明附圖不意在按比例繪制。在附圖中，在各個(gè)圖中示出的每個(gè)相同或近似相同的組成部分可以用相同的標(biāo)號(hào)表示。為了清晰起見，在每個(gè)圖中，并非每個(gè)組成部分均被標(biāo)記?，F(xiàn)在，將通過例子并參考附圖來描述本發(fā)明的各個(gè)方面的實(shí)施例，其中：圖1為本發(fā)明基于塊匹配動(dòng)態(tài)估計(jì)算法去鬼影的高動(dòng)態(tài)視頻合成方法的流程圖。圖2為圖1包含各個(gè)算法詳細(xì)步驟的方法示意圖。圖3為圖1中塊匹配步驟的算法原理圖。圖4為圖1中塊匹配步驟所采用的ARPS3算法的搜索模型圖。圖5為圖1中塊匹配步驟計(jì)算運(yùn)動(dòng)向量時(shí)相鄰位置宏塊的示意圖。圖6為圖1中HDR視頻合成步驟中的ExposureFusion算法流程圖。圖7為本發(fā)明與其他HDR視頻合成方法得到結(jié)果的細(xì)節(jié)對比圖，其中直接融合(上/左)、基于運(yùn)動(dòng)區(qū)域的權(quán)重圖算法(中)、基于勻速直線運(yùn)動(dòng)假設(shè)的幀補(bǔ)償算法(下/右)。圖8為測試視頻原始幀序列(部分)。圖9為不同算法HDR合成圖整體比較表。圖10為不同算法鬼影去除效果比較表。具體實(shí)施方式為了更了解本發(fā)明的技術(shù)內(nèi)容，特舉具體實(shí)施例并配合所附圖式說明如下。在本公開中參照附圖來描述本發(fā)明的各方面，附圖中示出了許多說明的實(shí)施例。本公開的實(shí)施例不必定意在包括本發(fā)明的所有方面。應(yīng)當(dāng)理解，上面介紹的多種構(gòu)思和實(shí)施例，以及下面更加詳細(xì)地描述的那些構(gòu)思和實(shí)施方式可以以很多方式中任意一種來實(shí)施，這是因?yàn)楸景l(fā)明所公開的構(gòu)思和實(shí)施例并不限于任何實(shí)施方式。另外，本發(fā)明公開的一些方面可以單獨(dú)使用，或者與本發(fā)明公開的其他方面的任何適當(dāng)組合來使用。當(dāng)通過一組以不同曝光交替拍攝的視頻幀來合成高動(dòng)態(tài)視頻(HDR)視頻時(shí)，由于在拍攝時(shí)場景中的運(yùn)動(dòng)物體在每一幀中所處位置并不相同，因此，如果直接使用不同曝光度下的幀進(jìn)行合成，將會(huì)在合成的HDR圖像中出現(xiàn)多個(gè)相同的運(yùn)動(dòng)物體，也就是所謂的鬼影。本發(fā)明下述內(nèi)容將要描述的一個(gè)或多個(gè)實(shí)施方案就是通過運(yùn)動(dòng)估計(jì)對鬼影區(qū)域進(jìn)行檢測，并通過融合算法去除鬼影最后合成HDR視頻幀。結(jié)合圖1、圖2，根據(jù)本發(fā)明的實(shí)施例，提出一種基于塊匹配運(yùn)動(dòng)估計(jì)算法的高動(dòng)態(tài)視頻合成方法，通過檢測鬼影區(qū)域，對原視頻中不同曝光值的LDR視頻幀標(biāo)記物體運(yùn)動(dòng)區(qū)域，并通過改進(jìn)后融合算法把這組LDR視頻幀去除鬼影合并成一個(gè)HDR視頻幀。以L1,H1,L2,H2……(其中，L代表低曝光度，H代表高曝光度)這樣的圖像序列作為輸入，假設(shè)直接使用HDR圖像合成算法對L1和H1進(jìn)行曝光融合，那么，由于L1和H1中的運(yùn)動(dòng)物體并不完全重疊，最后合成的HDR圖像中將會(huì)產(chǎn)生鬼影。因此需要在合成過程中保留某一曝光度下的運(yùn)動(dòng)區(qū)域而消除另一曝光度下的運(yùn)動(dòng)區(qū)域，例如，本發(fā)明中在最終生成的HDR圖像中保留H1圖像中的運(yùn)動(dòng)區(qū)域，去除L1中的運(yùn)動(dòng)區(qū)域。根據(jù)本發(fā)明的公開，在實(shí)現(xiàn)過程中主要使用ARPS3塊匹配運(yùn)動(dòng)估計(jì)算法，ExposureFusion算法(融合算法)來實(shí)現(xiàn)。下面介紹方法的流程并具體說明本發(fā)明所使用的各項(xiàng)技術(shù)的實(shí)施方式。圖1描述了方法的整個(gè)工作流，圖2為包括了塊匹配運(yùn)動(dòng)估計(jì)算法以及ExposureFusion算法的示意圖。首先讀取一組高低曝光值交替的LDR視頻的圖像序列L1H1L2H2...，然后在步驟1)塊匹配中，根據(jù)參考幀計(jì)算當(dāng)前幀的運(yùn)動(dòng)向量，這些運(yùn)動(dòng)向量將被用于之后的運(yùn)動(dòng)區(qū)域的檢測。因?yàn)橄嗤南袼刂翟诓煌毓舛鹊膱D像中意味著不同的光照強(qiáng)度，并且在不同曝光度下獲得的照片將保留拍攝場景中完全不同的部分，所以在選定參考幀和當(dāng)前幀時(shí)，需要考慮到對應(yīng)的參考幀和當(dāng)前幀是否處于同一曝光度下。例如，如果選定L1作為當(dāng)前幀，那么，應(yīng)選擇L2而非H1作為L1的參考幀，這是因?yàn)長1與H1關(guān)注場景中完全不同的信息(L1關(guān)注色彩豐富的天空背景而H1關(guān)注細(xì)節(jié)清晰的人物前景)，對L1與H1進(jìn)行塊匹配計(jì)算沒有任何意義。在選定參考幀和當(dāng)前幀后，對輸入的圖像進(jìn)行灰度化處理，以用于接下來的塊匹配計(jì)算。結(jié)合圖1、圖2所示，本發(fā)明的高動(dòng)態(tài)視頻合成方法，包括下述三個(gè)步驟：(1)塊匹配：從輸入的圖片序列中選定參考幀和當(dāng)前幀，進(jìn)行灰度化處理后采用ARPS3塊匹配算法計(jì)算出當(dāng)前幀的運(yùn)動(dòng)向量；(2)運(yùn)動(dòng)區(qū)域檢測與標(biāo)定：使用步驟(1)中計(jì)算得到的運(yùn)動(dòng)向量來檢測當(dāng)前幀和參考幀各自的運(yùn)動(dòng)區(qū)域，對特定圖像的運(yùn)動(dòng)區(qū)域進(jìn)行合并，并在二值位圖上進(jìn)行標(biāo)記；(3)去鬼影HDR圖像合成步驟：利用在步驟(2)中獲得的二值位圖對根據(jù)ExposureFusion算法計(jì)算得到的權(quán)重圖進(jìn)行改進(jìn)，需要進(jìn)行融合的圖像在改進(jìn)后的權(quán)重圖的指導(dǎo)下進(jìn)行融合，以得到最終的HDR圖像即視頻幀。下面將結(jié)合附圖1-7所示對該三個(gè)步驟進(jìn)行具體的說明。(1)塊匹配步驟用到的技術(shù)：塊匹配的運(yùn)動(dòng)估計(jì)算法塊匹配的基本思想是將圖像序列的每一幀分成許多互不重疊的宏塊，并認(rèn)為宏塊內(nèi)所有象素的位移量都相同，然后對每個(gè)宏塊到參考幀某一給定特定搜索范圍內(nèi)根據(jù)一定的匹配準(zhǔn)則找出與當(dāng)前塊最相似的塊，即匹配塊，匹配塊與當(dāng)前塊的相對位移即為運(yùn)動(dòng)向量，塊匹配算法原理如圖3所示。搜索范圍：一般情況下，大小為S*S＝(2ω+1)*(2ω+1)的搜索窗被用來尋找最佳匹配塊，并限制了在參考幀中搜索最佳匹配塊的范圍。這樣，運(yùn)動(dòng)矢量的值被限制于-ω≤Vx≤ω,-ω≤Vy≤ω中。同時(shí)，在S*S的搜索窗中的候選運(yùn)動(dòng)矢量構(gòu)成了一個(gè)集合P＝{(Vx,Vy)|-ω≤Vx≤ω,-ω≤Vy≤ω}。匹配函數(shù)：運(yùn)動(dòng)搜索的目的就是在搜索窗內(nèi)尋找與當(dāng)前塊最匹配的數(shù)據(jù)塊。在本方法中，出于減少計(jì)算復(fù)雜度的考慮，選擇了匹配函數(shù)(1)來判斷匹配程度,SAD值越大，匹配程度越低。SAD(i,j)=Σm=0MΣn=0N|fk(m,n)-fk-1(m+i,n+j)|---(1)]]>匹配準(zhǔn)則：本發(fā)明的合成方法中采用了基于塊內(nèi)相關(guān)的快速塊匹配算法ARPS3(Unequal-armAdaptiveRoodPatternSearch)來進(jìn)行運(yùn)動(dòng)估計(jì)?；趬K內(nèi)相關(guān)的快速塊匹配算法相比固定搜索模式的快速塊匹配算法較為復(fù)雜，這一類方法利用當(dāng)前塊與在空間或者時(shí)間上相鄰的塊之間的相關(guān)性來預(yù)測目標(biāo)MV。目標(biāo)MV可以通過計(jì)算相鄰MV的統(tǒng)計(jì)平均或者根據(jù)一定的判別方式選擇其中一個(gè)相鄰的MV來預(yù)測。在預(yù)測以后，搜索窗的大小和搜索中心相應(yīng)地被重新定義，然后在這個(gè)新的搜索窗中執(zhí)行快速塊匹配算法。在這種方法中，需要額外的存儲(chǔ)器來存儲(chǔ)相鄰MV。ARPS3搜索算法與ARPS搜索算法類似，ARPS3就是搜索模型的臂長不等的ARPS。ARPS算法首先判斷靜止宏塊，然后使用包括當(dāng)前塊左側(cè)緊鄰塊的運(yùn)動(dòng)向量的ARP搜索模型(如圖4(b)ARPSearchPattern)進(jìn)行一次初步搜索，在確定最小錯(cuò)誤匹配點(diǎn)后，將搜索中心移至該點(diǎn)，使用URP搜索模型(如圖4(b)URPSearchPattern)進(jìn)行反復(fù)精確搜索直至最小匹配錯(cuò)誤點(diǎn)在URP搜索模型的中心。而ARPS3搜索算法如圖4(a)所示，它的搜索模型的臂長是由相鄰幾幀和預(yù)測向量決定的，相鄰幀是指左、上、右上三幀，如圖5所示。另外，為了算法的魯棒性，原點(diǎn)到中心點(diǎn)的向量也被用到。預(yù)測向量由中值預(yù)測確定，臂長由公式(2)決定，它與ARPS的不同之處在于它的搜索中心放在得到的預(yù)測矢量上并且臂長不等長，而ARPS中的搜索中心在當(dāng)前塊中心臂長相等。(2)運(yùn)動(dòng)區(qū)域檢測與標(biāo)定步驟：本步驟用于分別檢測四幀輸入圖像的運(yùn)動(dòng)區(qū)域，并產(chǎn)生兩張0-1二值位圖，其中，非運(yùn)動(dòng)像素用0進(jìn)行標(biāo)記，運(yùn)動(dòng)像素用1進(jìn)行標(biāo)記。每張二值位圖映射了將要用于曝光融合的相鄰兩幀的運(yùn)動(dòng)區(qū)域總和，例如第一張位圖映射了L1與H1的運(yùn)動(dòng)區(qū)域總和，第二張位圖反應(yīng)了L2與H2的運(yùn)動(dòng)區(qū)域總和。具體地，兩個(gè)步驟需要被執(zhí)行：1)運(yùn)動(dòng)區(qū)域檢測，2)位圖生成。1)運(yùn)動(dòng)區(qū)域檢測在本步驟中，將對當(dāng)前幀的運(yùn)動(dòng)區(qū)域和參考幀的運(yùn)動(dòng)區(qū)域分別檢測，并最終對需要曝光融合的相鄰幀的運(yùn)動(dòng)區(qū)域進(jìn)行合并。因此，共包含a.當(dāng)前幀運(yùn)動(dòng)區(qū)域檢測，b參考幀運(yùn)動(dòng)區(qū)域檢測，c.運(yùn)動(dòng)區(qū)域合并三個(gè)子步驟。a、當(dāng)前幀運(yùn)動(dòng)區(qū)域檢測由于在塊匹配模塊中已經(jīng)獲得了兩張當(dāng)前幀的運(yùn)動(dòng)向量，因此，將運(yùn)動(dòng)向量不為(0,0)的宏塊認(rèn)為是當(dāng)前幀的運(yùn)動(dòng)區(qū)域，否則為非運(yùn)動(dòng)區(qū)域。將當(dāng)前幀序列(如L1H1L3H3L5H5……)中的第k(k從1開始計(jì)數(shù))幀定義為Ck，定義該幀中的運(yùn)動(dòng)區(qū)域?yàn)镃MAk,定義該幀中處于位置(i,j)處的宏塊為CBlocki,j,k，類似的，CBlocki,j,k的運(yùn)動(dòng)向量被定義為于是，CMAk可以根據(jù)公式(3)獲得：b、參考幀運(yùn)動(dòng)區(qū)域檢測根據(jù)塊匹配運(yùn)動(dòng)估計(jì)的定義，當(dāng)前幀Ck中處于位置(i,j)上的宏塊在參考幀中的最佳匹配塊將位于位置上，也就是說，當(dāng)前幀中運(yùn)動(dòng)物體在參考幀中新的位置處于點(diǎn)處。將參考幀序列(如L2H2L4H4L6H6……)中的第l(l從1開始計(jì)數(shù))幀定義為Rl，定義R1的運(yùn)動(dòng)區(qū)域?yàn)镽MAl，Rl中位于(p,q)位置上的宏塊被定義為RBlockp,q,l。于是，參考幀的運(yùn)動(dòng)區(qū)域的獲得如公式(4)所示：RMAl＝∪RBlockp,q,l(4)c、運(yùn)動(dòng)區(qū)域合并在視頻序列中，由于運(yùn)動(dòng)區(qū)域并不完全重合，算法將對相鄰兩張當(dāng)前幀(或相鄰兩張參考幀)的運(yùn)動(dòng)區(qū)域進(jìn)行合并。定義當(dāng)前幀Ck和Ck+1(此處k為奇數(shù)，因?yàn)樾枰_保Ck和Ck+1在整個(gè)視頻序列中相鄰)合并后的運(yùn)動(dòng)區(qū)域?yàn)镃MA′k+1，參考幀Rk和Rk+1合并后的運(yùn)動(dòng)區(qū)域?yàn)镽MA′k+1。CMA′k+1和RMA′k+1可以通過公式(5)求得：CMA′k+1=CMAk∪CMAk+1RMA′k+1=RMAk∪RMAk+1---(5)]]>2)位圖生成本步驟用于生成兩張0-1二值位圖，第一張位圖用于標(biāo)記兩張相鄰當(dāng)前幀Ck和Ck+1的運(yùn)動(dòng)像素，定義其為CBitmapk+1，第二張位圖用于標(biāo)記兩張相鄰參考幀Rk和Rk+1的運(yùn)動(dòng)像素，定義其為RBitmapk+1。定義CBitmapk+1中處于位置(i,j)的像素為CPixeli,j,k+1，定義RBitmapk+1中處于位置(i,j)的像素為RBitmapk+1。根據(jù)公式(6)和(7)，對CBitmapk+1和RBitmapk+1進(jìn)行賦值。CPixeli,j,k+1＝1ifCPixeli,j,k+1∈CMA′k+1CPixeli,j,k+1=0ifCPixeli,j,k+1∉CMA′k+1---(6)]]>RPixeli,j,k+1＝1ifRPixeli,j,k+1∈RMA′k+1(7)RPixeli,j,k+1=0ifRPixeli,j,k+1∉RMA′k+1]]>(3)去鬼影HDR圖像合成步驟用到的技術(shù)：ExposureFusion算法Exposurefusion的核心思想是利用空間濾波和圖像金字塔方法在多分辨率下對高頻部分分離處理。圖像金字塔的最上面一層是不同曝光度權(quán)值分配相加后的結(jié)果，其它層則是通過上一層的上采樣操作加上不同曝光度圖片在該層的高頻部分和，以此往復(fù)直到獲得最底層。算法流程如圖6所示。Fusion方法雖然也需要若干曝光不同的幀，但是并非將響應(yīng)曲線還原到正確亮度，而是選取各幀“最好”的部分進(jìn)行合成。這種“最好”的度量由權(quán)重圖決定。使用Laplacian金字塔將輸入多曝光圖像序列分解成不同層的子圖像，使用Gaussian金字塔將權(quán)重圖分解成不同層的子圖像，來控制對應(yīng)子圖像的權(quán)重，最后通過平滑融合規(guī)則實(shí)現(xiàn)多曝光融合。權(quán)重圖的計(jì)算：對比度C(Contrast):對每張圖片的灰度圖進(jìn)行拉普拉斯濾波，計(jì)算得到濾波響應(yīng)的絕對值，這產(chǎn)生針對對比度的度量值C，它保留了圖像的邊緣和高對比度的地方，對比度高的地方認(rèn)為是“好的”；飽和度S(Saturation):計(jì)算每個(gè)像素點(diǎn)R、G、B通道的標(biāo)準(zhǔn)差，得到度量值S，它保留了圖像中顏色飽和的像素，當(dāng)S較大的時(shí)候圖片色彩更加豐富，這時(shí)被認(rèn)為是“好的”；曝光度E(Well-exposedness):查看單個(gè)通道的絕對強(qiáng)度，可以揭露一個(gè)像素的曝光強(qiáng)度。為了保留強(qiáng)度值不接近0(曝光不足)和強(qiáng)度值不接近1(曝光過度)的像素，使用高斯公式計(jì)算每個(gè)像素與0.5的接近程度。使用該方法對每個(gè)通道進(jìn)行計(jì)算，并將得到的結(jié)果相乘得到E。根據(jù)公式(8)，計(jì)算得到第k張圖的權(quán)重圖，其中wc,ws,we為相應(yīng)的權(quán)重系數(shù)，ij,k代表第k張圖中的處于(i,j)位置上的像素。使用計(jì)算得到的Wij,k對N張圖片的每個(gè)像素計(jì)算權(quán)重平均值，為了得到一個(gè)一致性的結(jié)果，實(shí)驗(yàn)中根據(jù)公式(9)對N張圖片的值進(jìn)行歸一化處理。Wij,k＝(Cij,k)wc*(Sij,k)ws*(Eij,k)we(8)W^ij,k=[Σk′=1NWij,k′]-1Wij,k---(9)]]>綜合來說這三種度量方式反應(yīng)了圖像特征，符合人類視覺系統(tǒng)的信息處理特點(diǎn)，在絕大多數(shù)場景實(shí)驗(yàn)中都是有效的。融合：在實(shí)驗(yàn)中，輸入為N張不同曝光度的圖片和根據(jù)公式(9)得到的N張歸一化后的權(quán)重圖。定義圖像A處于Laplacian金字塔第l層的圖像為L{A}l,定義圖像B處于Gaussian金字塔第l層的圖像為G{B}l,根據(jù)公式(10)，計(jì)算得到融合后的圖像金字塔。L(R)ijl=Σk=1NG{W^}ij,klL{I}ij,kl---(10)]]>最后，根據(jù)這1張圖像獲得最終圖像。結(jié)合本發(fā)明的前述步驟，在本步驟(3)中，在Mertens提出的曝光融合算法上加以改進(jìn)，融合兩張不同曝光度的照片以生成最終的HDR圖像。兩個(gè)子步驟需要被執(zhí)行：1)權(quán)重圖加工2)曝光融合權(quán)重圖加工根據(jù)Mertens提出的融合算法，算法首先需要計(jì)算兩張不同曝光度的輸入圖像Ck(Rk)和Ck+1(Rk+1)的權(quán)重圖，定義其為CWk(RWk)和CWk+1(RWk+1)這兩張權(quán)重圖指示了原圖中的哪些像素在合成圖像中更為重要。由于運(yùn)動(dòng)區(qū)域在兩幀中的位置不同，如果對Ck(Rk)和Ck+1(Rk+1)直接進(jìn)行曝光融合，會(huì)產(chǎn)生鬼影。因此，為了消除鬼影同時(shí)又保留運(yùn)動(dòng)區(qū)域，算法對曝光融合算法加以改進(jìn)：選定其中一幀圖像作為“保留幀”，該幀圖像中的運(yùn)動(dòng)區(qū)域?qū)⒈槐Ａ簦胺潜Ａ魩敝械倪\(yùn)動(dòng)區(qū)域?qū)⒈磺宄?。具體做法如下：將“保留幀”的權(quán)重圖中屬于運(yùn)動(dòng)區(qū)域的像素的權(quán)重設(shè)為1，將“非保留幀”中屬于運(yùn)動(dòng)區(qū)域的像素的權(quán)重被設(shè)置為0，于是可以獲得兩張加工過后的權(quán)重圖。定義權(quán)重圖CWk(RWk)中處于位置(i,j)處的權(quán)重值為cwi,j,k(rwi,j,k)，然后使用運(yùn)動(dòng)區(qū)域標(biāo)定模塊獲得的位圖對權(quán)重圖進(jìn)行加工，公式化表達(dá)如下：ifCPixeli,j,k+1＝1cwi,j,k＝0,cwi,j,k+1＝1；(11)elsecwi,j,kandcwi,j,k+1remainunchanged類似的，ifRPixeli,j,k+1＝1rwi,j,k＝0,rwi,j,k+1＝1；(12)elserwi,j,kandrwi,j,k+1remainunchanged曝光融合最后，使用加工得到的CWk(RWk)和CWk+1(RWk+1)這兩張權(quán)重圖對Ck(Rk)和Ck+1(Rk+1)這兩幀的融合過程進(jìn)行指導(dǎo)，得到最終去鬼影的高動(dòng)態(tài)范圍圖像并作為幀寫入視頻。為了驗(yàn)證本發(fā)明的結(jié)果，我們從合成圖像的整體質(zhì)量和鬼影區(qū)域質(zhì)量兩方面對表1所述的4個(gè)視頻序列進(jìn)行測試。其中，Tower和Campus視頻序列使用Canon650D數(shù)碼相機(jī)拍攝，每秒50幀，Tunnel視頻序列使用Canon550D拍攝，每秒59幀，Bride視頻序列可從網(wǎng)站http://hdr.glogger.mobi/上獲得，每秒30幀。對如上視頻序列分別使用直接融合算法、本發(fā)明所提出的基于塊匹配估計(jì)運(yùn)動(dòng)區(qū)域的權(quán)重圖算法、基于勻速直線運(yùn)動(dòng)假設(shè)的幀補(bǔ)償算法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示，從中可以看出，使用基于運(yùn)動(dòng)區(qū)域的權(quán)重圖算法合成的HDR圖像整體亮度和對比度較高,以Bride視頻為例，位于合成圖像上方部分車頂?shù)募?xì)節(jié)(如圖7左上所示)、人物的面部特征細(xì)節(jié)(如圖7左下所示)保留清晰完整，而車窗外的天空部分(如圖7右所示),相較于直接融合算法和基于勻速直線運(yùn)動(dòng)假設(shè)的幀補(bǔ)償算法,色彩不夠豐富,細(xì)節(jié)損失較多。這是由于在基于運(yùn)動(dòng)區(qū)域的權(quán)重圖算法中，對ExposureFusion算法中的權(quán)重圖進(jìn)行了修改，在本實(shí)驗(yàn)中，使得高曝光度下的圖像在合成圖像時(shí)所占權(quán)重較大，而低曝光度下的圖像在合成過程中所占權(quán)重較小，因此圖像整體偏亮，高曝光度下的細(xì)節(jié)保留較多。為了更精確地度量合成效果，本項(xiàng)目對不同算法合成后的HDR視頻進(jìn)行BIQI[]和NIQE[]度量，表3和表4展示了所有合成幀的BIQI和NIQE的平均值。BIQI或NIQE的值越大，表明合成圖像的質(zhì)量越差。表中可以看出，本發(fā)明在BIQI度量標(biāo)準(zhǔn)下表現(xiàn)最優(yōu)?；趧蛩僦本€運(yùn)動(dòng)假設(shè)的幀補(bǔ)償算法在兩種度量方法下都優(yōu)于直接融合，然而其BIQI度量結(jié)果略遜于基于運(yùn)動(dòng)區(qū)域的權(quán)重圖算法。對合成圖像去鬼影效果的分析如表5所示，左列為不進(jìn)行鬼影去除直接使用ExposureFusion對原始幀進(jìn)行合成的效果圖，中間一列為使用基于勻速直線運(yùn)動(dòng)假設(shè)算法的合成圖，最右邊的圖為本發(fā)明所提出方法的效果圖?？梢钥闯?，第一列圖中的鬼影十分明顯，第三列圖中能去除大部分的鬼影但運(yùn)動(dòng)區(qū)域質(zhì)量遠(yuǎn)低于第二列圖。綜上所述，本發(fā)明開創(chuàng)性地使用了塊匹配運(yùn)動(dòng)估計(jì)算法對會(huì)造成鬼影的運(yùn)動(dòng)區(qū)域進(jìn)行檢測，并依據(jù)檢測結(jié)果對需要合成的LDR圖像序列進(jìn)行運(yùn)動(dòng)區(qū)域標(biāo)注，再根據(jù)運(yùn)動(dòng)區(qū)域?qū)xposureFusion算法中的權(quán)重加以改進(jìn)，生成去鬼影HDR圖像并合成視頻。通過實(shí)驗(yàn)證明，本發(fā)明能夠較好地提高通過不同曝光值的LDR視頻序列生成HDR視頻的質(zhì)量。表1不同算法HDR合成幀的平均BIQI值比較表BrideTowerCampusTunnel直接融合算法38.5034.8440.8027.86差值位圖算法38.6235.6738.3428.94本發(fā)明算法34.9834.5438.6727.91幀補(bǔ)償算法35.0834.8339.9927.85表2不同算法HDR合成幀的平均NIQE值比較表BrideTowerCampusTunnel直接融合算法3.744.784.603.24差值位圖算法4.074.704.553.60本發(fā)明算法4.024.884.643.34幀補(bǔ)償算法3.694.774.513.18雖然本發(fā)明已以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明。本發(fā)明所屬
技術(shù)領(lǐng)域：
中具有通常知識(shí)者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動(dòng)與潤飾。因此，本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所界定者為準(zhǔn)。當(dāng)前第1頁1 2 3