一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像圖形處理領(lǐng)域，具體涉及一種基于顏色及透明度一致優(yōu)化的圖像 無縫融合方法。
【背景技術(shù)】
[0002] 圖像融合是指將兩個(gè)或多個(gè)圖像合成一幅新的圖像。圖像融合在虛擬現(xiàn)實(shí)、數(shù)字 媒體、文體設(shè)計(jì)等有著重要的作用。圖像融合技術(shù)可W分為H個(gè)層次；像素級(jí)融合、特征級(jí) 融合和決策級(jí)融合。像素級(jí)圖像融合主要是對(duì)各個(gè)源圖像數(shù)據(jù)直接進(jìn)行信息的綜合處理， 是圖像融合中最基礎(chǔ)的工具。作為像素級(jí)圖像融合的重要應(yīng)用，圖像無縫融合技術(shù)，在圖像 和視頻編輯領(lǐng)域處于核也地位。
[0003] 目前，已有大量關(guān)于圖像無縫融合方法的研究，主要有兩大類；一是基于多分辨率 的融合方法，（朱瑞輝，萬敏，范國(guó)濱.基于金字培變換的圖像融合方法[J].計(jì)算機(jī)仿 真，2008, 24 (12) : 178-180)，該方法利用拉普拉斯金字培分解方法對(duì)原始圖像進(jìn)行多分辨 率分解，然后采用基于區(qū)域特征量測(cè)的方法對(duì)分解后的各層圖像進(jìn)行融合。（顧霞芳.基 于小波變換的圖像融合方法探討與比較[J].中國(guó)西部科技，2009, 8(26) :21-22)，該文 對(duì)源圖像進(jìn)行多層小波分解而獲得一系列子圖像，并在變換域上進(jìn)行特征選擇而創(chuàng)建融 合圖像，最終通過逆變換重建融合圖像。該類方法主要是對(duì)原始圖像進(jìn)行多分辨率分解， 并對(duì)分解后的多幅尺度圖像進(jìn)行再合成，在整圖范圍內(nèi)實(shí)現(xiàn)融合過渡，能在一定程度上降 低對(duì)配準(zhǔn)誤差的敏感度，但由于多次濾波會(huì)造成信號(hào)減弱，因此最終合成的圖像會(huì)變暗或 模糊。二是基于梯度域的融合方法，比如（P紅ezP,Gan即etM,BlakeA.化issonimage editing[C]//ACMhansactionsonGraphics(T0G).ACM，2003,22(3):313-318)，該文利用 圖像梯度場(chǎng)將圖像融合問題歸結(jié)為求目標(biāo)函數(shù)的最小化問題，并通過求解泊松方程來實(shí)現(xiàn) 融合。該種基于泊松方程的融合方法需要求解大型稀疏線性方程組，計(jì)算量較大且耗內(nèi)存， 不容易執(zhí)行。而（FarbmanZ,HofferG,LipmanY,etal.Coordinatesforinstantimage cloning[C]//ACMTransactionsonGraphics(TOG).ACM, 2009, 28 (3) : 67)，文章提出一種 基于均值坐標(biāo)的快速圖像無縫融合算法，通過待融合區(qū)域內(nèi)每個(gè)位置的均值坐標(biāo)對(duì)融合區(qū) 域邊界像素進(jìn)行插值，從而獲得融合區(qū)域內(nèi)每個(gè)像素的顏色值。該方法計(jì)算效率高，容易執(zhí) 行并節(jié)省內(nèi)存，能進(jìn)行實(shí)時(shí)融合。該類基于梯度場(chǎng)的融合方法在顏色通道進(jìn)行融合，前景目 標(biāo)在融合到背景圖像中W后，色調(diào)會(huì)隨著背景圖像而變化。
[0004] 當(dāng)源圖像的背景顏色和紋理差異較大時(shí)，圖像無縫融合方法可推廣至拼圖 應(yīng)用，已有相關(guān)工作進(jìn)行研究。ROT肥R等人（RotherC,BordeauxLHamadiY,et al.Autocollage[幻//ACMTransactionsonGraphics(TOG).ACM,2006,25(3):847_852), 提出一種基于透明度通道的泊松拼圖方法，該方法通過優(yōu)化最小能量函數(shù)求解源圖像在重 疊區(qū)域的透明度，并基于透明度通道進(jìn)行融合。然而該方法的分割效果較差，獲得的輸出拼 圖中可能會(huì)丟失源圖像中部分重要信息，不能夠保證源圖像中前景目標(biāo)的完整性，合成圖 像邊界線處過渡也不夠平滑。

【發(fā)明內(nèi)容】

[0005] 為了克服上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明的目的在于提供一種基于顏色及透明 度一致優(yōu)化的圖像無縫融合方法，該方法能夠得到更好的分割效果，從而影響前景和背景 圖像在重疊區(qū)域的透明度分布，使其透明度取值更為均勻。
[0006] 本發(fā)明是通過W下技術(shù)方案來實(shí)現(xiàn)：
[0007] -種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，技術(shù)方案為：
[0008] 首先，利用圖割能量?jī)?yōu)化算法在顏色通道計(jì)算前景和背景圖像在重疊區(qū)域的融合 標(biāo)簽；其次，在透明度通道構(gòu)造符合前景和背景梯度差異分布的能量函數(shù)，W求解透明度； 最后，基于透明度進(jìn)行圖像無縫融合。
[000引包括W下步驟：
[0010] 1)計(jì)算融合標(biāo)簽
[0011] 構(gòu)建一個(gè)計(jì)算圖像融合時(shí)顏色和透明度的能量函數(shù)，對(duì)該能量函數(shù)進(jìn)行分步求 解，分離出變量，并利用圖割能量?jī)?yōu)化方法在顏色通道進(jìn)行求解，W獲得重疊區(qū)域的融合標(biāo) 簽；
[001引。計(jì)算透明度
[0013] 固定融合標(biāo)簽l(r)，從統(tǒng)一能量函數(shù)中分離出包含變量a(r)的一元函數(shù)，進(jìn)行 優(yōu)化計(jì)算，并通過求解線性方程組分別獲得前景和背景圖像在待融合區(qū)域的透明度；
[0014] 3)對(duì)透明度取值進(jìn)行歸一化處理
[0015] 分別對(duì)前景和背景圖像的透明度取值aA，a,進(jìn)行歸一化，從而便于對(duì)前景和背 景圖像基于透明度進(jìn)行混合，如下式：
[0016]
【主權(quán)項(xiàng)】
1. 一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特征在于，首先，利用圖割 能量?jī)?yōu)化算法在顏色通道計(jì)算前景和背景圖像在重疊區(qū)域的融合標(biāo)簽；其次，在透明度通 道構(gòu)造符合前景和背景梯度差異分布的能量函數(shù)，以求解透明度；最后，基于透明度進(jìn)行圖 像無縫融合。
2. 根據(jù)權(quán)利要求1所述的一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特 征在于，包括以下步驟： 1) 計(jì)算融合標(biāo)簽 構(gòu)建一個(gè)計(jì)算圖像融合時(shí)顏色和透明度的能量函數(shù)，對(duì)該能量函數(shù)進(jìn)行分步求解，分 離出變量，并利用圖割能量?jī)?yōu)化方法在顏色通道進(jìn)行求解，以獲得重疊區(qū)域的融合標(biāo)簽； 2) 計(jì)算透明度 固定融合標(biāo)簽l(r)，從統(tǒng)一能量函數(shù)中分離出包含變量a(r)的一元函數(shù)，進(jìn)行優(yōu)化 計(jì)算，并通過求解線性方程組分別獲得前景和背景圖像在待融合區(qū)域的透明度； 3) 對(duì)透明度取值進(jìn)行歸一化處理 分別對(duì)前景和背景圖像的透明度取值aA，aB進(jìn)行歸一化，如下式：
4) 圖像融合 對(duì)前景圖像fA和背景圖像fB在待融合區(qū)域基于歸一化的透明度a'A、a'B進(jìn)行融合， 獲得融合后的輸出圖像，如下式所示： f=a，AfA+a，BfB。
3. 根據(jù)權(quán)利要求2所述的一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特 征在于，步驟1)所述的能量函數(shù)如下式： E=min/ /￡2I11 (r) -a(r)I12+ 入（r)II▽ 11 12+w(r)II▽aI12dr
其中，Q為待融合的重疊區(qū)域，I(r)為二值函數(shù)，對(duì)應(yīng)融合區(qū)域內(nèi)每個(gè)像素的融合標(biāo) 簽；和^^分別為待融合區(qū)域的前景輪廓線和用戶畫的閉合曲線；a (r)為透明度分 布函數(shù)，（r)和w(r)分別代表基于顏色信息的融合標(biāo)簽?zāi)芰宽?xiàng)和透明度能量項(xiàng)的權(quán)重； ▽1表示融合標(biāo)簽的梯度函數(shù)，▽a表示透明度分布的梯度函數(shù)，dr表示積分算子。
4. 根據(jù)權(quán)利要求3所述的一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特 征在于，步驟1)分離出變量，獲得的一元函數(shù)如下式： E(I) =min/ /I11 (r) -a(r)I12+ 入（r)II▽ 11 12 其中，Q為待融合的重疊區(qū)域，能量函數(shù)通過圖割能量?jī)?yōu)化進(jìn)行求解，對(duì)應(yīng)的數(shù)據(jù)項(xiàng)和 平滑項(xiàng)分別為： eApJi,) = ^1Ip Es (p,q,lp,lq) =Ilp-Ij? (D(p)+D(q)) D(v)=I111 (v) -I2 (v)I12+ aII▽I1 (v) -▽I2 (v)I12 上式中，a=2, ▽表示梯度算子，式中的p，q代表鄰域像素，lp，Iq代表鄰域像素對(duì)應(yīng) 的融合標(biāo)簽，I1,I2代表待融合的前景和背景圖像； 同時(shí)，對(duì)重疊區(qū)域的邊界像素加入強(qiáng)制數(shù)據(jù)約束項(xiàng)：
上式中，A表示背景圖像，B表示前景圖像，，分別表示重疊區(qū)域的前景輪廓線 和用戶畫的閉合曲線，1A、、分別表示前景圖像和背景圖像所屬的標(biāo)簽。
5. 根據(jù)權(quán)利要求4所述的一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特 征在于，對(duì)于顏色和紋理存在差異的源圖像進(jìn)行拼圖時(shí)，若重疊區(qū)域的某邊界像素落入一 幅圖像內(nèi)部，則該邊界像素被標(biāo)記為該圖像所屬的標(biāo)簽。
6. 根據(jù)權(quán)利要求3所述的一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，其特 征在于，步驟2)中分離出包含變量a(r)得到的一元函數(shù)EkU)為：
為前景圖像和背景圖像的平均梯度，▽I1, ▽ 12分別代表前景圖像和背景圖像在像素r處 的梯度，〇 2為前景和背景圖像的均方梯度；Kr)為二值函數(shù)，U表示像素r的融合標(biāo)簽， a(r)表示像素r的透明度取值； 分別將前景圖像和背景圖像的融合標(biāo)簽代入上式進(jìn)行求解，獲得它們?cè)诖诤现丿B區(qū) 域的透明度a4和aB;二次能量函數(shù)利用下式所示的線性方程組進(jìn)行求解：
其中，Q為待融合的重疊區(qū)域，％表示像素p的四鄰域，w為加權(quán)因子，a(p)表示像 素P的透明度取值，I(P)代表像素P的融合標(biāo)簽。
【專利摘要】本發(fā)明公開了一種基于顏色及透明度一致優(yōu)化的圖像無縫融合方法，屬于圖像圖形處理領(lǐng)域。采用的技術(shù)方案為：首先，在顏色通道基于圖割能量?jī)?yōu)化算法計(jì)算前景和背景圖像在重疊區(qū)域的融合標(biāo)簽；其次，在透明度通道構(gòu)造符合前景和背景梯度差異分布的能量函數(shù)，以求解透明度；最后，基于透明度進(jìn)行圖像無縫融合。本發(fā)明方法能夠得到更好的分割效果，從而影響前景和背景圖像在重疊區(qū)域的透明度分布，使其透明度取值更為均勻。相比于其它融合方法，本發(fā)明能夠生成更好地融合效果。
【IPC分類】G06T3-40, G06T5-50
【公開號(hào)】CN104715451
【申請(qǐng)?zhí)枴緾N201510107663
【發(fā)明人】王萍, 周樂, 黃華
【申請(qǐng)人】西安交通大學(xué), 北京理工大學(xué)深圳研究院
【公開日】2015年6月17日
【申請(qǐng)日】2015年3月11日